Нахождение градиента вектор-функции
Дата публикации Oct 20, 2018
Название изображения:ИсточникВЧасть 1Нам поставили задачу: вычислить градиент этой функции потерь:
Изображение 1: функция потериЧтобы найти градиент, мы должны найти производную функцию. ВЧасть 2мы научились вычислять частную производную функции по каждой переменной. Однако большинство переменных в этой функции потерь являются векторами. Возможность найти частную производную векторных переменных особенно важна, поскольку нейронная сеть работает с большими объемами данных. Векторные и матричные операции — это простой способ представления операций с таким большим количеством данных. Как именно вы можете найти градиент вектор-функции?
Градиент скалярной функции
Скажи, что у нас есть функция,f (x, y) = 3x²y, Наши частные производные:
Изображение 2: Частичные производныеЕсли мы организуем эти части в горизонтальный вектор, мы получимградиентизР (х, у), или∇ f (x, y):
Изображение 3: Градиент f (x, y)6yxэто изменение вР (х, у)в отношении изменения вИкс, в то время как3x²это изменение вР (х, у)в отношении изменения вY,
Что происходит, когда у нас есть две функции? Давайте добавим еще одну функцию,g (x, y) = 2x + y⁸, Частные производные:
Изображение 4: Частицы для g (x, y)Таким образом, градиент g (x, y):
Изображение 5: градиент g (x, y)Представляющие функции
Когда у нас есть несколько функций с несколькими параметрами, часто полезно представлять их более простым способом.
Мы можем объединить несколько параметров функций в один векторный аргумент,Иксэто выглядит следующим образом:
Следовательно,Р (х, у, г)станетF (x₁, x₂, x₃)который становитсяе (Икс).
Мы также можем объединить несколько функций в вектор, например так:
Изображение 7: ВекторYВ настоящее время,у = F (X)гдеF (X)является вектором из [f₁ (Икс), f₂ (Икс), f₃ (Икс) … п (Икс)]
Для нашего предыдущего примера с двумя функциями,f (x, y) ⇒ f (Икс)а такжеg (x, y) ⇒ g (Икс).Здесь векторИкс= [x₁, x₂], гдеx₁ = х, а такжеx₂ = у, Чтобы упростить его еще больше, мы можем объединить наши функции: [f (Икс),г(Икс)] = [f₁ (Икс), f₂ (Иксзнак равноf (x) = y.
Зачастую количество функций и количество переменных будет одинаковым, поэтому для каждой переменной существует решение.
Градиент вектор-функции
Теперь, когда у нас есть две функции, как мы можем найти градиент обеих функций? Если мы организуем оба их градиента в одну матрицу, мы переместимся из векторного исчисления в матричное исчисление. Эта матрица и организация градиентов нескольких функций с несколькими переменными, известна какМатрица Якобиана,
Изображение 9: ЯкобианЕсть несколько способов представления якобиана. Этот макет, где мы укладываем градиенты по вертикали, известен какмакет числителя, но другие документы будут использоватьрасположение знаменателя, который просто переворачивает его по диагонали:
Изображение 10: Расположение знаменателя якобианаГрадиент функции идентичности
Давайте возьмем функцию идентичности,у = ф (х) = х, гдеFi (Икс) = xiи найдите его градиент:
Изображение 11: функция идентификацииТак же, как мы создали наш предыдущий якобиан, мы можем найти градиенты каждой скалярной функции и сложить их вертикально, чтобы создать якобиан тождественной функции:
Изображение 12: Якобиан тождественной функцииПоскольку это функция идентичности, f₁ (Икс) = x₁, f₂ (Икс) = х₂ и тд.
Следовательно,
Частичная производная функции по переменной, которой нет в функции, равна нулю. Например, частная производная 2x² по y равна 0. Другими словами,
Изображение 14: частная производная функции по переменной, которой нет в функции, равна нулюПоэтому все, что не на диагонали якобиана, становится равным нулю. Между тем, частная производная любой переменной по отношению к себе равна 1. Например, частная производнаяИксв отношенииИксравен 1. Следовательно, якобиан становится:
Изображение 15: Якобиан тождественной функцииГрадиент комбинаций вектор-векторных функций
Элементарные бинарные операторыявляются операциями (такими как сложениевес+Иксиливес>Икскоторый возвращает вектор единиц и нулей), который применяет оператор последовательно, начиная с первого элемента обоих векторов, чтобы получить первый элемент вывода, затем второго элемента обоих векторов, чтобы получить второй элемент вывода… и так далее.
Эта статья представляет поэлементные бинарные операции с такими обозначениями:
Изображение 16: Поэлементная двоичная операция с f (x) и g (x)Здесь ◯ означает любой поэлементный оператор (например, +), а не композицию функций.
Итак, как вы находите градиент поэлементной операции двух векторов?
Поскольку у нас есть два набора функций, нам нужны два якобиана, один из которых представляет градиент относительноИкси один по отношению квес:
Изображение 17: Якобиан по отношению квеса такжеИксБольшинство арифметических операций нам понадобятся простые, поэтомуе (ш)часто просто векторвес, Другими словами,Fi (Wi) = Wi, Например, операцияW + хподходит к этой категории, так как она может быть представлена каке (ж) + д (х)гдеfi (wi) + gi (xi) = wi + xi.
При этом условии каждый элемент в двух якобианах упрощается до:
Изображение 18: Элементы в якобианеНа диагонали i = j, поэтому существует значение для частной производной.
Вне диагонали, однако, i ≠ j, поэтому частные производные становятся равными нулю:
Мы можем представить это более кратко как:
Изображение 20: Якобиан по отношению квеса такжеИксПопробуем найти градиент функцииW + х, Мы знаем, что все вне диагонали равно 0. Значения частичных по диагонали относительновеса такжеИксявляются:
Изображение 21: Частичное в отношениивеса такжеИксИтак, оба якобиана имеют диагональ 1. Это выглядит знакомо … это матрица тождеств!
Давайте попробуем это с умножением:ш * х, Значения частностей по диагонали относительновеса такжеИксявляются:
Изображение 22: Частичное в отношениивеса такжеИксСледовательно, градиент по отношению квесизш * хявляетсяDiag (Икс)в то время как градиент по отношению кИксизш * хявляетсяDiag (вес).
Применяя те же шаги для вычитания и деления, мы можем суммировать все это:
Изображение 23: Градиенты общих элементарных бинарных операцийГрадиент векторных сумм
Одной из наиболее распространенных операций в глубоком обучении является операция суммирования. Как мы можем найти градиент функцииу = сумма (Икс)?
у = сумма (Икс)также может быть представлен как:
Изображение 24: у = сумма (Икс)Следовательно, градиент может быть представлен как:
Изображение 25: Градиент у = сумма (Икс)А так как частная производная функции по переменной, которой нет в функции, равна нулю, ее можно дополнительно упростить следующим образом:
Изображение 26: Градиент у = сумма (Икс)Обратите внимание, что результатом является горизонтальный вектор.
Как насчет градиентау = сумма (Иксг)? Единственное отличие состоит в том, что мы умножаем каждый частный с константой, z:
Изображение 27: Градиент у = сумма (Икся) в отношенииИксХотя это является производной по отношению кИкс, производная по скаляруZэто просто число:
Изображение 28: Градиент у = сумма (Иксz) относительно zГрадиент комбинаций векторных функций правила цепочки
ВЧасть 2мы узнали о правилах цепей с несколькими переменными.
Однако это работает только для скаляров. Давайте посмотрим, как мы можем интегрировать это в векторные вычисления!
Давайте возьмем векторную функцию,Yзнак равное(Икс)и найти градиент. Давайте определим функцию как:
Изображение 29:Yзнак равное(Икс)И то и другоеf₁ (х)а такжеf₂ (х)являются составными функциями. Введем промежуточные переменные дляf₁ (х)а такжеf₂ (х)и переписать нашу функцию:
Изображение 30:Yзнак равное(г(Икс))Теперь мы можем использовать наше правило цепочки переменных, чтобы вычислить производную вектораY, Просто вычислите производнуюf₁ (х)а такжеf₂ (х)и поместите их один над другим:
Изображение 31: ГрадиентYзнак равное(г(Икс))Вуаля! У нас есть наш градиент. Однако мы пришли к нашему решению со скалярными правилами, просто сгруппировав числа в вектор.
Есть ли способ представить правило цепи с несколькими переменными для векторов?
Прямо сейчас наш градиент вычисляется с помощью:
Изображение 32: ГрадиентYзнак равное(г(Икс))Обратите внимание, что первый член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₁надИкси второй член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₂надИкс Это как умножение матриц! Поэтому мы можем представить это как:
Изображение 33: Векторное представление градиентаYзнак равное(г(Икс))Давайте проверим наше новое представление правила цепочки векторов:
Изображение 34: Правило векторной цепиМы получаем тот же ответ, что и скалярный подход! Если вместо одного параметраИксу нас есть векторный параметрИкснам просто нужно немного изменить наше правило, чтобы получить полное правило цепочки векторов:
Изображение 35: Правило векторной цепиДругими словами:
Изображение 36: Правило векторной цепиВ нашем примере выше,еэто чисто функцияг; то есть,фиявляется функциейсолдатно нетGJ(каждая функцияесоответствует ровно 1 функцииг),В этом случае все вне диагонали становится равным нулю, и:
Изображение 37: Особый случай векторного правила цепочкиТеперь у нас есть все части, которые мы находим в градиенте нейронной сети, с которой мы начали нашу серию:
Изображение 38: Функция стоимостиПроверять, выписыватьсяЧасть 4чтобы узнать, как вычислить его производную!
Если вы еще этого не сделали, прочитайте части 1 и 2:
- Часть 1: Введение
- Часть 2: Частичные производные
ЧитатьЧасть 4для грандиозного финала!
Скачать оригинал статьиВот,
Если вам понравилась эта статья, не забудьте оставить несколько хлопков! Оставьте комментарий ниже, если у вас есть какие-либо вопросы или предложения 🙂
Оригинальная статья
Вектор — градиент — Большая Энциклопедия Нефти и Газа, статья, страница 1
Cтраница 1
Метод градиента Рассмотрим геометрическую ин.
[1] |
Вектор градиента определяет направление наибольшего возрастания функции качества. Поэтому этот метод оптимален в том смысле, что он стимулирует движение рабочей точки в наилучшем направлении к цели. [2]
Вектор градиента направлен в сторону возрастания функционала. [3]
Вектор градиента смотрит в направлении наиболее быстрого возрастания функции при изменении координат. Поэтому сила направлена в сторону наиболее быстрого убывания потенциальной энергии. [4]
Физически вектор градиента указывает вверх по склону холма, то есть в направлении быстрейшего увеличения целевой функции. [5]
| Схема образова — лезобетонного резервуара защитный слой ния коррозии арматуры в бетона ( слой торкретбетона сравнительно. [6] |
Если вектор градиента блуждающих токов, измеренный четырех-электродной установкой с разносом измерительных электродов, равным диаметру резервуара, не превышает 0 2 В, отдельно стоящий и не соединенный с трубопроводами резервуар может быть защищен протекторными или катодными установками.
[7]
Тогда вектор градиента концентрации меченых молекул dnjdz совпадает с положительным направлением оси z, а диффузионный поток меченых молекул будет направлен в обратную сторону. [8]
Направления векторов градиентов t и и в контактном и следующем за ним слое противоположны, а жидкость движется навстречу потоку тепла. [9]
Компоненты вектора градиента в непрерывных системах автоматической оптимизации определяются методом синхронного детектирования при гармонических или случайных поисковых возмущениях параметров, а в дискретных системах — осуществлением пробных шагов по отдельным параметрам. [10]
Совокупность векторов градиента температуры образует температурное поле. [11]
Значительность роли вектора градиента для НЛП не должна вызывать сомнений, поскольку, если дана некоторая неоптимальная точка, то с помощью градиента обычно можно найти лучшую точку.
Однако прежде чем рассмотреть градиент, мы должны ввести понятие направления, так как градиент сам по себе является направлением.
[12]
Приняв направление векторов градиентов от участков с меньшим потенциалом к большему, можно определить направление потоков массы за счет этих градиентов в каждый конкретный период сушки. [13]
Квадратичная форма от вектора градиента задает эллипсоид уровня в касательном пространстве в каждой точке. Встречаются и неизотропные среды. [14]
ПР изводится в направлении вектора градиента функции состояния — исследуемого изделия. Если учесть, что это направление является наиболее опасным, то понятно, почему рассматриваемый метод является оптимальным, и перспективным. [15]
Страницы: 1 2 3 4
Нахождение векторов градиента для функций многих переменных — Криста Кинг Математика
Формула для вектора градиента
Чтобы найти градиент (также называемый вектором градиента) функции двух переменных, мы будем использовать формулу
???\nabla{f}=\left\langle\frac{\ частичное {е}} {\ парциальное {х}}, \ гидроразрыва {\ парциальное {е}} {\ парциальное {у}} \ справа \ rangle???
Привет! Я Криста.
Я создаю онлайн-курсы, чтобы помочь вам в учебе по математике. Читать далее. 92}???
где ???а??? и ???б??? происходит от ???\nabla{f(x,y)}=\left\langle{a},b\right\rangle???
Градиент ???\набла f??? всегда указывает в направлении максимальной производной по направлению.
Помните, что градиент не ограничивается двумя переменными функциями. Мы можем изменить формулу с двумя переменными, чтобы при необходимости учесть более двух переменных.
Нахождение вектора градиента функции многих переменных
92}??????\parallel7,10\parallel=\sqrt{149}???
Максимальная производная по направлению всегда указывает в направлении градиента. Таким образом, максимальная производная по направлению равна ???\parallel7,10\parallel=\sqrt{149}??? и указывает на ???\nabla{f(1,1)}=\left\langle7,10\ прямо\угол???.
Максимальная производная по направлению всегда указывает в направлении градиента.
{2}}??? 9{2}}{\жирный j}???
Получить доступ к полному курсу Calculus 3
Начать
Изучение математикиКриста Кинг математика, изучение онлайн, онлайн-курс, исчисление iii, исчисление 3, исчисление iii, вычисление 3, градиенты, векторы градиента, функции многих переменных, производные по направлению, максимальная производная по направлению, максимальная производная по направлению, производная в частном направлении, частные производные, математика онлайн
0 лайков Многомерное исчисление. Что значит взять градиент векторного поля?
спросил
Изменено 10 месяцев назад
Просмотрено 144к раз
$\begingroup$
Что значит взять градиент векторного поля? $\nabla \vec{v}(x,y,z)$? Я только понимаю, что значит взять град скалярного поля.
- многомерное исчисление
- векторные поля
$\endgroup$
6
$\begingroup$
Градиент вектора — это тензор, который говорит нам, как векторное поле изменяется в любом направлении. Мы можем представить градиент вектора матрицей его компонентов относительно базиса. Компонент $(\nabla V)_{\text{ij}}$ говорит нам об изменении компонента $V_j$ в направлении $\pmb{e}_i$ (может быть, у меня наоборот). Подробную информацию о расчете компонентов можно найти в статье в Википедии.
Чтобы получить физическую картину его значения, мы можем разложить его на 1) след (расхождение) 2) антисимметричный тензор (завиток) 3) бесследный симметричный тензор (сдвиг)
Если векторное поле представляет собой поток материала, то мы можем рассмотреть небольшой куб материала вокруг точки.
Дивергенция описывает, как куб изменяет объем.
Завиток описывает форму и объем, сохраняя вращение жидкости.
Сдвиг описывает деформацию, сохраняющую объем.
$\endgroup$
$\begingroup$Это зависит от того, как вы определяете оператор градиента. В геометрическом исчислении имеем тождество $\nabla A = \nabla \cdot A + \nabla \wedge A$, где $A$ — многовекторное поле . Векторное поле — это особый тип многовекторного поля, поэтому эта же формула работает и для $\vec v(x,y,z)$.
Получаем $\nabla\vec v = \nabla \cdot \vec v + \nabla \wedge \vec v$. Первый член должен быть вам знаком — это обычное старое расхождение. Однако второй термин — это совершенно другой тип объекта (на самом деле это обобщение знакомого $3$D curl $\nabla \times \vec u$, который работает в любой размер ).
Точно так же, как векторное поле может связывать каждую точку в вашей области с ориентированным отрезком (вектором), $\nabla \wedge \vec v$ связывает с каждой точкой в вашей области ориентированный сегмент плоскости (которые мы называем бивекторами).
Итак, чтобы ответить на ваш вопрос, градиент векторного поля представляет собой сумму скалярного поля и бивекторного поля.
$\endgroup$
1
$\begingroup$
Предположим, что вектор $\vec{\bf F} = (F_1, F_2, F_3)$ существует в трехмерном пространстве с базисом $x_1, x_2, x_3$, тогда его градиент представляет собой матрицу 3 × 3: $\partial_i $$F_j$
$\nabla\vec{\bf F}=\left( {\begin{массив}{c}
\frac{\partial F_1}{\partial x_1}&\frac{\partial F_1}{\partial x_2}&\frac{\partial F_1}{\partial x_3}\\
\frac{\partial F_2}{\partial x_1}&\frac{\partial F_2}{\partial x_2}&\frac{\partial F_2}{\partial x_3}\\
\frac{\partial F_3}{\partial x_1}&\frac{\partial F_3}{\partial x_2}&\frac{\partial F_3}{\partial x_3}\\
\end{массив}} \right).$ 9n$) является якобианом многозначной функции $f$, где каждая строка $r_i$ $\text{якобиана}(f)$ представляет собой градиент $f_i$ (помните, что каждая компонента $f_i$ многозначная функция $f$ является скаляром).
$\endgroup$
1
$\begingroup$
Градиент векторного поля интуитивно представляет собой поток/объем, выходящий за пределы дифференциального объема dV. Сначала визуализируйте в 2D. Предположим, у вас есть векторное поле E в 2D. Теперь, если вы начертите линии поля E и возьмете конкретную область (небольшую площадь …), расхождение E будет чистыми линиями поля, то есть (линия поля, выходящая из области, минус линии поля, входящие в область). Точно так же в 3D дивергенция является мерой (исходящие линии поля — входящие линии поля). Если вы математически реализуете это, вы увидите, что вы добавили 3 члена частных производных, что по существу добавляет общие чистые линии поля.
Для скалярного поля (скажем, F(x,y,z)) он представляет собой скорость изменения F вдоль трех перпендикулярных (также называемых ортонормированными) векторов, с помощью которых вы определили свою систему (скажем, x, y, z).