ОглавлениеПРЕДИСЛОВИЕ К ДЕВЯТОМУ ИЗДАНИЮПРЕДИСЛОВИЕ К ПЯТОМУ ИЗДАНИЮ ГЛАВА I.  ЧИСЛО. ПЕРЕМЕННАЯ. ФУНКЦИЯ§ 2. Абсолютная величина действительного числа § 3. Переменные и постоянные величины § 4. Область изменения переменной величины § 5. Упорядоченная переменная величина. Возрастающая и убывающая переменные величины Ограниченная переменная величина § 6. Функция § 7. Способы задания функции § 8. Основные элементарные функции. Элементарные функции § 9. Алгебраические функции § 10. Полярная система координат Упражнения к главе I ГЛАВА II. ПРЕДЕЛ. НЕПРЕРЫВНОСТЬ ФУНКЦИЙ § 1. Предел переменной величины. Бесконечно большая переменная величина § 2. Предел функции § 3. Функция, стремящаяся к бесконечности. Ограниченные функции § 4. Бесконечно малые и их основные свойства § 5. Основные теоремы о пределах § 6. Предел функции (sin x)/x при x->0 § 7. Число e § 8. Натуральные логарифмы § 9. Непрерывность функций § 10. Некоторые свойства непрерывных функций § 11.  n при n целом и положительном§ 6. Производные от функций y = sinx; y = cosx § 7. Производные постоянной, произведения постоянной на функцию, суммы, произведения, частного § 8. Производная логарифмической функции § 9. Производная от сложной функции § 10. Производные функций y = tgx, y = ctgx, y = ln|x| § 11. Неявная функция и ее дифференцирование § 12. Производные степенной функции при любом действительном показателе, показательной функции, сложной показательной функции § 13. Обратная функция и ее дифференцирование § 14. Обратные тригонометрические функции и их дифференцирование § 15. Таблица основных формул дифференцирования § 16. Параметрическое задание функции § 17. Уравнения некоторых кривых в параметрической форме § 18. Производная функции, заданной параметрически § 19. Гиперболические функции § 20. Дифференциал § 22. Производные различных порядков § 23.  x, sin x, cos xУпражнения к главе IV ГЛАВА V. ИССЛЕДОВАНИЕ ПОВЕДЕНИЯ ФУНКЦИЙ § 2. Возрастание и убывание функции § 3. Максимум и минимум функций § 4. Схема исследования дифференцируемой функции на максимум и минимум с помощью первой производной § 5. Исследование функции на максимум и минимум с помощью второй производной § 6. Наибольшее и наименьшее значения функции на отрезке § 7. Применение теории максимума и минимума функций к решению задач § 8. Исследование функции на максимум и минимум с помощью формулы Тейлора § 9. Выпуклость и вогнутость кривой. Точки перегиба § 10. Асимптоты § 11. Общий план исследования функций и построения графиков § 12. Исследование кривых, заданных параметрически Упражнения к главе V ГЛАВА VI. КРИВИЗНА КРИВОЙ § 1. Длина дуги и ее производная § 2. Кривизна § 3. Вычисление кривизны § 4. Вычисление кривизны линии, заданной параметрически § 5. Вычисление кривизны линии, заданной уравнением в полярных координатах § 6.  Радиус и круг кривизны. Центр кривизны. Эволюта и эвольвента§ 7. Свойства эволюты § 8. Приближенное вычисление действительных корней уравнения Упражнения к главе VI ГЛАВА VII. КОМПЛЕКСНЫЕ ЧИСЛА, МНОГОЧЛЕНЫ § 1. Комплексные числа. Исходные определения § 2. Основные действия над комплексными числами § 3. Возведение комплексного числа в степень и извлечение корня из комплексного числа § 4. Показательная функция с комплексным показателем и ее свойства § 5. Формула Эйлера. Показательная форма комплексного числа § 6. Разложение многочлена на множители § 8. Разложение многочлена на множители в случае комплексных корней § 9. Интерполирование. Интерполяционная формула Лагранжа § 10. Интерполяционная формула Ньютона § 11. Численное дифференцирование § 12. О наилучшем приближении функций многочленами. Теория Чебышева Упражнения к главе VII ГЛАВА VIII. ФУНКЦИИ НЕСКОЛЬКИХ ПЕРЕМЕННЫХ § 1. Определение функции нескольких переменных § 2.  Геометрическое изображение функции двух переменных§ 3. Частное и полное приращение функции § 4. Непрерывность функции нескольких переменных § 5. Частные производные функции нескольких переменных § 6. Геометрическая интерпретация частных производных функции двух переменных § 7. Полное приращение и полный дифференциал § 8. Применение полного дифференциала в приближенных вычислениях § 9. Приложение дифференциала к оценке погрешности при вычислениях § 10. Производная сложной функции. Полная производная. Полный дифференциал сложной функции § 11. Производная от функции, заданной неявно § 12. Частные производные различных порядков § 13. Поверхности уровня § 14. Производная по направлению § 15. Градиент § 16. Формула Тейлора для функции двух переменных § 17. Максимум и минимум функции нескольких переменных § 18. Максимум и минимум функции нескольких переменных, связанных данными уравнениями (условные максимумы и минимумы) § 19.  Получение функции на основании экспериментальных данных по методу наименьших квадратов§ 20. Особые точки кривой Упражнения к главе VIII ГЛАВА IX. ПРИЛОЖЕНИЯ ДИФФЕРЕНЦИАЛЬНОГО ИСЧИСЛЕНИЯ К ГЕОМЕТРИИ В ПРОСТРАНСТВЕ § 1. Уравнения кривой в пространстве § 2. Предел и производная векторной функции скалярного аргумента. Уравнение касательной к кривой. Уравнение нормальной плоскости § 4. Первая и вторая производные вектора по длине дуги. Кривизна кривой. Главная нормаль. Скорость и ускорение точки в криволинейном движении § 5. Соприкасающаяся плоскость. Бинормаль. Кручение. § 6. Касательная плоскость и нормаль к поверхности Упражнения к главе IX ГЛАВА X. НЕОПРЕДЕЛЕННЫЙ ИНТЕГРАЛ § 1. Первообразная и неопределенный интеграл § 2. Таблица интегралов § 3. Некоторые свойства неопределенного интеграла § 4. Интегрирование методом замены переменной или способом подстановки § 5. Интегралы от некоторых функций, содержащих квадратный трехчлен § 6.  Интегрирование по частям§ 7. Рациональные дроби. Простейшие рациональные дроби и их интегрирование § 8. Разложение рациональной дроби на простейшие § 9. Интегрирование рациональных дробей § 10. Интегралы от иррациональных функций § 11. Интегралы вида … § 12. Интегрирование некоторых классов тригонометрических функций § 13. Интегрирование некоторых иррациональных функций с помощью тригонометрических подстановок § 14. О функциях, интегралы от которых не выражаются через элементарные функции Упражнения к главе X ГЛАВА XI. ОПРЕДЕЛЕННЫЙ ИНТЕГРАЛ § 1. Постановка задачи. Нижняя и верхняя интегральные суммы § 2. Определенный интеграл. Теорема о существовании определенного интеграла § 3. Основные свойства определенного интеграла § 4. Вычисление определенного интеграла. Формула Ньютона — Лейбница § 5. Замена переменной в определенном интеграле § 6. Интегрирование по частям § 7. Несобственные интегралы § 8. Приближенное вычисление определенных интегралов § 9.  § 10. Интегралы, зависящие от параметра. Гамма-функция § 11. Интегрирование комплексной функции действительной переменной Упражнения кглаве XI ГЛАВА XII. ГЕОМЕТРИЧЕСКИЕ И МЕХАНИЧЕСКИЕ ПРИЛОЖЕНИЯ ОПРЕДЕЛЕННОГО ИНТЕГРАЛА § 1. Вычисление площадей в прямоугольных координатах § 2. Площадь криволинейного сектора в полярных координатах § 3. Длина дуги кривой § 4. Вычисление объема тела по площадям параллельных сечений § 5. Объем тела вращения § 6. Площадь поверхности тела вращения § 7. Вычисление работы с помощью определенного интеграла § 8. Координаты центра масс § 9. Вычисление момента инерции линии, круга и цилиндра с помощью определенного интеграла Упражнения к главе XII |
3. Градиент функции
Снова рассмотрим формулу производной по направлению:
.
Вторые
множители в каждом из этих слагаемых
являются, как мы уже отмечали, проекциями
единичного вектора ,
направленного по вектору
:
.
Возьмем теперь вектор, проекциями которого на координатные оси будут служить значения частных производных в выбранной точке . Назовем его градиентом функции и будем обозначать символами:
или .
1. Пусть — однозначная непрерывная функция, имеющая непрерывные частные производные Градиентом скалярной функции называется вектор, проекции которого на координатные оси Ох, Оу и Oz соответственно равны значениям частных производных этой функции , т. е.
.
На основании этого определения проекции вектора на координатные оси запишутся так:
; ; .
Модуль вектора вычисляется по формуле:
.
Подчеркнем, что проекции градиента зависят от выбора точки
Связь градиента с производной по направлению
Из определения градиента следует, что производная функции по данному направлению равна скалярному произведению градиента функции на единичный вектор этого направления:
.
Из определения скалярного произведения:
,
где — угол между и . Отсюда видно, что производная по направлению достигает наибольшего значения, когда , т.е. при =0. Причем это наибольшее значение .
Итак, направление градиента есть направление наискорейшего возрастания функции.
1) Из всех производных функции, взятых по различным направлениям, наибольшее значение всегда имеет производная по направлению градиента функции. Поэтому есть вектор скорости наибыстрейшего возрастания функции. При этом равен числовому значению наибольшей скорости изменения скалярного поля.
2) Скалярное поле убывает быстрее всего в направлении, противоположном вектору , со скоростью, равной .
3) Вектор в каждой точке направлен по нормали к поверхности (или линии) уровня поля, проходящей через эту точку, в сторону возрастания функции.
Скорость
изменения скалярной функции
по некоторому направлению равна проекции
вектора
на это направление ,
т.
е.
.
В этом состоит основное свойство градиента функции.
Из последнего свойства вытекает, что производная по любому направлению, касательному к поверхности уровня, проходящей через данную точку, равна нулю.
Геометрический смысл градиента. С точки зрения геометрического представления градиент перпендикулярен поверхности уровня функции.
Физический смысл градиента. Градиент – вектор, показывающий направление наискорейшего изменения некоторого скалярного поля u в какой-либо точке (градиент температуры, градиент давления и т.п.).
При вычислениях применяют следующие свойства градиента:
.
Примеры.
1. С какой наибольшей скоростью может возрастать функция при переходе точки через точку ? В каком направлении должна двигаться точка М при переходе через точку , чтобы функция убывала с наибольшей скоростью?
Наибольшая, по
абсолютной величине, скорость изменения
функции при переходе точки М через точку
Р численно равна модулю градиента
функции в точке Р.
При этом функция будет
возрастать или убывать с наибольшей
скоростью, смотря по тому, будет ли точка
М при переходе через точку Р двигаться
по направлению градиента функции в
точке Р или по прямо противоположному
направлению. Руководствуясь этими
положениями, находим частные производные
функции и ее градиент в любой точке:
(2)
Далее находим градиент в указанных точках, подставив их координаты в выражение (2):
1) ,
его модуль, численно равный искомой наибольшей скорости возрастания данной функции при переходе М через точку М0, равен:
.
2) ,
Искомый вектор, имеющий прямо противоположное направление, будет
.
Чтобы функция убывала с наибольшей скоростью, при переходе через точку М1 точка М должна двигаться в направлении вектора .
1
Предполагается, что функция
— однозначная непрерывная
функция
,
имеющая непрерывные частные
производные первого порядка
,
,
.
Градиентный вектор. Что это такое и как мы это вычисляем? | Роман Паолуччи
Что это такое и как мы его вычисляем?
Photo from UnsplashВ векторном исчислении одной из основных тем является введение векторов и трехмерного пространства как расширения двумерного пространства, часто изучаемого в декартовой системе координат. Векторы имеют два основных свойства: направление и величина . В 2-х измерениях мы можем визуализировать вектор, идущий от начала координат, как стрелку (показывающую как направление, так и величину).
Двухмерный векторный график из matplotlibИнтуитивно это можно расширить до трех измерений, где мы можем визуализировать стрелку, плавающую в пространстве (опять же, демонстрирующую как направление, так и величину).
Трехмерный векторный график из JCCC Менее интуитивно, понятие вектора может быть расширено до любого количества измерений, где понимание и анализ могут быть выполнены только алгебраически.
Важно отметить, что в любом случае вектор не имеет определенного местоположения. Это означает, что если два вектора имеют одинаковое направление и величину, то они равны тот же вектор . Теперь, когда у нас есть общее представление о векторах, давайте поговорим о векторе градиента.
Независимо от размерности вектор градиента представляет собой вектор, содержащий все частные производные первого порядка функции.
Давайте вычислим градиент для следующей функции…
Функция, которую мы вычисляем вектор градиента дляГрадиент обозначается как ∇…
Вектор градиента для функции fПосле частичного дифференцирования…
Вектор градиента для функции f после подстановки частных производныхЭто вектор градиента для функции f(x, y) . Это все здорово, но в чем смысл? Что может сделать вектор градиента — что он вообще означает?
Градиент Восхождение: максимизация
Градиент для любой функции указывает в направлении наибольшего увеличения.
Это невероятно. Представьте, что у вас есть функция моделирования прибыли вашей компании. Очевидно, что ваша цель — максимизировать прибыль. Один из способов сделать это — вычислить вектор градиента и выбрать несколько случайных входных данных — теперь вы можете итеративно обновлять свои входные данные, вычисляя градиент и добавляя эти значения к вашим предыдущим входным данным, пока не будет достигнут максимум.
Градиентный спуск: минимизация
Мы знаем, что вектор градиента указывает в направлении наибольшего увеличения. И наоборот, отрицательный вектор градиента указывает в направлении наибольшего уменьшения. Основная цель градиентного спуска — свести к минимуму ошибку или стоимость, что особенно распространено в машинном обучении. Представьте, что у вас есть функция моделирования затрат для вашей компании. Очевидно, что ваша цель — минимизировать затраты. Подобно максимизации прибыли, вы можете вычислить вектор градиента для некоторых случайных входных данных и итеративно обновлять входные данные, вычитая значения в векторе градиента из ваших предыдущих входных данных, пока не будет достигнут минимум.
Проблемы с градиентным подъемом/спуском
Наиболее заметной проблемой при использовании этого метода оптимизации является наличие относительных экстремумов. Относительные экстремумы относятся к точкам на функции, которые являются максимальным или минимальным значением относительно точек вокруг нее, показанных на графике ниже.
Фото из онлайн-заметок ПолаТрадиционный математический подход к оптимизации сталкивается с той же проблемой и решает ее путем сравнения выходных данных функции на всех относительных экстремумах для определения истинного глобального максимума/минимума. Что касается градиентного подъема/спуска, существует множество различных модификаций, которые можно внести в итеративный процесс обновления входных данных, чтобы избежать (или пройти) относительных экстремумов, помогающих в усилиях по оптимизации. Основные типы градиентного подъема/спуска…
- Стохастический градиент подъема/спуска
- Пакетный градиент подъема/спуска
- Мини-пакетный градиент подъема/спуска
Градиент
Градиент для функции нескольких переменных является векторнозначной функцией, компоненты которой являются частными производными функций эти переменные.
Градиент можно рассматривать как направление наибольшей скорости увеличения функции.
Формально, если задана многомерная функция f с n переменными и частными производными, градиент f, обозначаемый ∇f, представляет собой векторнозначную функцию,
где символ ∇, называемый набла, является оператором частной производной. Например, чтобы найти градиент ∇f(1, 2, 3) для f(x, y, z) = 4x 2 yz 2 + 2xy 2 — xyz, возьмем частные производные от x, y и z:
Подстановка 1, 2 и 3 вместо x, y и z дает:
Свойства градиента
Пусть y = f(x, y) функция, для которой частные производные f x и f y существует.
- Если градиент f равен нулю для любой точки плоскости xy, то производная точки по направлению для всех единичных векторов также равна нулю. То есть, если ∇f(x, y) = 0, то D u (x, y) = 0 для любого u.
- Производная по направлению для любой точки на плоскости xy имеет максимальное увеличение, когда она находится в направлении ее градиента.
Его максимальное значение равно величине его градиента. То есть, если ∇f(x, y) ≠ 0, то максимум D u (x, y) есть ||∇f(x, y)||. - Минимальное значение производной по направлению в любой точке плоскости xy равно -||∇f(x, y)|| в направлении -∇f(x, y).
Его максимальное значение равно величине его градиента. То есть, если ∇f(x, y) ≠ 0, то максимум D u (x, y) есть ||∇f(x, y)||.Геометрическая интерпретация градиента для функции двух переменных
Рассмотрим следующий график с векторами градиента, обозначенными красным цветом. График z = f(x, y) представляет собой параболоид, открывающийся вверх вдоль оси z, вершина которого находится в начале координат.
Векторы градиента ∇f(x 1 , y 1 ) и ∇f(x 2 , y 2 ), нарисованные в плоскости xy, имеют свои начальные точки, расположенные в (x 1 , y 1 90 ) и (0 2 , у 2 ) соответственно. Обратите внимание, что векторы градиента рассчитываются в форме компонента, но преобразуются в соответствующие входные точки на плоскости xy, чтобы лучше показать направление, связанное с этими точками.
Если бы мы могли свернуть плоскость xy так, чтобы каждый вход (x, y) отображался в соответствующее выходное значение (x, y, z) на параболоиде, то каждый соответствующий вектор градиента также мог бы отображаться на параболоид так, что его начальная точка в (х, у, г). Векторы градиента, сопоставленные с (x 1 , y 1 , z 1 ) и (x 2 , y 2 , z 2 ) показывают направление наибольшего увеличения.
Поле вектора градиента
Нахождение градиента для каждой точки на плоскости xy, в которой определена функция f(x, y), создает набор векторов градиента, называемый векторным полем градиента. Поле вектора градиента дает двухмерное представление направления наибольшего увеличения для трехмерной фигуры. Градиентное векторное поле для параболоида, изображенного выше, показано ниже:
Уравнение приведенного выше параболоида: f(x, y) = 0,3x 2 + 0,3y 2 . Уравнение векторного поля:
Обратите внимание, что векторы удлиняются по мере удаления от начала координат, подтверждая, что поверхность параболоида становится круче по мере удаления от начала координат.
Использование градиентов для нахождения производных по направлению
Производная по направлению функции z = f(x, y) в направлении единичного вектора , где частные производные f x и f y существуют, это:
Если направление задано как угол θ в стандартном положении, то , и
Пример
Найдите производную по направлению для при (-2, 2) в направлении .
Поскольку направление задано как угол, единичный вектор равен:
Вычисление частных производных дает:
и
Тогда производная по направлению:
At (-2, 2),
Значение производной по направлению в направлении единичного вектора u (на графике в компонентной форме) можно рассматривать как наклон линии на поверхности кривой f в направлении u в точке (-2, 2, 4), как показано красным на рисунке ниже:
Существует много производных по направлению, которые можно вычислить в точке (-2, 2, 4) для f в зависимости от нужное направление.
Производная по направлению с наибольшей величиной может быть найдена с помощью градиента f.
Кроме того, поскольку градиент является вектором, мы можем использовать его для определения производной функции по направлению в направлении некоторого единичного вектора. Из приведенного выше определения производной по направлению вектор, являющийся частной производной от x и y, представляет собой градиент f:
Подстановка градиента в формулу для производной по направлению дает:
Пример
Найдите производную по направлению от f(x,y) = x 3 e -y в (3, 2) в направлении .
В этом примере направление задается в виде вектора, а не единичного вектора. Чтобы найти единичный вектор, разделите вектор v на его величину:
Затем мы вычисляем градиент следующим образом:
At (3, 2), . Таким образом:
D u (3, 2) = -0,73 можно рассматривать как наклон линии на поверхности f в точке (3, 2, 3,65) в направлении v, как показано на рис.