Онлайн-оценка максимального правдоподобия (многомерных) гауссовских распределений — ML и статистика
\(
\def\myX{\mathbf{x}}
\ деф \ мой Y {\ mathbf {у}}
\def\mySigma{\mathbf{\Sigma}}
\def\myM{\mathbf{M}}
\def\myT{\mathsf{T}}
\)
Когда нужно оценить параметры (средний вектор и ковариационная матрица) многомерного распределения Гаусса, обычно используются следующие хорошо известные соотношения, которые представляют оценки максимального правдоподобия:
где i-е пример вектор выборки размером .
Приведенные выше два уравнения могут быть легко реализованы для автономного случая с уже существующими данными. Однако на практике часто приходится иметь дело с потоками данных, где за раз приходится обрабатывать один пример.
В таких ситуациях обычно невозможно повторно вычислить уравнение. \eqref{eq:meanDef} и уравнение. \eqref{eq:SigmaDef} снова для каждого вновь собранного экземпляра данных. Целесообразнее немного адаптировать предыдущие оценки, а также подогнать под новую точку, чтобы получить и .
Онлайн-оценка среднего
Для среднего вектора мы можем легко найти такое решение:
где:
Правило обновления в уравнении. \eqref{eq:onlineMean} в сочетании с уравнением. \eqref{eq:DeltaN} должен быть достаточно надежным для большинства практических приложений.
Онлайн-оценка ковариационной матрицы
Поиск правил обновления для онлайн-адаптации ковариационной матрицы немного сложнее. Однако, как только математика сделана, полученные уравнения также довольно просты.
Можно начать с ненормированной суммы примерных ковариаций (так называемая матрица рассеяния) для размера выборки (мы изначально не рассматриваем нормировку на ):
где j-й элемент вектора на временном шаге .
Для ковариации между двумя признаками j и k, чтобы обновить до , можно вычислить приращение: отношение (где и оба вектора-столбца):
Если кто-то предпочитает обновлять ковариационную матрицу с помощью «мини-пакетов» вместо отдельных примеров, это можно реализовать с помощью следующего уравнения:
где размер мини-пакета и мини-пакет со строками . Как правило, время вычислений можно немного сократить при использовании мини-пакетов. Несмещенная ковариационная матрица затем может быть вычислена на каждом временном шаге с помощью:
Поиск более простой формулы для ковариационной матрицы
Однако вышеприведенная формулировка все же кажется слишком сложной. Итак, мы снова пытаемся найти более удобное онлайн-правило обновления для ковариационной матрицы, начиная снова с исходного представления:
Это приводит к следующей ковариационной матрице
, которую также можно вычислить в векторизованной форме (заменив поправочный член Бесселя просто на ), если все примеры векторов организованы как строки в матрице со строками (просто в качестве примечания):
Дальнейшие упрощения
С помощью уравнения мы можем найти еще более простое онлайн-правило для обновления ковариационной матрицы.
Давайте начнем снова с:
Если мы посмотрим на приведенное выше уравнение, мы увидим, что оно фактически идентично уравнению. \eqref{eq:DeltaMResult}. В общем, мы только что нашли более простой способ вывести уравнение. \eqref{eq:DeltaMResult}. Тем не менее, немного поэкспериментировав с разными подходами, нам удалось немного упростить \eqref{eqref:DeltaM2}. Основная идея состоит в том, чтобы избавиться от терминов и , так как они не так привлекательны для нашей онлайн-формулировки. С уже известным выражением
и с измененной формулировкой приведенного выше уравнения
мы можем начать упростить уравнение. \eqref{eqref:DeltaM2}. Мы вставляем уравнение \eqref{eq:xmeanNew} и уравнение. \eqref{eq:xmeanOld} в \eqref{eqref:DeltaM2} и посмотрим, куда это нас приведет:
где уже определено в уравнении. \eqref{eq:DeltaN}.
Унифицированное алгоритмическое описание
В целом это приводит лишь к нескольким очень простым правилам обновления, которые можно выполнять в следующем порядке:
В случае одномерного гауссовского распределения приведенные выше инструкции сокращаются до: 92), nряд=n) среднее значение = матрица (rep (0, n)) for(i in 1:nrow(X)) { х = матрица (Х [я,]) дельта = х — среднее среднее = среднее + дельта / я M = M + дельта %*% t(x — среднее значение) если (i>1) cov <- M / (i-1) } возврат (список (meanEst = среднее, covEst = cov)) }
Теперь давайте зададим многомерную гауссиану с параметрами
и возьмем выборку размера из этого распределения.
Затем мы просматриваем нарисованные примеры в режиме онлайн и снова пытаемся оценить среднее значение и ковариационную матрицу:
# Пример: выборка из заранее заданного дистрибутива, а затем попытка оценки # параметры раздачи covMat <- matrix(c(1,-1,.5,-1,3,-1,.5,-1,3), nrow=3) N = 1000 X <- mvrnorm(n=N,Sigma = covMat, mu = c(1,10,20), tol= 1e-13) onlineEstimator(X)
После выполнения выборки размера мы можем получить следующий вывод:
> onlineEstimator(X)
$meanEst
[1]
[1,] 0,9908257
[2,] 10.0214919
[3,] 20.0737200
$covEst
[1] [2] [3]
[1,] 1,0374998 -1,017537 0,5327917
[2,] -1,0175368 3,038815 -1,0029339
[3,] 0,5327917 -1,002934 3,05 Мы также можем построить график изменения оценок с течением времени. Результат может быть примерно таким (примечание: показаны только несколько оценочных компонентов):
Рисунок 1: Онлайн-оценка параметров распределения Гаусса. Показаны несколько компонентов среднего вектора и ковариационной матрицы.
После обработки достаточного количества примеров оценки сходятся к истинным значениям. 92), nряд=n)
среднее значение = матрица (rep (0, n))
myMeans <- data.frame()
myCovs <- data.frame()
for(i in 1:nrow(X)) {
х = матрица (Х [я,])
дельта = х - среднее
среднее = среднее + дельта/(i)
M = M + дельта %*% t(x - среднее значение)
mycov <- if(i>1) M / (i-1) else M
myMeans <- rbind (myMeans, as.vector (среднее))
myCovs <- rbind(myCovs, as.vector(mycov))
}
return (list(meanEst=mean, covEst=mycov, allMeans = myMeans, allCovs = myCovs))
}
covMat <- matrix(c(1,-1,.5,-1,3,-1,.5,-1,3), nrow = 3)
N = 1000
X <- mvrnorm(n=N,Sigma = covMat, mu = c(1,10,20), tol= 1e-13)
res <- onlineEstimator(X)
ts.plot(res$allMeans[1])
allEsts <- cbind(n=1:N,res$allMeans, res$allCovs)
colnames(allEsts) <- c("n", paste("mean_", c(1:3), sep=""), paste("cov_", 1:9, сент = ""))
plotCols <- c(1:3,5,6,7,9)
plotdf <- Melt(allEsts[plotCols], id.
Введение в метод конечных элементов
Р. В. Клаф, Метод конечных элементов в анализе плоских напряжений, Proc. Вторая конф. Электронные вычисления, ASCE, Питсбург, 1960.
Google ученый
М. Дж. Тернер, Р. В. Клаф, Х. К. Мартин и Л. Дж. Топп, Анализ жесткости и прогиба сложных конструкций, J. Aero. Sc.,
23 , сентябрь 1956 г., стр. 805–824.Google ученый
Р. Дж. Мелош, Основы получения матриц для прямого метода жесткости, J. AIAA, 1 (7), 1963.
Google ученый
B. F. de Veubeke, Верхние и нижние границы в матричном структурном анализе , в «Матричных методах структурного анализа», AGARD, 72 , 1964, стр. 165-201.
Google ученый
Ю. К. Чеунг, Метод конечных полос в структурном анализе, Pergamon Press, 1976.
Google ученый
Конференция «Использование цифровых компьютеров в проектировании конструкций», Университет Нью-Касла, Англия, 19 июля.66.
Google ученый
С. Дж. Фенвес, Н. Перроне, А. Р. Робинсон и В. К. Шнобрих (редакторы), Численные и компьютерные методы в строительной механике, Academic Press, 1972.
Google ученый
Пятая конференция по электронным вычислениям, J. Strl. отд., учеб. ASCE, 97 , январь 1971 г.
Google ученый
Обзор конечных элементов, Advanced Engineering Corporation, Linkuping, Швеция, 1979.
Google ученый
Р. Х. Галлагар, Ю. Ямада и Дж.
Google ученый
Р. Гловински, Э. Ю. Родин и О. К. Зенкевич, Энергетические методы в анализе методом конечных элементов, John Wiley and Sons, 1979.
Google ученый
Симпозиум ISD/ISSC по методам конечных элементов, Штутгарт, Западная Германия, июнь 1969 г.
Google ученый
Симпозиум ISSC «Высокоскоростные вычисления в области эластичности», Льеж, Бельгия, 1970 г.
Google ученый
Дж. К. Маккатчеон, М. С. Мирза и А. А. Муфти (редакторы), Материалы специализированной конференции по методу конечных элементов в гражданском строительстве (состоялась в Университете Макгилла, Канада 1972), Инженерный институт Канады, Оттава, Лондон, 1972 г.
Google ученый
Дж. Т. Оден, О. К. Зенкевич, Р. Х. Галлагар и К. Тейлор (редакторы), Конечные элементы в жидкостях, т. I и II, John Wiley and Sons, 1979.
Google ученый
В. Пальмано и А. Кабила (редакторы), Международная конференция по методам конечных элементов, Университет Нового Южного Уэльса, Австралия, 1975.
Google ученый
Материалы первой конференции по матричным методам строительной механики, база ВВС Райт-Паттерсон, Дейтон, Огайо, AFFDL-TR-66–80, 26–28 октября 1965 г.
Google ученый
Труды Второго международного симпозиума по вычислительным методам в прикладных науках и технике, Ирия, Версаль, Франция, 1975.
Google ученый
О. К. Зенкевич, Р. Льюис и Э. Стэгг (редакторы), Численные методы в морской инженерии, John Wiley & Sons, 1977.
Google ученый
Г.А. Мор, Численно интегрированный треугольный элемент для тонких оболочек двойной кривизны. вычисл. Структура 11 , 565–573 (1980)
CrossRef МАТЕМАТИКА Google ученый
К. Дж. Бате, Методы конечных элементов, Prentice-Hall, 1996.
Google ученый
А. Чайес, Принципы теории структурной устойчивости, Прентис-Холл, 1974.
Google ученый
Р. Х. Галлахар, Основы конечно-элементного анализа, Prentice-Hall, 1975.
Google ученый
Дж. Падаван, Нелинейные колебания общих конструкций. J. of Sound and Vibration 72 , 427–442 (1980)
CrossRef Google ученый
Г. Б. Уорбертон, Динамическое поведение структур, Pergamon Press, 1976.
Google ученый
Р. Силард, Теория и анализ пластин, Prentice-Hall, 1974.
Google ученый
Д. Венугопал Рао, А. Х. Шейх и М. Мухопадхьяй, Анализ больших прогибов подкрепленных пластин методом конечных элементов, Компьютеры и конструкции, 47 (6), 1993, стр. 987–993.
Google ученый
М. Мухопадхьяй, Свободные колебания прямоугольных пластин, имеющих разную степень упругого ограничения вращения. J. Sound and Vibration 67 (4), 459–468 (1979)
CrossRef МАТЕМАТИКА Google ученый
М. Мухопадхьяй, Вибрации, динамика и структурные системы, Оксфорд и IBH, 2-е издание, 2000.
Google ученый
M. Mukhopadhyay, Отклик прямоугольных пластин, имеющих разную степень упругости, на гармоническое возбуждение. Океан. Eng., Pergamon Press. 8 (5), 497–505 (1981)
CrossRef Google ученый
М. Мухопадхьяй, Анализ потери устойчивости прямоугольной корабельной обшивки. Междунар. Судостроение. прог. 26 (297), 89–97 (1979)
CrossRef Google ученый
М. Мухопадхьяй, Полуаналитическое решение для свободных колебаний кольцевых секторных пластин. Дж. Саунд Виб. 63 (1), 87–95 (1979)
CrossRef МАТЕМАТИКА Google ученый
Р. Дж. Мелош, Оценка ошибок манипулирования для анализа методом конечных элементов, конечные элементы в анализе и проектировании, 3 (3), октябрь 1987 г.
Google ученый
11-й ежегодный семинар «Метод конечных элементов в биомедицинской инженерии, биомеханике и смежных областях», Ульмский университет, Германия, 11–14 июля 2004 г.
Google ученый
Цирк конечных элементов, осень 2002 г., Университет штата Пенсильвания, 25–26 октября 2002 г.
Google ученый
Международная конференция по методам конечных элементов: суперсходимость, постобработка и апостериорные оценки, Университет Ювяскюля, Финляндия, 1–6 июля 1996 г.
Google ученый
Международная конференция по моделированию методом конечных элементов, Люксембургская исследовательская лаборатория «Генри Тюдор», Люксембург, 13–14 ноября 2003 г.
Google ученый
Международная конференция «Методы конечных элементов p и hp: математика и инженерная практика», Вашингтонский университет, 31 мая–2 июня 2000 г.
Google ученый
Г. Дондт, Метод конечных элементов для трехмерных термомеханических приложений, Wiley Europe, 2004.
Google ученый
Ю.К. Йип, Р.К. Аверилл, Конечный элемент трехмерной многослойной пластины с зигзагообразной сублимацией высокого порядка. Дж. Вычисл. англ. науч. 2 (1), 137–180 (2001)
Google ученый
Т.Ю. Yang, Структурный анализ методом конечных элементов (Prentice-Hall, Englewoods, Cliffs, 1986)
Google ученый
Цзин Ли, Геометрически точная теория искривленных балок и ее формулировка/реализация методом конечных элементов, магистерская диссертация по аэрокосмической технике, Политехнический институт Вирджинии, США, 2000.
Google ученый
M. Petyt, Введение в анализ колебаний методом конечных элементов , 2-е изд. (Издательство Кембриджского университета, Кембридж, Великобритания, 1998 г.)
МАТЕМАТИКА Google ученый
С.Ю. Ван, С.Т. Квек, Н.К. Анг, Анализ динамической устойчивости конечно-элементного моделирования пьезоэлектрического композита. Междунар. J. Структура твердых тел. 41 (3), 745–764 (1987)
Google ученый
К. Чандрасекхара, К. Бхатиа, Активный контроль потери устойчивости интеллектуальных композитных пластин – анализ методом конечных элементов. Умный Матер. Структура 2 , 31–39 (1993)
CrossRef Google ученый
М. А. Крисфилд, Нелинейный анализ твердых тел и конструкций методом конечных элементов, т. I и II, John Wiley and Sons, 1991 и 1997.
Google ученый
">Дж.Х. Аргирис, С. Кесли, Теоремы об энергии и структурный анализ (Баттервортс, Лондон, 1960)
Перекрестная ссылка Google ученый
">Симпозиум «Применение конечных элементов в гражданском строительстве», Университет Вандербильта, Теннесси, США, ноябрь 1969 г.
Google ученый
">А.Н. Чен, Исследование конечных элементов и бифуркации и потери устойчивости в предельной точке упругопластических арок. вычисл. Структура 60 (2), 189–196 (1996)
CrossRef МАТЕМАТИКА Google ученый
">М.М. Шокри, Л.Б. Лессард, Влияние нелинейности материала на трехмерное напряженное состояние композитного ламината, нагруженного штифтами. Дж. Комп. Материалы 30 (7), 839–861 (1996)
CrossRef Google ученый
">Д. Д. Миласинович, Конечная полоса в вычислительной механике, Строительные факультеты, Суботица, Белград, 2003.
Google ученый
">Р. Дж. Мелош, Расчет конструкций с помощью конечных элементов, Prentice-Hall, 1990.
Google ученый
">Н. Раттанаванчароен, Х. Бай, А. Х. Шах, 3D цилиндрическая конечно-элементная модель для толстого изогнутого элемента напряжения балки. ИНМЕ 59 , 511–531 (2004)
CrossRef МАТЕМАТИКА Google ученый
">M. Mukhopadhyay, Вибрации, динамика и структурные системы, Oxford & IBH, 2-е издание, 2000.
Google ученый
