Метод моментов: 4.1 Метод моментов

4.1 Метод моментов

Теоретические моменты выражаются через параметры распределения. Для основных видов распределений приведем выражение некоторых моментов через параметры распределения (таблица 4.1.1).

Таблица 4.1.1

Вид распределения	Параметры	Основные моменты
Биномиальное распределение
Закон Пуассона	а
Нормальное распределение
Равномерное распределение	А, В
Показательное распределение

Метод моментов состоит в приравнивании теоретических и эмпирических моментов. Составляется столько уравнений, сколько неизвестных параметров нужно оценить. Конечно, выбираются те моменты, которые выражаются через неизвестные параметры. В качестве оценок неизвестных параметров берется решение полученного уравнения или системы уравнений.

Задача 1. Дана выборка случайной величины Х, распределенной по закону Пуассона. Методом моментов оценить неизвестный параметр распределения.

Приведем закон распределения генеральной случайной величины:

Неизвестным является параметр а. Нам известно выражение математического ожидания случайной величины

Х через параметр а: Эмпирическим математическим ожиданием является оценка математического ожидания Приравняем теоретическое и эмпирическое математическое ожидание:

Тогда и решение этого уравнения:

Получена оценка параметра а.

Пример 1. Случайная величина Х показывает число нестандартных изделий в партии, она распределена по закону Пуассона. Дана выборка случайной величины Х:

	0	1	2	3	4
	130	45	20	3	2

(число партий, в которых обнаружено нестандартных изделий).

Методом моментов оценить неизвестный параметр распределения.

Найдем объем выборки:

Найдем оценку математического ожидания:

Используем решение задачи 1:

Задача 2. Дана выборка случайной величины Х, распределенной равномерно. Методом моментов оценить параметры распределения.

Генеральная случайная величина равномерно распределена на отрезке концы которого являются параметрами. Математическое ожидание и дисперсия случайной величины

Х выражаются через параметры:

Приравниваем эти теоретические моменты к эмпирическим:

Очень часто используется обозначение:

Пример 2. Дана выборка случайной величины Х, распределенной равномерно:

	2	4	6	8	10
	36	40	39	40	45

Методом моментов оценить неизвестные параметры распределения.

Оценим математическое ожидание и дисперсию.

Объем выборки:

Сумма всех выборочных значений:

Находим эмпирическое математическое ожидание:

Найдем сумму квадратов отклонений выборочных значений от оценки математического ожидания:

Находим несмещенную оценку дисперсии:

Используем результаты задачи 2:

Дана выборка генеральной случайной величины Х. Неизвестными параметрами распределения случайной величины

Х являются

Случайная выборка состоит из независимых случайных величин, распределение каждой из которых совпадает с распределением случайной величины Х, то есть

если Х дискретна;

если Х непрерывна.

Здесь указана зависимость от параметра вероятности принятия случайной величиной Х значения х, или значение плотности распределения случайной величины Х в точке х.

Функция правдоподобия – это функция значение которой в точке определяется соотношением:

Когда случайная величина Х дискретна, функция правдоподобия в точке равна вероятности того, что случайная выборка принимает значение .

Если случайная величина

Х непрерывна, то функция правдоподобия в точке равна значению плотности совместного распределения в точке

Чем больше значение функции правдоподобия в точке тем чаще (с большей вероятностью) случайная выборка принимает значения или очень близкие к нему (в случае непрерывного распределения). Поэтому в роли точечных оценок неизвестных параметров выбирают значения при которых достигается максимум функции правдоподобия:

Максимум рассматривается по области допустимых значений Методом максимального правдоподобия выбираются оценки, при которых выборка наиболее вероятна (наиболее правдоподобна).

Точка максимума не изменится, если вместо L взять

Напомним необходимое условие нахождения экстремума функции нескольких переменных:

Задача 1. Дана выборка генеральной случайной величины Х, распределенной по показательному закону. Методом максимального правдоподобия оценить неизвестный параметр распределения.

Запишем плотность распределения случайной величины Х:

при

при

Неизвестным параметром распределения является Во введенных обозначениях

Генеральная случайная величина Х распределена по показательному закону, поэтому все выборочные значения неотрицательны.

Удобнее рассматривать максимум логарифма функции правдоподобия:

Рассмотрим необходимое условие максимума:

Решим это уравнение:

При переходе через знак меняется с плюса на минус, достаточное условие максимума выполнено.

Пример 1. Дана выборка случайной величины, распределенной по показательному закону:

	0	0,1	0,2	0,3	0,5
	35	30	15	5	2

Методом максимального правдоподобия оценить неизвестный параметр распределения.

Найдем объем выборки:

Найдем сумму всех выборочных значений:

Используем результат задачи 1:

Задача 2. Случайная величина Х (число появлений события А в N независимых испытания) распределена по биномиальному закону с неизвестным параметром р. Дана выборка случайной величины Х. Методом максимального правдоподобия оценить параметр р.

В роли неизвестного параметра здесь выступает р:

Используем формулу Бернулли:

Составим функцию правдоподобия:

Перейдем к логарифму этой функции:

Рассмотрим необходимое условие максимума:

В качестве оценки правдоподобия нужно принять величину:

Пример 2. Отдел технического контроля проверил партий по изделий в каждой партии и получил выборку:

	0	1	2	3	4	5	6	7
	2	3	10	22	26	20	11	6

где это число партий, в которых обнаружилось изделий первого сорта. Генеральная случайная величина Х, показывающая число изделий первого сорта в партии из 10 изделий, распределена биномиально. Методом максимального правдоподобия оценить неизвестный параметр р (вероятность того, что изделие первого сорта).

Найдем сумму всех выборочных значений:

Используем результат задачи 2:

Рассмотрим случай, когда требуется оценить два неизвестных параметра.

Задача 3. Дана выборка случайной величины Х, распределенной по нормальному закону. Методом максимального правдоподобия оценить неизвестные параметры распределения.

Запишем плотность распределения нормального закона:

Неизвестными являются два параметра а и В данной задаче Составим функцию правдоподобия:

Рассмотрим логарифм функции правдоподобия:

Составим систему для нахождения оценок неизвестных параметров:

Ее решение:

По сравнению с методом моментов метод максимального правдоподобия дает однозначное решение при оценке неизвестных параметров. А метод моментов является более простым в объяснении.

Метод моментов нахождения оценок | это… Что такое Метод моментов нахождения оценок?

Ме́тод моме́нтов нахождения оценок в математической статистике — это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон — 1894г.)

Содержание 1 Определение 2 Замечания 3 Состоятельность метода 4 Пример 5 Преимущества и недостатки метода 6 См. также

Определение

Пусть — выборка из распределения , зависящего от параметра . Пусть есть функция , такая что g(X₁) интегрируема относительно меры , и

,

где — биекция. Тогда оценка

называется оценкой параметра методом моментов.

Замечания

• По построению, ,

то есть оценка методом моментов получается путём приравнивания теоретического среднего g(X) с выборочным средним.

• В качестве функции g часто берут степенную функцию:

.

• Оценка существенно зависит от используемой функции g(x). Если возможно использование нескольких разных функций g(x), полученные с их помощью оценки могут различаться.

Состоятельность метода

Если , то есть функция f непрерывна, то оценка метода моментов состоятельна.

Пример

Пусть — выборка из гамма распределения с неизвестными параметрами α и β. Тогда

.

Тогда оценки метода моментов удовлетворяют системе уравнений:

откуда

,

и

.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, т.к. максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

• Метод максимального правдоподобия
• Обобщенный метод моментов

к), \; k=3, 4, \ldots\) до тех пор, пока у вас не будет столько уравнений, сколько у вас есть параметров.

Найдите параметры.

Полученные значения называются методом оценки моментов . Кажется разумным, что этот метод дает хорошие оценки, поскольку эмпирическое распределение в некотором смысле сходится к распределению вероятностей. Поэтому соответствующие моменты должны быть примерно равны.

Пусть \(X_1, X_2, \ldots, X_n\) — случайные величины Бернулли с параметром \(p\). Каков метод оценки моментов \(p\)? 92\)

Опять же, для этого примера метод оценок моментов такой же, как и оценки максимального правдоподобия.

В некоторых случаях вместо выборочных моментов относительно начала координат проще использовать выборочные моменты относительно среднего значения. Это дает нам альтернативную форму метода моментов.

Другая форма метода Раздел

 

Основная идея этой формы метода заключается в следующем: 9{\alpha-1}\text{exp}\left[-\dfrac{1}{\theta}\sum x_i\right]\)

трудно дифференцировать из-за гамма-функции \(\Gamma(\alpha )\). 2\) 92\)

(которое, как мы знаем из нашей предыдущей работы, необъективно). Этот пример в сочетании со вторым примером иллюстрирует, как две разные формы метода могут потребовать разного объема работы в зависимости от ситуации.

Метод моментов | Реальная статистика с использованием Excel

Основные понятия

Имея набор данных, который, по нашему мнению, соответствует определенному распределению, мы хотели бы оценить параметры, которые лучше всего соответствуют этим данным. Опишем теперь один из способов сделать это — метод моментов. В другом месте мы опишем два других таких метода: метод максимального правдоподобия и регрессию.

В методе моментов мы используем факты о взаимосвязи между интересующими параметрами распределения и соответствующими статистическими данными, которые могут быть оценены по выборке (особенно среднее значение и дисперсия). Мы будем использовать среднее выборку X̄ в качестве нашей оценки для среднего значения популяции μ и статистики T ² , определенная

в качестве оценки для дисперсии популяции σ ^{2 04040404040402020202020402040202а. x̄ и t 2 реализованы в Excel через функции СРЗНАЧ и ДИСПЕМП соответственно.}

Выборка по сравнению с дисперсией генеральной совокупности

Из оценщиков мы знаем, что t ² является смещенной оценкой, но по мере увеличения размера выборки t ² становится асимптотическим и несогласованным.

Так как наши выборки часто бывают небольшими, мы склонны использовать выборочную дисперсию  s ² , которая является несмещенной, последовательной оценкой, вместо σ ² . Технически это не метод моментов, но он часто служит нашим целям. s ²  реализуется в Excel с помощью функции VAR.S. Также обратите внимание, что когда мы используем s ²  в следующих примерах, мы должны технически заменить s ² на ( n– 1) s 1 ^{2 9 4 / 97 т 2 .}

Темы

• Экспоненциальное распределение
• Распределение Вейбулла
• Бета-версия
• Распределение Парето
• Равномерное распределение
• Логнормальное распределение
• Распределение обобщенных экстремальных значений (GEV)
• Обобщенное распределение Парето (GPD)
• Поддержка реальной статистики

Другие дистрибутивы

Многие дистрибутивы, которые мы изучали на этом веб-сайте, могут обрабатываться как экспоненциальное распределение, описанное выше. Например, параметры нормального распределения можно оценить по выборочному среднему и стандартному отклонению. Точно так же параметр лямбда для распределения Пуассона можно оценить по выборочному среднему.

Параметры гамма-распределения можно рассчитать как β =  с ² / x̄  и α = x̄ / 8 β .

Параметр геометрического распределения можно оценить как p = 1/(1– x̄ ).