Квантили нормального распределения таблица: Таблица. Функция распределения вероятностей стандартного нормального закона. Таблица квантилей стандартного нормального закона распределения.

Agnieszka Kujawska, PhD

·

Читать

Опубликовано в

·

13 мин чтения

·

Июн 26, 2021

Вы много раз встречались с распределением вероятностей. Вы знаете, что есть несколько разных типов. Но в глубине души вы чувствуете смущение, когда вам нужно использовать его на практике. В чем, черт возьми, разница между распределением вероятностей и кумулятивным распределением вероятностей? Должен ли я проверять уровень достоверности или альфу по оси X или Y? Если да, то эта статья для вас. В конце концов, вы будете чувствовать себя комфортно, используя распределения вероятностей для дискретных или непрерывных случайных величин. Давайте погрузимся в это!

В этой статье мы рассмотрим следующие темы:

1. Функция плотности вероятности (PDF)
2. Функция массы вероятности (PMF)
3. Кумулятивное распределение вероятностей (CDF)
   3. 1 Кумулятивное распределение вероятностей для ДИСКРЕТНЫХ случайных величин (CMF) 9000 5 3.2 Кумулятивное распределение вероятностей для НЕПРЕРЫВНЫХ случайных величин (CDF)
4. Сводка распределений вероятностей
5. Функция квантилей
6. Спасибо за чтение и ссылки

Распределение плотности вероятности нормального распределения — это то, о чем люди чаще всего думают, когда слышат слово «распределение». Он имеет специфическую форму колокола:

Функция плотности вероятности (PDF) сопоставляет значение с его плотностью вероятности [1]. Это понятие похоже на физику, где плотность вещества — это его масса на единицу объема. Например, 1 литр воды весит примерно 1 кг, поэтому плотность воды составляет примерно 1 кг/л или 1000 кг/м³. Аналогично, плотность вероятности измеряет вероятность на единицу х .

PDF относится к непрерывной случайной величине , что означает, что переменная может принимать любое значение в пределах определенного диапазона действительных чисел. Random показывает неопределенность того, какие значения может принимать переменная. Это дает бесконечное количество возможностей, например 0,1, но также и 0,101, 0,1001 и т. д. Таким образом, вероятность того, что непрерывная случайная величина будет равна заданному значению, равна нулю.

Вероятность на графике PDF представлена ​​площадью под кривой плотности. Площадь под точкой равна нулю. Вот почему PDF используется для проверки вероятности того, что случайная величина попадает в заданный диапазон значений, а не для принятия какого-либо конкретного значения. Например, какова вероятность того, что мы потеряем деньги, инвестируя в фонд так, что доходность будет отрицательной? Здесь мы рассматриваем все доходы меньше нуля.

Интуитивно PDF представляет собой линию, описывающую гистограмму. Например, мы хотим разделить 992 участника эксперимента на возрастные группы (0–10, 11–20 и т. д.). Мы подсчитываем, сколько участников попадает в каждую группу, и представляем это в виде столбцов на гистограмме:

Насколько высока вероятность того, что человек, которого мы случайно выберем, будет членом данной возрастной группы? Во-первых, мы должны преобразовать распределение частот в распределение вероятностей. Это означает вычисление плотности вероятности на основе количества участников в каждой группе. Так как бары имеют прямоугольную форму и площадь под функцией плотности вероятности всегда равна 1, мы можем использовать упрощенное уравнение:

Для частот, представленных на предыдущем графике, мы имеем:

Теперь мы можем построить наши данные, используя плотности вместо подсчетов по оси Y. Красная кривая соединяет расчетные точки и обозначает функцию плотности вероятности:

Но обратите внимание, что я сгенерировал данные для этого графика из нормального распределения. Вот почему PDF и гистограмма так хорошо подходят. PDF имеет «закрытую» форму, что требует предварительного определения распределения и параметров (среднее значение и стандартное отклонение в случае нормального распределения). Гистограмма использует необработанные данные, поэтому она показывает реальное распределение. Это позволяет обнаруживать аномалии, особенно при большом количестве баров.

Интересуют другие параметры, используемые для описания распределения (математическое ожидание, дисперсия, асимметрия и эксцесс)? Перейти сюда:

Статистические моменты в интервью по науке о данных

Основная математика для специалистов по данным, объясненная с нуля

в направлении datascience.com

Ключевые моменты, которые следует помнить из приведенного выше анализа:

• Вероятность — это площадь под вероятностью кривая плотности (PDF).
• Вероятность того, что непрерывная случайная величина примет заданное значение, равна нулю. Итак, для заданного значения x мы можем проверить только плотность вероятности, что не очень полезно.
• Поэтому мы ориентируемся на интервалы значений. Это позволяет нам делать вероятностные утверждения о диапазоне значений. Например, есть вероятность 50%, что участнику будет не менее 40 лет.

Функция массы вероятности (PMF) относится к дискретным случайным величинам. В отличие от непрерывных случайных величин, дискретные случайные величины могут принимать только счетное число дискретных значений, таких как 0, 1, 2,…. Простыми примерами являются бросание игральной кости, подбрасывание монеты или обнаружение мошеннических транзакций (мошенничество либо есть, либо его нет).

Подобно непрерывным случайным величинам, мы можем создать гистограмму дискретных данных. Но нет необходимости агрегировать значения в интервалы. Рассмотрим сумму бросков пары игральных костей. Количество результатов конечно, так как значения на обоих кубиках от 1 до 6. На графике ниже показан пример гистограммы для 1000 бросков правильной пары игральных костей:

Оба кубика являются правильными, что означает, что вероятность выпадения каждого числа от 1 до 6 одинакова, равная 1/6. Таким образом, самая популярная сумма равна 7. Как и в случае с непрерывными случайными величинами, мы можем выразить каждый результат как вероятность.

Если мы бросим пару кубиков, возможны 36 исходов (по 6 вариантов на каждом кубике). Если сумма равна 2, возможна только одна комбинация: (1,1). Таким образом, вероятность получить сумму, равную 2, равна 1/36 = 0,0278. Аналогично для суммы 12, возможно только для (6,6). Точно так же мы можем рассчитать вероятности других возможных исходов. Результаты, представленные на графике, создают функцию массы вероятности (PMF):

Подводя итог, мы рассмотрели следующие типы графиков:

• Гистограмма — это график, показывающий, сколько раз каждый диапазон значений появляется в наборе данных. Он не требует каких-либо предположений о распределении, но мы должны заранее указать количество баров. Гистограмма строится из конечного числа выборок. Сумма значений гистограммы для всех баров равна общему количеству выборок.
• Функция плотности вероятности (PDF) описывает плотность вероятности непрерывных случайных величин . Вероятность на PDF представляет собой площадь под кривой плотности. Поскольку вероятность данного значения равна нулю для непрерывных случайных величин, PDF используется для проверки вероятности того, что переменная попадает в заданный интервал. Вся площадь под PDF равна единице.
• Функция массы вероятности (PMF) описывает вероятность дискретных случайных величин . Это означает, что переменная может принимать только счетное число дискретных значений, таких как 0, 1, 2 и т. д. Сумма вероятностей всех дискретных значений в PMF равна единице.

Хотя все они очень полезны и широко используются в отрасли, есть еще одно важное распределение вероятностей — кумулятивная функция распределения (CDF).

Кумулятивная функция распределения (CDF) случайной величины X описывает вероятность (шансы) того, что X примет значение, равное или меньшее x. Математически это можно выразить так:

Взяв предыдущий пример с подбрасыванием правильной пары игральных костей, мы можем спросить: какова вероятность того, что сумма двух игральных костей меньше или равна 3? Нам нужно добавить вероятность суммы, равной 2 (0,0278), и вероятность суммы 3 (0,0556), поэтому совокупная вероятность для x = 3 составляет 0,0278 + 0,0556 = 0,0834. Затем мы повторяем процесс добавления для каждого дискретного значения, чтобы получить кумулятивную функцию распределения дискретного распределения вероятностей:

Как видно на графике, кумулятивная функция вероятности для максимально возможного исхода равна 1. Поскольку сумма двух игральных костей может принимать только целые значения, график можно выразить с помощью столбцов:

Идея CDF для непрерывных переменных такая же, как и для дискретных переменных. Ось Y показывает вероятность того, что X примет значения, равные или меньшие, чем x. Отличие в том, что вероятность меняется даже при небольших перемещениях по оси x.
В примере с групповым возрастом участников кумулятивная функция распределения выглядит следующим образом:

Графики ниже сравнивают PDF и CDF нормального распределения с нулевым средним и стандартным отклонением, равным единице:

Мы можем сделать вывод, что:

• CDF является неубывающей функцией. Он показывает вероятность того, что переменная равна или меньше x, поэтому она может увеличиваться только с увеличением значения x.
• Мы можем проверить вероятность по обоим графикам, но использование CDF более просто. CDF показывает вероятность по оси y, а PDF имеет плотность вероятности по оси y. В случае PDF вероятность представляет собой площадь под кривой PDF.
• Поскольку нормальное распределение симметрично, CDF при x=0 (что означает среднее значение) составляет 0,5.
• Функция CDF с левой стороны асимптотична к 0 и 1 с правой стороны графика. Точные значения x зависят от типа распределения и параметров (среднее значение и стандартное отклонение для нормального распределения).

До сих пор мы рассмотрели три способа описания распределения вероятностей: функция плотности вероятности (PDF), функция массы вероятности (PMF) и кумулятивная функция распределения (CDF). Основные различия между PDF и PMF представлены в таблице ниже:

Кумулятивная функция распределения показывает вероятность того, что X примет максимальное значение x. Он суммирует шансы для всех меньших значений и шансов, равных x. Поскольку ось Y представляет собой вероятность, использование CDF часто более просто, чем для PDF.

На следующей схеме показаны типичные графики каждого распределения, по часовой стрелке и начиная с верхнего левого угла: PDF, PMF, CMF, CDF. Он обобщает высокоуровневую характеристику и описывает отношения между заданными типами функций распределения.

Как видно выше, существует некоторая связь между различными способами отображения распределения вероятностей.

• Для непрерывных случайных величин мы можем легко построить PDF и CDF. Область под PDF — это вероятность, поэтому нам нужно интегрировать, чтобы преобразовать PDF в CDF, или дифференцировать, чтобы перейти от CDF к PDF.
• Для дискретных случайных величин PMF показывает вероятность, а CDF (CMF) — кумулятивную вероятность. Чтобы получить CMF из PMF, мы должны сложить вероятности до заданного x. Чтобы пойти наоборот (от CMF к PMF), мы должны вычислить разницу между шагами.
• Если мы разделим все значения на набор бинов (см. примеры с гистограммами выше), мы можем перейти от PDF к виду PMF. Он использует диапазон значений/интервалов и может рассматриваться как аппроксимация PDF. Чтобы перейти от дискретного кумулятивного распределения к непрерывной функции, необходима некоторая форма сглаживания. Это можно сделать, предположив, что данные поступают из определенного непрерывного распределения, такого как нормальное или экспоненциальное, и оценив параметры этого распределения. Изменение дискретной и непрерывной случайной величины в обоих направлениях следует рассматривать как аппроксимацию.

Позвольте представить суперзвезду распределений — функцию квантилей. Это позволяет использовать распределения для многих практических целей, таких как поиск доверительных интервалов и проверка гипотез.

Математическое определение состоит в том, что квантильная функция является обратной функцией распределения при α. Он определяет значение случайной величины так, что вероятность того, что переменная меньше или равна этому значению, равна заданной вероятности:

Где F⁻¹(α) обозначает α-квантиль X.

Сейчас это может показаться немного загадочным, но при ближайшем рассмотрении сомнения развеются. Предположим, что мы хотим проверить 5% общей площади в нижнем хвосте распределения. Мы называем это нижним 5% квантилем X и записываем как F⁻¹(0,05). Квантиль — это распределение вероятностей, разделенное на области с равной вероятностью. Если рассматривать проценты, то сначала делим раздачу на 100 штук. Когда мы смотрим в PDF, 5-й квантиль — это точка, которая отсекает площадь 5% в нижней части распределения:

Площадь под PDF слева от красной линии составляет ровно 5% от общей площади под кривой. Это подразумевает вероятность 5%. Первым шагом к рисованию красной линии было вычисление, где заканчивается 0,05 общей площади (здесь x=-1,645). Это можно сделать с помощью программного обеспечения (например, функция qnorm() в R или scipy.stats.norm.ppf() в Python) или вручную с использованием z-таблиц (пример здесь).

Поскольку CDF имеет вероятность (α) по оси y, проще найти это значение здесь:

Это показывает, насколько полезны графики CDF. Мы можем использовать CDF в обоих направлениях:

• Если у нас есть значение z (или значение x, значение на оси x), мы можем проверить вероятность того, что X примет значение, равное или меньшее, чем x. Например, какова вероятность того, что средняя продолжительность пребывания клиента в интернет-магазине составляет полчаса или меньше?
• Если у нас есть вероятность, мы можем проверить значение, которое отсекает область данной альфы. Например, с 90% уверенности, можно сказать, что клиент проводит в интернет-магазинах не менее X часов.

В приведенном выше примере мы рассмотрели только односторонний 5% квантиль (нижний хвост). Мы можем сделать то же самое для 5% вероятности с двух сторон. Это означает, что мы ищем 5% общей площади под PDF, но разделены на 2,5% нижнего квантиля (слева) и 2,5% верхнего квантиля (на правой стороне графика).

Таким образом, квантили являются прямой связью между этими графиками.

Основываясь на графиках, мы можем сказать, что у нас есть 95% уверенность в том, что истинный параметр (среднее значение) находится между -1,96 и 1,96. Или что существует 5% вероятность того, что оно находится за пределами диапазона от -1,96 до 1,96.

Приведенная выше интерпретация подчеркивает, что:

• уровень достоверности говорит нам, насколько вероятно рассматриваемое событие или каковы шансы того, что данный параметр находится в заданном диапазоне значений.
• альфа или уровень значимости — это вероятность. Мы можем проверить это по оси Y на графике CDF. Альфа — это один минус уровень достоверности.

Несколько замечаний:

• Обратная функция Φ⁻¹(α) является α-квантилем
• Когда α мало, квантиль также называется критическим значением 0010 Некоторые квантили имеют специальные имена . Если мы разделим вероятность на 100 частей, мы получим процентили. Мы можем сказать 5-й процентиль вместо 5% квантиля. 4-квантили называются квартилями и делятся на 4 части с разбивкой по значениям 25%, 50% (медиана) и 75%.
• Для стандартного нормального распределения (нормальное распределение с нулевым средним значением и стандартным отклонением, равным единице N(0,1)), которое симметрично относительно нуля, мы имеем:

Это доказано на графиках выше, поскольку мы получаем — 1,96 на нижнем оперении и 1,96 на верхнем оперении.

Используя квантили, PDF, CDF, мы можем ответить на разные вопросы в зависимости от информации, которой мы владеем, например:

• Учитывая выборочное среднее, каков диапазон значений, содержащих среднее значение генеральной совокупности, в котором мы достаточно уверены? «Разумно» может принимать различные процентные значения и зависит от цели нашего исследования.
• С какой степенью уверенности можно сказать, что доходность не будет отрицательной?

Я рад, что вы дочитали до конца этой статьи. Мы рассмотрели различные типы распределений вероятностей: функция плотности вероятности (PDF), функция массы вероятности (PMF) и кумулятивная функция плотности (CDF). Затем мы обсудили функцию количества. Он связывает различные способы описания дистрибутивов (PDF и CDF) и позволяет нам использовать эти дистрибутивы очень практичным образом. Надеюсь, это было увлекательное путешествие для вас.

Помните, что самый эффективный способ выучить (математические) навыки — это практика . Так что не ждите, пока вы почувствуете себя «готовым», просто возьмите ручку и бумагу (или ваше любимое программное обеспечение) и попробуйте несколько примеров самостоятельно. Держу за тебя пальцы скрещенными.

Я буду рад услышать ваши мысли и вопросы в разделе комментариев ниже, связавшись со мной напрямую через мой профиль LinkedIn или по телефону [email protected]. До скорой встречи!

Вам также может понравиться:

Statistical Moments in Data Science интервью

Основная математика для специалистов по данным: объяснение с нуля

в направлении datascience.