THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама

Рассмотрим использование MS EXCEL при проверке статистических гипотез о среднем значении распределения в случае неизвестной дисперсии. Вычислим тестовую статистику t 0 , рассмотрим процедуру «одновыборочный t -тест», вычислим Р-значение (Р- value ).

Материал данной статьи является продолжением статьи . В указанной статье даны основные понятия проверки гипотез (нулевая и альтернативная гипотезы, тестовые статистики, эталонное распределение, Р-значение и др. ).

СОВЕТ : Для проверки гипотез потребуется знание следующих понятий:

  • , и их .

Формулировка задачи. Из генеральной совокупности имеющей с неизвестным μ (мю) и неизвестной дисперсией взята выборка размера n. Необходимо проверить статистическую гипотезу о равенстве неизвестного μ заданному значению μ 0 (англ. Inference on the mean of a population, variance unknown).

Примечание : Требование о нормальности исходного распределения, из которого берется выборка , не является обязательным. Но, необходимо, чтобы были выполнены условия применения .

Сначала проведем проверку гипотезы , используя доверительный интервал , а затем с помощью процедуры t -тест. В конце вычислим Р-значение и также используем его для проверки гипотезы .

Пусть нулевая гипотеза Н 0 утверждает, что неизвестное среднее значение распределения μ равно μ 0 . Соответствующая альтернативная гипотеза Н 1 утверждает обратное: μ не равно μ 0 . Это пример двусторонней проверки , т.к. неизвестное значение может быть как больше, так и меньше μ 0 .

Если упрощенно, то проверка гипотезы заключается в сравнении 2-х величин: вычисленного на основании выборки среднего значения Х ср и заданного μ 0 . Если эти значения «отличаются больше, чем можно было бы ожидать исходя из случайности», то нулевую гипотезу отклоняют.

Поясним фразу «отличаются больше, чем можно было бы ожидать исходя из случайности». Для этого, вспомним, что распределение Выборочного среднего (статистика Х ср ) стремится к нормальному распределению со средним значением μ и стандартным отклонением равным σ/√n, где σ – стандартное отклонение распределения, из которого берется выборка (не обязательно нормальное ), а n – объем выборки (подробнее см. ).

К сожалению, в нашем случае дисперсия а, значит, и стандартное отклонение , неизвестны, поэтому вместо нее мы будем использовать ее оценку - s 2 и, соответственно, стандартное отклонение выборки s.

Известно, что если вместо неизвестной дисперсии распределения σ 2 мы используем дисперсию выборки s 2 , то распределением статистики Х ср является с n-1 степенью свободы .

Таким образом, знание распределения статистики Х ср и заданного , позволяют нам формализовать с помощью математических выражений фразу «отличаются больше, чем можно было бы ожидать исходя из случайности».

В этом нам поможет доверительный интервал (как строится доверительный интервал нам известно из статьи ). Если среднее выборки попадает в доверительный интервал, построенный относительно μ 0 , то для отклонения нулевой гипотезы оснований нет. Если не попадает, то нулевая гипотеза отвергается.

Воспользуемся выражением для Доверительного интервала , которое мы получили в статье .

Напомним, что доверительный интервал обычно определяют через количество стандартных отклонений , которые в нем укладываются. В нашем случае в качестве стандартного отклонения берется стандартная ошибка s/√n.

Количество стандартных отклонений зависит от количества степеней свободы используемого t-распределения и уровня значимости α (альфа) .

Для визуализации проверки гипотезы методом доверительного интервала в создана .

Примечание : Перечень статей о проверке гипотез приведен в статье .

t-тест

Ниже приведем процедуру проверки гипотезы в случае неизвестной дисперсии . Данная процедура имеет название t -тест :

В MS EXCEL верхний α /2-квантиль вычисляется по формуле
=СТЬЮДЕНТ.ОБР(1-α /2; n-1)

Учитывая симметричность t-распределения относительно оси ординат, верхний α /2-квантиль равен обычному α /2-квантилю со знаком минус:
=-СТЬЮДЕНТ.ОБР(α /2; n-1)

Также в MS EXCEL имеется специальная формула для вычисления двухсторонних квантилей :
=СТЬЮДЕНТ.ОБР.2Х(α ; n-1)
Все три формулы вернут один и тот же результат.

Примечание : Подробнее про квантили распределения можно прочитать в статье .

Примечание : Если вместо t-распределения использовать стандартное нормальное распределение, то мы получим необоснованно более узкий доверительный интервал , тем самым мы будем чаще необоснованно отвергать нулевую гипотезу , когда она справедлива (увеличим ошибку первого рода ).

Отметим, что различие в ширине интервалов зависит от размера выборки n (при уменьшении n различие увеличивается) и от уровня значимости (при уменьшении α различие увеличивается). Для n=10 и α = 0,01 относительная разница в ширине интервалов составляет порядка 20%. При большом размере выборки n (>30), различием в интервалах часто пренебрегают (для n=30 и α = 0,01 относительная разница составляет 6,55%). Это свойство используется в функции Z.ТЕСТ() , которая вычисляет р-значение (см. ниже) с использованием нормального распределения (аргумент σ должен быть опущен или указана ссылка на стандартное отклонение выборки ).

В случае односторонней гипотезы речь идет об отклонении μ только в одну сторону: либо больше либо меньше μ 0 . Если альтернативная гипотеза звучит как μ>μ 0 , то гипотеза Н 0 отвергается в случае t 0 > t α ,n-1 . Если альтернативная гипотеза звучит как μ<μ 0 , то гипотеза Н 0 отвергается в случае t 0 < - t α ,n-1 .

Вычисление Р-значения

При проверке гипотез большое распространение также получил еще один эквивалентный подход, основанный на вычислении p -значения (p-value).

СОВЕТ : Подробнее про p -значение написано в статье .

Если p-значение , вычисленное на основании выборки , меньше чем заданный уровень значимости α , то нулевая гипотеза отвергается и принимается альтернативная гипотеза . И наоборот, если p-значение больше α , то нулевая гипотеза не отвергается.

Другими словами, если p-значение меньше уровня значимости α , то это свидетельство того, что значение t -статистики , вычисленное на основе выборки при условии истинности нулевой гипотезы , приняло маловероятное значение t 0 .

Формула для вычисления p-значения зависит от формулировки альтернативной гипотезы :

  • Для односторонней гипотезы μ<μ 0 p-значение вычисляется как =СТЬЮДЕНТ.РАСП(t 0 ; n-1; ИСТИНА)
  • Для другой односторонней гипотезы μ>μ 0 p-значение вычисляется как =1-СТЬЮДЕНТ.РАСП(t 0 ; n-1; ИСТИНА)
  • Для двусторонней гипотезы p-значение вычисляется как =2*(1-СТЬЮДЕНТ.РАСП(ABS(t 0);n-1;ИСТИНА))

Соответственно, t 0 =(СРЗНАЧ(выборка )-μ 0)/ (СТАНДОТКЛОН.В(выборка )/ КОРЕНЬ(СЧЁТ(выборка ))) , где выборка – ссылка на диапазон, содержащий значения выборки .

В файле примера на листе Сигма неизвестна показана эквивалентность проверки гипотезы через доверительный интервал , статистику t 0 (t -тест) и p -значение .

Примечание : В MS EXCEL нет специализированной функции для одновыборочного t-теста . При больших n можно использовать функцию Z.ТЕСТ() с опущенным 3-м аргументом (подробнее про эту функцию см. статью ). Функция СТЬЮДЕНТ.ТЕСТ() предназначена для .

Проверка однородности двух выборок производится с помощью критерия Стьюдента (или t – критерия). Рассмотрим постановку задачи проверки однородности двух выборок. Пусть произведено две выборки объемом и . Необходимо проверить нулевую гипотезу о том, что генеральные средние двух выборок равны. То есть, и . n 1

Прежде чем рассматривать методику решения задачи рассмотрим некоторые теоретические положения, используемые для решения задачи. Известный математик У.С. Госсет (ряд своих работ публиковал под псевдонимом Стьюдент) доказал, что статистика t (6.4) подчиняется определенному закону распределения, который в последствии был назван законом распределения Стьюдента (второе название закона – ”t – распределение”).

Среднее значение случайной величины X ;

Математическое ожидание случайной величины X ;

Среднеквадратичного отклонения среднего выборки объема n .

Оценка среднеквадратичного отклонения среднего рассчитывается по формуле (6.5):

Среднеквадратичного отклонения случайной величины X .

Распределение Стьюдента имеет один параметр – количество степеней свободы .

Теперь вернемся к исходной постановке задачи с двумя выборками и рассмотрим случайную величину равную разности средних двух выборок (6.6):

(6.6)

При условии выполнения гипотезы о равенстве генеральных средних справедливо (6.7):

(6.7)

Перепишем соотношение (6.4) применительно нашему случаю:

Оценка среднеквадратичного отклонения может быть выражена через оценку среднеквадратичного отклонения объединенной совокупности (6.9):

(6.9)

Оценка дисперсии объединенной совокупности может быть выражена через оценки дисперсии, рассчитанные по двум выборкам и :

(6.10)

С учетом формулы (6.10) соотношение (6.9) можно переписать в виде (6.11). Соотношение (6.9) является основной расчетной формулой задачи сравнения средних:

При подстановке значения в формулу (6.8) будем иметь выборочное значение t -критерия . По таблицам распределения Стьюдента при количестве степеней свободы и заданном уровне значимости можно определить . Теперь, если , то гипотеза о равенстве двух средних отвергается.

Рассмотрим пример выполнения расчетов для проверки гипотезы равенства двух средних в EXCEL. Сформируем таблицу данных (рис. 6.22). Данные сгенерируем с помощью программы генерации случайных чисел пакета ”Анализ данных”:

X1 выборка из нормального распределения с параметрами объемом ;

X2 выборка из нормального распределения с параметрами объемом ;

X3 выборка из нормального распределения с параметрами объемом ;

X4 выборка из нормального распределения с параметрами объемом .


Проверим гипотезу равенства двух средних (X1-X2), (X1-X3), (X1-X4). В начале рассчитаем параметры выборок признаков X1-X4 (рис. 6.23). Затем рассчитаем значение t - критерия. Расчеты выполнит с помощью формул (6.6) – (6.9) в EXCEL. Результаты расчетов сведем в таблицу (рис. 6.24).

Рис. 6.22. Таблица данных

Рис. 6.23. Параметры выборок признаков X1-X4

Рис. 6.24. Сводная таблица расчета значений t – критерия для пар признаков (X1-X2), (X1-X3), (X1-X4)

По результатам, приведенным в таблице на рис. 6.24 можно сделать заключение, что для пары признаков (X1-X2) гипотеза равенства средних двух признаков отвергается, а для пар признаков (X1-X3), (X1-X4) гипотезу можно считать справедливой.

Такие же результаты можно получить с помощью программы “Двухвыборочный t -тест с одинаковыми дисперсиями” пакета Анализ данных. Интерфейс программы приведен на рис. 6.25.

Рис. 6.25. Параметры программы “Двухвыборочный t - тест с одинаковыми дисперсиями”

Результаты расчетов проверки гипотез равенства двух средних пар признаков (X1-X2), (X1-X3), (X1-X4), полученные с помощью программы приведены на рис. 6.26-6.28.

Рис. 6.26. Расчет значения t – критерия для пары признаков (X1-X2)

Рис. 6.27. Расчет значения t – критерия для пары признаков (X1-X3)

Рис. 6.28. Расчет значения t – критерия для пары признаков (X1-X4)

Двухвыборочный t -тест с одинаковыми дисперсиями иначе называется t -тестом с независимыми выборками. Большое распространение так же получил t -тестом с зависимыми выборками. Ситуация, когда необходимо применять этот критерий возникает тогда, когда одна и та же случайная величина подвергается измерению дважды. Количество наблюдений в обоих случаях одинаково. Введем обозначения для двух последовательных измерений некоторого свойства одних и тех же объектови , , а разность двух последовательных измерений обозначим :

В этом случае формула для выборочного значения критерия приобретает вид:

, (6.13)

(6.15)

В этом случае количество степеней свободы . Проверку гипотезы можно выполнить с помощью программы “Парный двухвыборочный t -тест” пакета анализа данных (рис. 6.29).

Рис. 6.29. Параметры программы “Парный двухвыборочный t -тест”

6.5. Дисперсионный анализ –классификация по одному признаку (F - критерий)

В дисперсионном анализе проверяется гипотеза, которая является обобщением гипотезы равенства двух средних на случай, когда проверяется гипотеза равенства одновременно нескольких средних. В дисперсионном анализе исследуется степень влияния одного или нескольких факторных признаков на результативный признак. Идея дисперсионного анализа принадлежит Р. Фишеру. Он использовал его для обработки результатов агрономических опытов. Дисперсионный анализ применяется для установления существенности влияния качественных факторов на исследуемую величину. Английское сокращенное название дисперсионного анализа – ANOVA (analysis variation).

Общая форма представления данных с классификацией по одному признаку представлена в таблице 6.1.

Таблица 6.1. Форма представления данных с классификацией по одному признаку

Проверка равенства среднего определенному значению.

Выборки извлечены из совокупности, имеющей нормальное распределение, данные независимы.

Критериальное значение вычисляется по формуле:

где N - размер выборки;

S 2 - эмпирическая дисперсия выборки;

А - предполагаемая величина среднего значения;

X- среднее значение.

Число степеней свободы для t-критерия V = n-1.

Нулевая гипотеза

Н 0: X = А против Н А: X≠А. Нулевая гипотеза о равенстве средних отвергается, если по абсолютной величине критериальное значение больше верхней α/2 % точки t-распределения взятого с V степенями свободы, то есть при │t│> t vα/2 .

Н 0: Х< А против Н А: X > А. Нулевая гипотеза отвергается, если критериальное значение больше верхней α% точки t-распределения взятого с V степенями свободы, то есть при │t│> t vα .

Н 0: Х>А против H А: X < А. Нулевая гипотеза отвергается, если критериальное значение меньше нижней α% точки t-распределения, взятого с V степенями свободы.

Критерий устойчив при малых отклонениях от нормального распределения.

Пример

Рассмотрим пример, представленный на рис. 5.10. Допустим, что нам необходимо проверить гипотезу о равенстве среднего для выборки (ячейки 123:130) величине 0,012.

Сначала находим среднее выборки (=СРЗНАЧ(123:130) в I31) и дисперсию (=ДИСП(I23:I30) в I32). После этого рассчитываем критериальное (=(131-0,012)*КОРЕНЬ(133)/132) и критическое (=СТЬЮДРАСПОБР(0,025;133-1)) значения. Поскольку критериальное значение (24,64) больше критического (2,84), то гипотеза о равенстве среднего 0,012 отвергается.

Рисунок 5.10 Сравнение среднего значения с константой

1. проверить гипотезы о средних и дисперсиях с помощью параметрических критериев Фишера и Кохрена (таблица 5.4);

2. проверить гипотезу о равенстве средних при неравных дисперсиях выборок (для этого в одной из выборок своего варианта убрать 1 или 2 значения) (таблица 5.4);

3. проверить гипотезу о равенстве среднего заданному значению А (таблица 5.5) и данные из 1-го столбца по варианту.

Таблица 5.4

Варианты заданий

Данные эксперимента
Вариант
2,3 2,6 2,2 2,1 2,5 2,6
1,20 1,42 17,3 23,5 2,37 2,85 35,2 26,1 2,1 2,6
5,63 5,62 26,1 27,0 5,67 2,67 35,9 25,8 5,1 5,63
2,34 2,37 23,9 23,3 2,35 2,34 33,6 23,8 2,34 2,38
7,71 7,90 28,0 25,2 2,59 2,58 35,7 26,0 7,63 7,6,1
1,2 1,6 1,7 2,6 1,9 2,8
1,13 1,15 21,6 21,2 2,13 2,16 31,7 1,12 1,12
1,45 1,47 24,7 24,8 2,45 2,47 34,8 24,5 1,49 1,45
3,57 3,59 25,9 25,7 2,55 2,59 36,0 25,7 3,58 3,58
3,3 3,6 2,5 2,4 3,4 3,5
Данные эксперимента
Вариант
7,3 7,6 12,2 12,1 3,5 4,6
6,20 6,42 217,3 230,5 12,37 12,85 75,2 86,1 3,1 4,6
7,63 5,62 264,1 278,0 15,67 14,67 75,9 75,8 5,1 5,63
6,34 5,37 233,9 236,3 12,35 12,34 73,6 73,8 3,34 4,38
7,71 7,90 281,0 255,2 12,59 12,58 85,7 86,0 3,63 4,6,1
6,2 6,6 11,7 12,6 3,9 4,8
4,13 4,15 251,6 261,2 12,13 12,16 71,7 5,12 4,12
5,45 6,47 244,7 247,8 12,45 12,47 74,8 84,5 3,49 4,45
5,57 5,59 250,9 255,7 12,55 12,59 86,0 85,7 3,58 3,58
5,3 5,6 12,5 12,4 3,4 3,5

Таблица 5.5

Значение А

Варианты
2,2 2,2 2,2 6,5 12,2 3,5

В качестве исходных данных в задании можете использовать свои экспериментальные данные.

Отчет должен содержать расчеты статистических характеристик.

Контрольные вопросы:

1. Какие статистические задачи решаются при исследовании технологических процессов производства пищевой промышленности?

2. Каким образом сравниваются статистические характеристики случайных величин?

3. Уровень значимости и доверительная вероятность при достоверности оценки экспериментальных данных.

4. Как осуществляется проверка статистических гипотез с помощью критериев согласия?

5. От чего зависит мощность критерия согласия для анализа экспериментальных выборок?

6. Каким образом осуществояется подбор критерия для решения задач анализа технологических процессов производства пищевых продуктов?

7. Каким образом осуществляется классификация критериев согласия для анализа выборок результатов исследований технологических процессов производства пищевых продуктов?

8. Какие требования предъявляются к выборкам резльтатов исследований технологических процессов производства пищевых продуктов?

8.1. Понятие зависимых и независимых выборок.

Выбор критерия для проверки гипотезы

в первую очередь определяется тем, являются ли рассматриваемые выборки зависимыми или независимыми. Введем соответствующие определения.

Опр. Выборки называются независимыми , если процедура отбора единиц в первую выборку никак не связана с процедурой отбора единиц во вторую выборку.

Примером двух независимых выборок могут служить обсуждавшиеся выше выборки мужчин и женщин, работающих на одном предприятии (в одной отрасли и т.д.).

Заметим, что независимость двух выборок отнюдь не означает отсутствие требования определенного рода сходства этих выборок (их однородности). Так, изучая уровень дохода мужчин и женщин, мы вряд ли допустим такую ситуацию, когда мужчины отбираются из среды московских бизнесменов, а женщины – из аборигенов Австралии. Женщины тоже должны быть москвичками и, более того – «бизнесвуменшами». Но здесь мы говорим не о зависимости выборок, а о требовании однородности изучаемой совокупности объектов, которое должно удовлетворяться и при сборе, и при анализе социологических данных.

Опр. Выборки называются зависимыми, или парными, если каждая единица одной выборки «привязывается» к определенной единице второй выборки.

Последнее определение, вероятно, станет более ясным, если мы приведем пример зависимых выборок.

Предположим, что мы хотим выяснить, является ли социальный статус отца в среднем ниже социального статуса сына (полагаем, что мы можем измерить эту сложную и неоднозначно понимаемую социальную характеристику человека). Представляется очевидным, что в такой ситуации целессобразно отбрать пары респондентов (отец, сын) и считать, что каждый элемент первой выборки (один из отцов) «привязан» к определенному элементу второй выборки (своему сыну). Эти две выборки и будут называться зависимыми.

8.2. Проверка гипотезы для независимых выборок

Для независимых выборок выбор критерия зависит от того, знаем ли мы генеральные дисперсии s 1 2 и s 2 2 рассматриваемого признака для изучаемых выборок. Будем считать эту проблему решенной, полагая, что выборочные дисперсии совпадают с генеральными. В таком случае в качестве критерия выступает величина:

Прежде, чем переходить к обсуждению той ситуации, когда генеральные дисперсии (или хотя бы одна из них) нам неизвестны, заметим следующее.

Логика использования критерия (8.1) похожа на ту, которая была описана нами при рассмотрении критерия “Хи-квадрат” (7.2). Имеется лишь одно принципиальное отличие. Говоря о смысле критерия (7.2), мы рассматривали бесконечное количество выборок объема n, «черпающихся» из нашей генеральной совокупности. Здесь же, анализируя смысл критерия (8.1), мы переходим к рассмотрению бесконечного количества пар выборок объемом n 1 и n 2 . Для каждой пары и рассчитывается статистика вида (8.1). Совокупности получаемых значений таких статистик, в соответствии с нашими обозначениями, отвечает нормальное распределение (как мы условились, буква z используется для обозначения такого критерия, которому отвечает именно нормальное распределение).

Итак, если генеральные дисперсии нам неизвестны, то мы вынуждены вместо них пользоваться их выборочными оценками s 1 2 и s 2 2 . Однако при этом нормальное распределение должно замениться на распределение Стьюдента – z должно замениться на t (как это имело место в аналогичной ситуации при построения доверительного интервала для математического ожидания). Однако при достаточно больших объемах выборок (n 1 , n 2 ³ 30) , как мы уже знаем, распределение Стьюдента практически совпадает с нормальным. Другими словами, при больших выборках мы можем продолжать пользоваться критерием:

Сложнее обстоит дело с такой ситуацией, когда и дисперсии неизвестны, и объем хотя бы одной выборки мал. Тогда вступает в силу еще один фактор. Вид критерия зависит от того, можем ли мы считать неизвестные нам дисперсии рассматриваемого признака в двух анализируемых выборках равными. Для выяснения этого надо проверить гипотезу:

H 0: s 1 2 = s 2 2 . (8.3)

Для проверки этой гипотезы используется критерий

О специфике использования этого критерия пойдет речь ниже, а сейчас продолжим обсуждать алгоритм выбора критерия, использующего для проверки гипотез о равенстве математических ожиданий.

Если гипотеза (8.3) отвергается, то интересующий нас критерий приобретает вид:

(8.5)

(т.е. отличается от критерия (8.2), использовавшегося при больших выборках, тем, что соответствующая статистика имеет не нормальное распределение, а распределение Стьюдента). Если гипотез (8.3) принимается, то вид используемого критерия меняется:

(8.6)

Подведем итог того, как выбирается критерий для проверки гипотезы о равенстве генеральных математических ожиданий на основе анализа двух независимых выборок.

известны

неизвестны

размер выборок большой

H 0: s 1 = s 2 отвергается

Принимается

8.3. Проверка гипотезы для зависимых выборок

Перейдем к рассмотрению зависимых выборок. Пусть последовательности чисел

X 1 , X 2 , … , X n ;

Y 1 , Y 2 , … , Y n –

это значения рассматриваемой случайной для элементов двух зависимых выборок. Введем обозначение:

D i = X i - Y i , i = 1, ... , n.

Для зависимых выборок критерий, позволяющий проверять гипотезу

выглядит следующим образом:

Заметим, что только что приведенное выражение для s D есть не что иное, как новое выражение для известной формулы, выражающей среднее квадратическое отклонение. В данном случае речь идет о среднем квадратическом отклонении величин D i . Подобная формула часто используется на практике как более простой (по сравнению с «лобовым» подсчетом суммы квадратов отклонений значений рассматриваемой величины от соответствующего среднего арифметического) способ расчета дисперсии.

Если сравнить приведенные формулы с теми, которые мы использовали при обсуждении принципов построения доверительного интервала, нетрудно заметить, что проверка гипотезы о равенстве средних для случая зависимых выборок по существу является проверкой равенства нулю математического ожидания величин D i . Величина

есть среднее квадратическое отклонение для D i . Поэтому значение только что описанного критерия t n -1 по существу равно величине D i , выраженной в долях среднего квадратического отклонения. Как мы говорили выше (при обсуждении способов построения доверительных интервалов), по такому показателю можно судить о вероятности рассматриваемого значения D i . Отличие состоит в том, что выше шла речь о простом среднем арифметическом, распределенном нормально, а здесь – о средних разностей, такие средние имеют распределение Стьюдента. Но рассуждения о взаимосвязи вероятности отклонения выборочного среднего арифметического от нуля (при математическом ожидании, равном нулю) с тем, сколько единиц s это отклонение составляет, остаются в силе.



THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама