На практике довольно часто приходится иметь дело с выборками весьма малого объема, численности которых значительно меньше двадцати - тридцати. Такие выборки в статистике получили название малых выборок. Необходимость специального рассмотрения малых выборок вызвана тем, что разобранные выше методы точечной и интервальной оценки выборочных характеристик предполагают достаточно большую численность выборок.

Понятие о малых выборках. Распределение Стьюдента

Выборочная средняя и, соответственно, ее ошибка распределены нормально, а поправка на величину смещения выборочной дисперсии очень близка к единице и не имеет практического значения. Ошибка выборки в этих условиях очень редко превышает величину. Иное дело при небольшом объеме выборки. При малых выборках выборочная дисперсия оказывается значительно смещенной. Поэтому применять функцию нормального распределения для вероятностных выводов о возможной величине ошибки было бы неправомерно. При малом объеме выборки всегда нужно пользоваться несмещенной оценкой дисперсии:

Следовательно, для получения несмещенной оценки дисперсии по данным малой выборки сумму квадратов отклонений нужно делить на величину. Эта величина называется числом степеней свободы вариации. В дальнейшем для краткости число степеней свободы вариации будет обозначаться греческой буквой (ню).

Проблема оценки выборочных характеристик на основе малых выборок впервые была исследована английским математиком статистиком В. Госсетом, публиковавшим свои работы под псевдонимов Стьюдент (1908 г.).

Исходя из предложения о нормальности распределения признака в генеральной совокупности и рассматривая вместо абсолютных отклонений их отношения к независимому стандарту, Стьюдент нашел распределение, которое зависит только от численности выборки. Позже (1925 г.) Р. Фишер дал более строгое доказательство этого распределения, которое получило название распределение Стьюдента.

Величина Стьюдента выражается как следующее отношение:

В числителе выражения фигурирует переменная величина, которая отражает возможные значения отклонений выборочных средних от генеральной средней. Величина распределена нормально с центром, равным нулю, и дисперсией, равной.

Следует особо подчеркнуть, что знаменатель выражения нельзя рассматривать как среднюю ошибку переменной. Величина рассматривается здесь как независимо распределенная от числителя переменная. означает среднее квадратическое (стандартное) отклонение данной выборки и не является оценкой генеральной совокупности, так как распределение Стьюдента не зависит ни от одного параметра генеральной совокупности. определяется по данным выборки как

Распределения независимы друг от друга. Только при этом условии и для выборок из нормальных совокупностей имеет место распределение Стьюдента.

Основное преимущество распределения Стьюдента состоит в том, что оно не зависит от параметров генеральной совокупности и имеет дело только с величинами, полученными непосредственно из выборки.

Дифференциальный закон распределение Стьюдента (плотность вероятности) имеет вид:

где объем выборки;

величина соответствующая максимальной ординате кривой распределения при t = 0.

Соответственно функция распределения Стьюдента выражается:

Иначе говоря,

где t ф стандартизированная (нормированная) разность, вычисляемая по результатам малой выборки.

Величины Г() и Г() являются гамма- функциями. Для некоторого числа гамма - функция выражается несобственным интегралом:

В малых выборках всегда целое положительное число (объем выборки).

В этом случае гамма - функция всегда имеет конечную величину и выражается через факториалы:

следовательно:

При вычислении гамма - функции полезно знать следующие свойства:

1) При есть;

• 3) Например,

Используя это свойство, легко можно вычислить значения Г() и Г() в выражении плотности распределения;

4) Функция достигает минимума при дробном значении

Рис 3.1

Общий вид гамма - функции показан на рис. 3.1.

Из свойств распределения Стьюдента, рассматриваемых обычно в курсе теории вероятностей, обращается внимание на следующее:

1) Распределение Стьюдента замечательно тем, что зависит только от одного параметра - объема выборки и не зависит от средней и дисперсии генеральной совокупности (в отличие от нормального распределения, зависящего о этих двух параметров).

• 2) Распределение Стьюдента точно для любого объема выборки следовательно, и для малых выборок, что позволяет делать вероятностные выводы по малому числу наблюдений.
• 3) При увеличении объема выборки величина приближается к значению, а распределение Стьюдента приближается к нормальному. При распределение Стьюдента становится нормальным. Практически для нормального приближения считается достаточным.

Рис 3.2

На рис. 3.2 показаны соотношения между распределением Стьюдента и нормальным распределением.

Как видно из рис. 3.2, под концами кривой распределения Стьюдента, например или, расположена значительно большая часть площади, чем под кривой нормального распределения при тех же значениях. Это значит, что при малом объеме выборок вероятность допущения больших ошибок заметно увеличивается. Из рисунка видно, что при значениях нормированного отклонения, превышающих по абсолютному значению, площадь под кривой распределения Стьюдента гораздо больше, чем под кривой нормального распределения.

О величине расхождений между значениями функции распределения Стьюдента в зависимости от объема выборки и значениями нормальной функции распределения можно судить по данным табл. 3.2, где приведены значения площадей под кривой распределения от при разной численности выборки при.

Таблица 3.1

Значение нормальной функции распределения

Таблица 3.2

Значения вероятностей при разном объеме выборки

Нормированное отклонение	Значение при малых выборках с численностями	Значение при больших выборках

Из таблицы 3.2. видно, что с увеличением объема выборки малая выборка быстро приближается к нормальной. В то же время при очень маленькой численности выборки расхождения между значениями при данном значении весьма значительны.

Исследованиями было установлено, что распределение Стьюдента практически применимо не только в случае нормального распределения признака в генеральной совокупности. Оказалось, что оно происходит к практически приемлемым выводам и тогда, когда распределения признака в генеральной совокупности не является нормальным, а лишь симметрично и даже несколько асимметрично, но объем выборки не слишком мал.

Значения функции распределения Стьюдента затабулированы при различных значениях Поэтому при оценке выборочных характеристик пользуются готовыми таблицами:

Таблица 3.3

Таблица значений функции

Значения функции распределения Стьюдента могут быть использованы различными способами в зависимости от характера решаемых задач при определении вероятности отклонения выборочной от генеральной. Наиболее часто используются:

1) Определение вероятности того, что разность между выборочной средней и генеральной средней окажется меньше на некоторую заданную величину. В нормированных отклонениях задача сводится к определению вероятности того, что окажется меньше значения, задаваемого условиями задачи, т.е. к нахождению значения

Рис 3.3

Это есть вероятность больших отрицательных отклонений, которая на рис. 3.3 соответствует заштрихованной площади.

2) Определение вероятности того, что разность между выборочной средней и средней генеральной окажется не менее некоторой заданной величины, иначе говоря, следует найти

Рис 3.4

Это есть вероятность больших положительных отклонений, которая показана в виде заштрихованной площади на рис. 3.4. эту вероятность легко найти, используя таблицы.

3) Определение вероятности того, что нормированное отклонение по абсолютной величине окажется менее, выражается

Это есть вероятность меньших по абсолютной величине отклонений. Эта вероятность может быть определена с использованием таблиц. Поскольку на практике чаще всего приходится определять эту вероятность, составленной специальной таблицы значения (табл. 3.3).

Графическая иллюстрация вероятности меньших по абсолютной величине отклонений дана на рис. 3.5

Рис 3.5

4) Определение вероятности того, что ошибка выборки по абсолютной величине окажется не менее некоторой заданной величины. В нормированных единицах вероятность того, что по абсолютной величине окажется не менее, выразится

Это есть вероятность больших по абсолютной величине отклонений. Графически она иллюстрируется на рис. 3.6.

Рис 3.6

Для нахождения вероятности больших по абсолютной величине отклонений имеются специальные таблицы (приложение 3). Эту вероятность легко можно вычислить, также используя таблицы.

При контроле качества товаров в экономических исследованиях эксперимент может проводиться на основе малой выборки.

Под малой выборкой понимается несплошное статистическое обследование, при котором выборочная совокупность образуется из сравнительно небольшого числа единиц генеральной совокупности. Объем малой выборки обычно не превышает 30 единиц и может доходить до 4-5 единиц.

В торговле к минимальному объему выборки прибегают, когда большая выборка или невозможна, или нецелесообразна (например, если проведение исследования связано с порчей или уничтожением обследуемых образцов).

Величина ошибки малой выборки определяется по формулам, отличным от формул выборочного наблюдения со сравнительно большим объемом выборки (n>100). Средняя ошибка малой выборкиu(мю)м.в. вычисляется по формуле:

uм.в = корень(Gквадрат(м.в.) . /n),

где Gквадрат(м.в.) – дисперсия малой выборки.*это сигма*

По формуле (там номер стоит) имеем:

G0квадрат=Gквадрат *n/ (n-1).

Но поскольку при мало выборке n/(n-1) имеет существенное значение, то вычисление дисперсии малой выборки производится с учетом так называемого числа степеней свободы. Под числом степеней свободы понимается количество вариантов, которые могут принимать произвольные значения, не меняя величины средней. При определении дисперсииGквадрат число степеней свободы равноn-1:

Gквадрат(м.в.) = сумма (xi–x(cволнистой чертой))/(n-1).

Предельная ошибка малой выборки Дм.в.(знак- треугольник) определяется по формуле:

При этом значение коэффициента доверия tзависит не только от заданной доверительной вероятности, но и от численности единиц выборкиn. Для отдельных значенийtиnдоверительная вероятность малой выборки определяется по специальным таблицам Стьюдента, в которых даны распределения стандартизованных отклонений:

t= (x(cволнистой чертой) –x(с чертой)) /Gм.в.

Таблицы Стьюдента приводятся в учебниках по математической статистике. Вот некоторые значения из этих таблиц, характеризующие вероятность того, что предельная ошибка малой выборки не превзойдет t-кратную среднюю ошибку:

St=P[(x(cволнистой чертой) –x(с чертой)

По мере увеличения объема выборки распределение Стьюдента приближается к нормальному, и при 20 оно уже мало отличается от нормального распределения.

При проведении малых выборочных обследований важно иметь в виду, что чем меньше объем выборки, тем больше различие между распределением Стьюдента и нормальным распределением. При минимальном объеме выборки (n=4) это различие весьма существенно, что указывает на уменьшение точности результатов малой выборки.

Посредством малой выборки в торговле решается ряд практических задач, прежде всего установление предела, в котором находится генеральная средняя изучаемого признака.

Поскольку при проведении малой выборки в качестве доверительной вероятности практически принимается значение 0,95 или 0,99, то для определения предельной ошибки выборки Дм.в. используются следующие показания распределения Стьюдента.

Статистика малых выборок (small-sample statistics)

Принято считать, что начало С. м. в. или, как ее часто называют, статистике «малых п», было положено в первом десятилетии XX века публикацией работы У. Госсета, в к-рой он поместил t-распределение, постулированное получившим чуть позже мировую известность «студентом». В то время Госсет работал статистиком на пивоваренных заводах Гиннесса. Одна из его обязанностей заключалась в том, чтобы анализировать поступающие друг за другом партии бочонков только что сваренного портера. По причине, к-рую он никогда толком не объяснял, Госсет экспериментировал с идеей существенного сокращения числа проб, отбираемых из очень большого количества бочек, находящихся на складах пивоварни, для выборочного контроля качества портера. Это и привело его к постулированию t-распределения. Так как устав пивоваренных заводов Гиннесса запрещал публикацию их работниками результатов исслед., Госсет опубликовал результаты своего эксперимента по сравнению выборочного контроля качества с использованием t-распределения для малых выборок и традиционного z-распределения (нормального распределения) анонимно, под псевдонимом «Студент» (Student - откуда и пошло название t -распределение Стьюдента).

t-распределение. Теория t-распределения, подобно теории z-распределения, используется для проверки нулевой гипотезы о том, что две выборки представляют собой просто случайные выборки из одной генеральной совокупности и, следовательно, вычисленные статистики (напр., среднее и стандартное отклонение) яв-ся несмещенными оценками параметров генеральной совокупности. Однако, в отличие от теории нормального распределения, теория t-распределения для малых выборок не требует априорного знания или точных оценок математического ожидания и дисперсии генеральной совокупности. Более того, хотя проверка различия между средними двух больших выборок на статистическую значимость требует принципиального допущения о нормальном распределении характеристик генеральной совокупности, теория t-распределения не требует допущений относительно параметров.

Общеизвестно, что нормально распределенные характеристики описываются одной единственной кривой - кривой Гаусса, к-рая удовлетворяет следующему уравнению:

При t-распределении целое семейство кривых представлено следующей формулой:

Вот почему уравнение для t включает гамма-функцию, которая в математике означает, что при изменении п данному уравнению будет удовлетворять другая кривая.

Степени свободы

В уравнении для t буквой п обозначается число степеней свободы (df), сопряженных с оценкой дисперсии генеральной совокупности (S2), к-рая представляет собой второй момент любой производящей функции моментов, такой, напр., как уравнение для t-распределения. В С. число степеней свободы указывает на то, сколько характеристик осталось свободным после их частичного использования в конкретном виде анализа. В t-распределении одно из отклонений от выборочного среднего всегда фиксировано, так как сумма всех таких отклонений должна равняться нулю. Это сказывается на сумме квадратов при вычислении выборочной дисперсии как несмещенной оценки параметра S2 и ведет к тому, что df получается равным числу измерений минус единица для каждой выборки. Отсюда, в формулах и процедурах вычисления t-статистики для проверки нулевой гипотезы df = n - 2.

F-pacnpeделение. Проверяемая с помощью t-критерия нулевая гипотеза состоит в том, что две выборки были случайным образом извлечены из одной генеральной совокупности или же были случайно извлечены из двух разных совокупностей с одинаковой дисперсией. А что делать, если нужно провести анализ большего числа групп? Ответ на этот вопрос искали в течение двадцати лет после того, как Госсет открыл t-распределение. Два самых выдающихся статистика XX столетия непосредственно причастны к его получению. Один - крупнейший английский статистик Р. А. Фишер, предложивший первые теорет. формулировки, развитие к-рых привело к получению F-распределения; его работы по теории малых выборок, развивающие идеи Госсета, были опубликованы в середине 20-х годов (Fisher, 1925). Другой - Джордж Снедекор, один из плеяды первых американских статистиков, разработавший способ сравнения двух независимых выборок любого объема посредством вычисления отношения двух оценок дисперсии. Он назвал это отношение F-отношением, в честь Фишера. Результаты исслед. Снедекора привели к тому, что F-распределение стало задаваться как распределение отношения двух статистик с2, каждой со своими степенями свободы:

Из этого вышли классические работы Фишера по дисперсионному анализу - статистическому методу, явно ориентированному на анализ малых выборок.

Выборочное распределение F (где п = df) представлено следующим уравнением:

Как и в случае t-распределения, гамма-функция указывает на то, что существует семейство распределений, удовлетворяющих уравнению для F. В этом случае, однако, анализ включает два величины df: число степеней свободы для числителя и для знаменателя F-отношения.

Таблицы для оценивания t- и F-статистик. При проверке нулевой гипотезы с помощью С., основанных на теории больших выборок, обычно требуется только одна справочная таблица - таблица нормальных отклонений (z), позволяющая определить площадь под нормальной кривой между любыми двумя значениями z на оси абсцисс. Однако таблицы для t- и F-распределений по необходимости представлены комплектом таблиц, поскольку эти таблицы основаны на множестве распределений, полученных вследствие варьирования числа степеней свободы. Хотя t- и F-распределения представляют собой распределения плотности вероятности, как и нормальное распределение для больших выборок, они отличаются от последнего в отношении четырех моментов, используемых для их описания. t-распределение, напр., является симметричным (обратите внимание на t2 в его уравнении) при всех df, но становится все более островершинным по мере уменьшения объема выборки. Островершинные кривые (с эксцессом больше нормального) имеют тенденцию быть менее асимптотическими (т. е. меньше приближаться к оси абсцисс на концах распределения), чем кривые с нормальным эксцессом, такие как кривая Гаусса. Это различие приводит к заметным расхождениям между точками на оси абсцисс, соответствующими значениям t и z. При df = 5 и двустороннем уровне а, равном 0,05, t = 2,57, тогда как соответствующее z = 1,96. Следовательно, t = 2,57 свидетельствует о статистической значимости на 5% уровне. Однако в случае нормальной кривой z = 2,57 (точнее 2,58) будет уже указывать на 1% уровень статистической значимости. Аналогичные сравнения можно провести и с F-распределением, поскольку t равно F в случае, когда число выборок равно двум.

Что составляет «малую» выборку?

В свое время был поднят вопрос о том, какой объем должна иметь выборка, чтобы ее можно было считать малой. Определенного ответа на этот вопрос просто не существует. Однако условной границей между малой и большой выборкой принято считать df = 30. Основанием для этого в какой-то мере произвольного решения служит результат сравнения t-распределения с нормальным распределением. Как уже отмечалось выше, расхождение значений t и z имеет тенденцию возрастать с уменьшением и снижаться с увеличением df. Фактически, t начинает тесно приближаться к z задолго до предельного случая, когда t = z при df = ∞. Простое визуальное изучение табличных значений t позволяет увидеть, что это приближение становиться довольно быстрым, начиная с df = 30 и выше. Сравнительные величины t (при df = 30) и z равны соответственно: 2,04 и 1,96 для р = 0,05; 2,75 и 2,58 для р = 0,01; 3,65 и 3,29 для р = 0,001.

Другие статистики для «малых» выборок

Хотя такие статистические критерии, как t и F, специально разработаны для применения к малым выборкам, они в равной степени применимы и к большим выборкам. Существует, однако, множество др. статистических методов, предназначенных для анализа малых выборок и часто используемых именно для этой цели. Имеются в виду т. н. непараметрические или свободные от распределения методы. В основном, фигурирующие в этих методах С. предназначены для применения к измерениям, полученным с помощью шкал, не удовлетворяющих определению шкал отношений или интервалов. Чаще всего это порядковые (ранговые) или номинальные измерения. Непараметрические С. не требуют предположений в отношении параметров распределения, в частности, в отношении оценок дисперсии, потому что порядковые и номинальные шкалы исключают само понятие дисперсии. По этой причине непараметрические методы используются также для измерений, полученных с помощью интервальных шкал и шкал отношений, когда анализируются малые выборки и существует вероятность того, что нарушаются основные предположения, необходимые для применения параметрических методов. К числу таких С., к-рые можно обоснованно применять к малым выборкам, относятся: критерий точной вероятности Фишера, двухфакторный непараметрический (ранговый) дисперсионный анализ Фридмана, коэффициент ранговой корреляции t Кендалла, коэффициент конкордации (W) Кендалла, H-критерий Краскела - Уоллеса для непараметрического (рангового) однофакторного дисперсионного анализа, U-критерий Манна-Уитни, медианный критерий, критерий знаков, коэффициент ранговой корреляции r Спирмена и t-критерий Уилкоксона.

Свои способности человек может узнать, только попытавшись приложить их. (Сенека)

Бутстреп, малые выборки, применение в анализе данных

Основная идея

Метод бутстрепа предложен Б. Эфроном как развитие метода складного ножа в 1979 году.

Опишем основную идею бутстрепа.

Цель анализа данных – получить максимально точные выборочные оценки и распространить результаты на всю популяцию.

Технический термин, которым обозначаются численные данные, построенные по выборке, это выборочная статистика.

Основные описательные статистики это выборочные среднее, медиана, стандартное отклонение и т.д.

Итоговая статистика, например, выборочное среднее, медиана, корреляция будут меняться от выборки к выборке.

Исследователю требуется знать размер этих отклонений в зависимости от популяции. На основании этого рассчитывается предел погрешности.

Исходная картина всех возможных значений выборочной статистики в форме распределения вероятностей называется выборочным распределением.

Ключевым является размер выборки. Что делать, если размер выборки небольшой? Один из разумных подходов состоит в том, чтобы случайным образом извлекать данные из имеющейся выборки.

Идея бутстрепа в том, чтобы использовать результаты вычислений по выборкам как “фиктивную популяцию” с целью определить выборочное распределение статистики. Фактически, при этом анализируется большое число “фантомных” выборок, называемых бутстреп-выборками.

Обычно случайным образом генерируется несколько тысяч выборок, из этого набора можно найти бутстреп-распределение интересующей нас статистики.

Итак, пусть имеем выборку выберем на первом шаге случайным образом один из элементов выборки, возвратим этот элемент в выборку, вновь случайным образом выберем элемент и тд.

Повторим описанную процедуру случайного выбора n раз.

В бутстрепе проводится случайный выбор с возвращением, выбранные элементы исходной выборки возвращается в выборку и далее могут быть снова выбраны.

Формально на каждом шаге мы выбираем элемент исходной выборки с вероятностью 1/n .

Всего имеем n элементов исходной выборки, вероятность получить выборку с номерами (N 1 … Nn ), где Ni меняется от 0 до n описывается полиномиальным распределением.

Таких выборок генерируется несколько тысяч, что вполне достижимо для современных компьютеров.

Для каждой выборки строится оценка интересующей величины, далее оценки усредняются.

Так как выборок много, можно построить эмпирическую функцию распределения оценок, далее рассчитать квантили, вычислить доверительный интервал.

Ясно, что бутстреп метод является модификацией метода Монте-Карло.

Если выборки генерируются без возвращения элементов, то получается известный метод складного ножа.

Вопрос: зачем это делать и когда метод разумно использовать в реальном анализе данных?

В бутстрепе мы не получаем новой информации, но разумно используем имеющиеся данные, исходя из поставленной задачи.

Например, бутстреп можно использовать для малых выборок, для оценок медианы, корреляций, построения доверительных интервалов и в других ситуациях.

В исходной работе Эфрона рассматривались оценки парной корреляции для размера выборки n = 15.

Генерируется B = 1000 бутстреп выборок (bootstrap replication ).

На основе полученных коэффициентов ro 1 … ro В строится общая оценка коэффициента корреляции и оценка стандартного отклонения.

Стандартная ошибка выборочного коэффициента корреляции, вычисленная с помощью нормального приближения, имеет вид:

где коэффициент корреляции равен 0.776, размер исходной выборки n = 15.

Бутстреп оценка стандартной ошибки равна 0.127, см. Efron , Gall Gong , 1982.

Теоретический бэкграунд

Пусть - целевой параметр исследования, например, средний доход в выбранном обществе.

По произвольной выборке размера получаем набор данных Пусть соответствующая выборочная статистика -

Для большинства выборочных статистик при большом значении (>30) выборочное распределение представляется из себя нормальную кривую с центром и стандартным отклонением , где положительный параметр зависит от популяции и вида статистики

Этот классический результат известен как центральная предельная теорема.

Зачастую при оценке требуемого стандартного отклонения по данным возникают серьезные технические трудности.

Например, если медиана или выборочная корреляция .

Метод бутстрепа позволяет обойти эти трудности.

Идея простая: обозначим через произвольную величину, представляющую собой такую же статистику, вычисленную по бутстреп-выборке, которая получена из исходной выборки

Что можно сказать про выборочное распределение , если “исходная” выборка фиксирована?

В пределе выборочное распределение также является колоколообразным с параметрами и

Таким образом, бутстреп-распределение хорошо аппроксимирует выборочное распределение

Заметим, что когда мы переходим от одной выборки к другой, в выражении меняется только , так как вычислена по

По сути это является бутстреп версией центральной предельной теоремы.

Также было установлено, если предельное выборочное распределение статистической функции не включает в себя неизвестные по популяции, бутстреп-распределение позволяет получить более хорошее приближение к выборочному распределению, чем центральная предельная теорема.

В частности, когда статистическая функция имеет вид где через обозначена истинная, или выборочная оценка стандартной ошибки при этом предельное выборочное распределение обычно стандартное нормальное.

Этот эффект получил название коррекции второго порядка с помощью бутстреппинга.

Пусть т.е. среднее по популяции, и т.е. среднее по выборке; - стандартное отклонение в популяции, - выборочное стандартное отклонение, вычисленное по исходным данным, а - вычисленное по бутстреп-выборке.

Тогда выборочное распределение величины где , будет аппроксимироваться бутстреп-распределением , где - среднее по бутстреп-выборке, .

Аналогично, выборочное распределение будет аппроксимироваться бутстреп-распределением , где .

Первые результаты по коррекции второго порядка были опубликованы Бабу и Сингхом в 1981-83 годах.

Приложения бутстрепа

Аппроксимация стандартной ошибки выборочной оценки

Предположим, что для популяции известен параметр

Пусть - оценка сделанная на основе случайной выборки размера т.е. это функция от Так как выборка меняется на множестве всех возможных выборок, то для того, чтобы оценить стандартную ошибку используется следующий подход:

Вычислим используя ту же формулу, что использовалась для но на этот раз на основе различных бутстреп-выборок размера каждая. Грубо говоря, можно принять если только не сильно велико. В этом случае можно сократить до n lnn . Тогда можно определить исходя, собственно, из сути бутстреп-метода: популяция (выборка) заменяется эмпирической популяцией(выборкой).

Байесовская коррекция с помощью бутстреп метода

Среднее выборочного распределения часто зависит от обычно как для больших То есть, Байесовская аппроксимация:

где - это бутстреп-копии . Тогда скорректированное значение будет -

Стоит отметить, что предыдущий метод ресэмплинга(замен выборки), называемый методом складного ножа, является более популярным.

Доверительные интервалы

Доверительные интервалы (ДИ) для заданного параметра это основанные на выборке диапазоны .

Этот диапазон обладает тем свойством, что значение с очень высокой (заранее установленной) вероятностью принадлежит ему. Это называется уровнем значимости. Конечно, эта вероятность должна относиться к любой выборке из возможных, т.к. каждая выборка привносит свой вклад в определение доверительного интервала. Два наиболее часто используемых уровня значимости это 95% и 99%. Здесь мы ограничимся значением 95%.

Традиционно ДИ зависят от выборочного распределения величины точнее в пределе . Есть два основных вида доверительных интервалов, которые могут быть построены с помощью бутстрепа.

Метод процентилей

Этот метод уже упоминался во введении, он очень популярен благодаря своей простоте и естественности. Предположим, что у нас есть 1000 бутстреп копий обозначим их через Тогда в доверительный интервал попадут значения из диапазона Возвращаясь к теоретическому обоснованию метода, стоит отметить, что в нем требуется симметрия выборочного распределения вокруг Причина этого заключается в том, что в методе аппроксимируется выборочное распределение с помощью бутстреп-распределения , хотя по логике получается, что оно должно аппроксимироваться значением то есть противоположным по знаку.

Центрированный метод бутстреп-процентилей

Предположим, что выборочное распределение аппроксимируется с помощью бутстреп распределения то есть как изначально и предполагалось в бутстреппинге. Обозначим 100-й процентиль (в бутстреп-повторениях) через Тогда предположение, что значение лежит в диапазоне от до будет верным с вероятностью 95%. Это же выражение легко преобразуется в аналогичное для диапазона от до Этот интервал и называется центрированным доверительным интервалом по бутстреп-процентилям (при уровне значимости 95%).

Бутстреп-t критерий

Как уже было отмечено, в бутстрепе используется функция вида где есть выборочная оценка стандартной ошибки

Это дает дополнительную точность.

В качестве основного примера возьмем стандартную t-статистику (отсюда название метода): то есть частный случай, когда (популяционное среднее), (выборочное среднее) и - выборочное стандартное отклонение. Бутстреп аналогом такой функции является где вычисляется также, как и только по бутстреп-выборке.

Обозначим 100-й бутстреп-процентиль через и будем полагать, что значение лежит в интервале

Используя равенство можно переписать предыдущее утверждение, т.е. лежит в интервале

Этот промежуток называется бутстреп t-доверительным интервалом для при уровне 95%.

В литературе он используется для достижения большей точности, чем предыдущий подход.

Пример реальных данных

Возьмем для первого примера данные из работы Холландера и Вольфе 1999 года, стр. 63, которые представляют собой эффект влияния света на скорость вылупления цыплят.

Стандартный бокс-график предполагает отсутствие нормальности по данным популяции. Мы провели бутстреп анализ медианы и среднего.

Отдельно стоит отметить отсутствие симметрии на бутстреп t-гистограмме, которая отличается от стандартной предельной кривой. 95%-е доверительные интервалы для медианы и среднего (вычисленные с использованием бутстреп метода процентилей), грубо говоря, покрывают диапазон

Этот диапазон представляет общую разницу (нарастание) в результатах скорости вылупления цыплят в зависимости от подсветки.

В качестве второго примера рассмотрим данные из работы Девора (Devore) 2003 г., стр 553, в которой рассматривалась корреляция между показателем биохимической потребности в кислороде (БПК, BOD) и результатами гидростатического взвешивания (HW) профессиональных спортсменов - футболистов.

Двумерные данные состоят их пар и пары можно произвольно выбирать во время бутстреп ресэмплинга. Например, сначала взять затем и т.д.

На рисунке график ящики-усы показывает отсутствие нормальности для основных популяций. Гистограммы корреляций, вычисленные на основе бутстреп двумерных данных, являются асимметричными (сдвинутыми влево).

По этой причине, центрированный метод бутстреп процентилей является в данном случае более подходящим.

В результате анализа выяснилось, что измерения скоррелированы для как минимум 78% популяции.

Данные для примера 1:

8.5 -4.6 -1.8 -0.8 1.9 3.9 4.7 7.1 7.5 8.5 14.8 16.7 17.6 19.7 20.6 21.9 23.8 24.7 24.7 25.0 40.7 46.9 48.3 52.8 54.0

Данные для примера 2 :

2.5 4.0 4.1 6.2 7.1 7.0 8.3 9.2 9.3 12.0 12.2 12.6 14.2 14.4 15.1 15.2 16.3 17.1 17.9 17.9

8.0 6.2 9.2 6.4 8.6 12.2 7.2 12.0 14.9 12.1 15.3 14.8 14.3 16.3 17.9 19.5 17.5 14.3 18.3 16.2

В литературе часто предлагаются различные схемы для бутстреппинга, которые могли бы давать достоверные результаты в различных статистических ситуациях.

То, что обсуждалось выше - лишь самые базовые элементы, и других вариантов схем на самом деле очень много. Например, какой метод лучше использовать в случае двухступенчатой выборки или стратифицированной выборки?

Естественную схему в этом случае нетрудно придумать. Бутстрэппинг в случае данных с моделями регрессии вообще привлекает много внимания. Есть два основных метода: в первом ковариации и переменные отклика ресэмплируются вместе (парный бутстреппинг), во втором - бутстреппинг производится по остаткам (остаточный бутстреппинг).

Парный метод остается корректным (в смысле результатов при ) даже если дисперсии ошибок в моделях не равны. Второй метод в этом случае некорректен. Этот недостаток компенсируется тем, что такая схема дает дополнительную точность в оценке стандартной ошибки.

Гораздо сложнее применять бутстреппинг для данных временных рядов.

Анализ временных рядов, однако, является одной из ключевых областей в эконометрике. Здесь можно выделить две основные трудности: во-первых, данные по временным рядам обладают свойством быть последовательно зависимыми. То есть, зависит от , и т.д.

Во-вторых, статистическая популяция со временем меняется, то есть появляется нестационарность.

Для этого разработаны методы, которые переносят зависимость в исходных данных на бутстреп-выборки, в частности, блоковая схема.

Вместо бутстреп выборки сразу строится блок данных, сохраняющий в себе зависимости из исходной выборки.

В области приложения бутстреппинга к разделам эконометрики в настоящий момент проводится довольно много исследований, в целом метод активно развивается.

Помимо собственно случайной выборки с ее четким вероятностным обоснованием существуют и другие выборки, которые не являются абсолютно случайными, однако широко применяются. Следует заметить, что строгое применение собственно случайного отбора единиц из генеральной совокупности далеко не всегда возможно на практике. К таким выборкам относятся механическая выборка, типическая, серийная (или гнездовая), многофазовая и ряд других.

Редко бывает, чтобы генеральная совокупность была однородной, это скорее исключение, нежели правило. Поэтому при наличии в составе генеральной совокупности различных типов явления часто желательно обеспечить более равномерное представительство в выборочной совокупности различных типов. Эта цель успешно достигается при применении типической выборки. Главная трудность заключается в том, что мы должны иметь дополнительную информацию о всей генеральной совокупности, что в ряде случаев является затруднительным.

Типическую выборку называют еще расслоенной или стратифицированной выборкой; ее применяют также в целях более равномерного представления в выборке различных районов, и в этом случае выборку называют районированной.

Итак, под типической выборкой понимается такая выборка, при которой генеральная совокупность разделена на типические подгруппы, сформированные по одному или нескольким существенным признакам (например, население разделено на 3-4 подгруппы по величине среднедушевого дохода или по уровню образования - начальное, среднее, высшее и т.п.). Далее из всех типических групп можно вести отбор единиц в выборку несколькими способами, формируя:

а) типическую выборку с равномерным размещением, где из разных типов (слоев) отбирается равное число единиц. Эта схема работает хорошо, если в генеральной совокупности слои (типы) не очень сильно отличаются друг от друга по числу единиц;

б) типическую выборку с пропорциональным размещением, когда требуется (в отличие от равномерного размещения), чтобы доля (%) отбора для всех слоев была бы одинаковой (например, 5 или 10%);

в) типическую выборку с оптимальным размещением, когда учитывается степень вариации признаков в различных группах генеральной совокупности. При таком размещении пропорция отбора для групп с большой колеблемостью признака увеличивается, что в итоге приводит к уменьшению случайной ошибки.

Формула средней ошибки при типическом отборе похожа на обычную ошибку выборки для собственно случайной выборки с той лишь разницей, что вместо общей дисперсии проставляется средняя из частных внутригрупповых дисперсий, что, естественно, приводит к уменьшению погрешности по сравнению с собственно случайной выборкой. Однако ее применение не всегда возможно (по многим причинам). Если нет необходимости в большой точности, легче и дешевле использовать серийную выборку.

Серийная (гнездовая) выборка состоит в том, что в выборку отбираются не единицы совокупности (например, студенты), а отдельные серии или гнезда (например, учебные группы). Говоря иначе, при серийном (гнездовом) отборе единица наблюдения и единица отбора не совпадают: отбираются некоторые группы примыкающих друг к другу единиц (гнезда), а обследованию подлежат входящие в состав этих гнезд единицы. Так, например, при выборочном обсле­довании жилищных условий мы можем в случайном порядке вы­брать некоторое число домовладений (единица отбора) и выяснить далее жилищные условия проживающих в этих домах семей (единицы наблюдения).

Серии (гнезда) состоят из единиц, связанных между собой территориально (районы, города и т.д.), организационно (предприятия, цеха и т.д.), или во времени (например, совокупность единиц выработанной за данный отрезок времени продукции).

Серийный отбор может быть организован в форме одноступенчатого, двухступенчатого или многоступенчатого отбора.

Случайно отобранные серии подвергаются сплошному исследованию. Таким образом, серийная выборка состоит из двух этапов случайного отбора серий и сплошного изучения этих серий. Серийный отбор дает значительную экономию в силах и средствах и поэтому часто используется на практике. Ошибка серийного отбора отличается от ошибки собственно случайного отбора тем, что вместо значения общей дисперсии используется межсерийная (межгрупповая) дисперсия, а вместо объема выборки - количество серий. Точность обычно не очень велика, но в ряде случаев это допустимо. Серийная выборка может быть повторной и бесповторной, а серии - равновеликими и неравновеликими.

Серийная выборка может быть организована по разным схемам. Например, можно сформировать выборочную совокупность в два этапа: сначала в случайном порядке выбираются подлежащие обследованию серии, затем из каждой отобранной серии также в случайном порядке отбирается определенное количество единиц, подлежащих непосредственному наблюдению (измерению, взвешиванию и пр.). Ошибка такой выборки будет зависеть от ошибки серийного отбора и от ошибки индивидуального отбора, т.е. многоступенчатый отбор дает, как правило, менее точные результаты по сравнению с одноступенчатым, что объясняется возникновением ошибок репрезентативности на каждой ступени выборки. В этом случае требуется использовать формулу ошибки выборки для комбинированного отбора.

Другой формой отбора является многофазовый отбор (1, 2, 3 фазы или этапа). Этот отбор по своей структуре отличается от многоступенчатого, так как при многофазном отборе пользуются на каждой фазе одними и теми же единицами отбора. Ошибки при многофазном отборе рассчитывают на каждой фазе отдельно. Главная особенность двухфазовой выборки состоит в том, что выборки отличаются друг от друга по трем критериям в зависимости: 1) от доли единиц, изученных на первой фазе выборки и вновь включенных во вторую и последующие фазы; 2) от соблюдения равенства шансов каждой единицы выборки первой фазы вновь быть объектом изучения; 3) от величины интервала, отделяющего фазы друг от друга.

Остановимся еще на одном виде отбора, а именно механическом (или систематическом). Этот отбор являет­ся, вероятно, самым распространенным. Это объясняется, видимо, тем, что из всех приемов выбора данный прием является простейшим. В частности, он зна­чительно проще, чем случайный отбор, предполагающий умение пользоваться таблицами случайных чисел, и не требует дополнительных сведений о генеральной совокупности и ее структуре. К то­му же механический отбор тесно переплетается с про­порциональным стратифицированным отбором, что при­водит к снижению ошибки выборки.

Например, применение механического отбора чле­нов жилищного кооператива из списка, составленного в по­рядке поступления в данный кооператив, обеспечит пропорциональное представительство членов кооператива с разным стажем. Использование этого же приема для отбора респондентов из списка лиц, составленного по алфа­виту, обеспечивает равные шансы для фамилий, начи­нающихся на разные буквы, и т.п. Использование та­бельных или иных списков на предприятиях или в учебных заведениях и др. может обеспечить не­обходимую пропорциональность в представительстве ра­ботников с разным стажем. Заметим, что механический отбор широко применяется в социологии, при изучении общественного мнения и др.

В целях снижения величины ошибки и особенно расходов на проведение выборочного исследования широко используются разные комбинации отдельных видов отбора (механического, серийного, индивидуального, многофазного и т.п.) В таких случаях следует рассчитывать более сложные ошибки выборок, которые состоят из ошибок, имеющих место на разных этапах исследования.

Малая выборка - это совокупность единиц меньше 30. Малые выборки встречаются на практике довольно часто. Например, число заболеваний редкими болезнями или число единиц, обладающих редким признаком; кроме того, к малой выборке прибегают, когда исследование стоит дорого или исследование связано с уничтожением продукции или образцов. Широкое применение малые выборки получили в сфере обследования качества продукции. Теоретические основы для определения ошибок малой выборки были заложены английским ученым У. Госсетом (псевдоним Стьюдент).

Необходимо помнить, что при определении ошибки для малой выборки следует вместо численности выборки брать величину (n – 1) или же до определения средней ошибки выборки рассчитывать так называемую исправленную дисперсию выборки (в знаменателе вместо n следует ставить (n – 1)). Отметим, что такая поправка делается только один раз - при расчете выборочной дисперсии или при определении ошибки. Величина (n – 1) носит название степени свободы. Кроме того, нормальное распределение заменяется t -распределением (распределением Стьюдента), которое табулировано и зависит от количества степеней свободы. Единственным параметром распределения Стьюдента является величина (n – 1). Еще раз подчеркнем, что поправка (n – 1) важна и существенна лишь при малых по численности выборочных совокупностях; при n > 30 и выше различие сходит на нет, приближаясь к нулю.

До сих пор шла речь о случайных выборках, т.е. таких, когда выбор единиц из генеральной совокупности производится случайно (или почти случайно) и все единицы имеют равную (или почти равную) вероятность попасть в выборку. Однако отбор единиц может быть основан на принципе неслучайного отбора, когда во главу угла ставится принцип доступности и целенаправленности. В таких случаях нельзя говорить о репрезентативности полученной выборки, а исчисление ошибок репрезентативности можно производить, лишь имея сведения о генеральной совокупности.

Известны несколько схем формирования неслучайной выборки, которые получили значительное распространение и используются главным образом в социологических исследованиях: отбор доступных единиц наблюдения, отбор по нюрнбергскому методу, целевая выборка при определении экспертов и др. Важное значение имеет также квотная выборка, которая формируется исследователем по небольшому количеству существенных параметров и дает очень близкое совпадение с генеральной совокупностью. Говоря иначе, квот­ный отбор должен обеспечить исследователю почти полное совпадение выборочной и генеральной совокупностей по избранным им параметрам. Целенаправленное дости­жение близости двух совокупностей по ограниченному кругу показателей достигается, как правило, с помощью выборки существенно меньшего объема, чем при исполь­зовании случайного отбора. Именно это обстоятельство делает квотный отбор привлекательным для исследова­теля, не имеющего возможности ориентироваться на самовзвешивающуюся случайную выборку большого объ­ема. Следует добавить, что сокращение объема выборки чаще всего сочетается с уменьшением денежных затрат и сроков проведения исследования, что увеличивает преимущества указанного способа отбора. Отметим также, что при квотной выборке имеется довольно значительная предварительная информация о структуре генеральной совокупности. Главное преимущество здесь состоит в том, что объем выборки существенно меньше, чем при случайной выборке. Выделенные признаки (чаще всего социально-демографические - пол, возраст, образование) должны тесно коррелировать с изучаемыми характеристиками генеральной совокупности, т.е. объекта исследования.

Как уже указывалось, выборочный метод дает возможность получить сведения о генеральной совокупности с гораздо меньшими затратами средств, времени и усилий, чем при сплошном наблюдении. Понятно также, что сплошное изучение всей генеральной совокупности в ряде случаев невозможно, например при проверке качества продукции, образцы которой уничтожаются.

Вместе с этим, однако, следует указать, что генеральная совокупность не является полностью «черным ящиком» и кое-какими сведениями о ней мы все же располагаем. Проводя, например, выборочное исследование, касающееся жизни, быта, имущественного положения, доходов и расходов студентов, их мнений, интересов и т.п., мы все же располагаем сведениями об общей их численности, группировке по полу, возрасту, семейному положению, местожительству, курсе обучения и другими характеристиками. Эти сведения всегда используются в выборочном исследовании.

Существует несколько разновидностей распространения выборочных характеристик на генеральную совокупность: способ прямого пересчета и способ поправочных коэффициентов. Пересчет выборочных характеристик производится, как правило, с учетом доверительных интервалов и может быть выражен в абсолютных и относительных величинах.

Здесь вполне уместно подчеркнуть, что бóльшая часть статистической информации, касающейся экономической жизни общества в самых разных ее проявлениях и видах, основана на выборочных данных. Конечно, они дополняются и данными сплошного учета, и сведениями, полученными в результате переписей (населения, предприятий и пр.). Так, например, все сведения бюджетной статистики (о доходах и расходах населения), приводимые Росстатом, основаны на данных выборочного исследования. Сведения о ценах, размерах производства, объемах торговли, выраженные в соответствующих индексах, также в значительной мере основаны на выборочных данных.

Статистические гипотезы и статистические критерии. Основные понятия

Понятия статистического критерия и статистической гипотезы тесно связаны с выборкой. Статистическая гипотеза (в отличие от других научных гипотез) состоит в предположении о некоторых свойствах генеральной совокупности, которые можно проверить, опираясь на данные случайной выборки. При этом следует помнить, что полученный результат имеет вероятностный характер. Следовательно, итог исследования, подтверждающий справедливость выдвинутой гипотезы, почти никогда не может служить основанием для ее окончательного принятия, и наоборот, результат, несовместный с ней, вполне достаточен для отклонения выдвинутой гипотезы как ошибочной или ложной. Это так, потому что полученный результат может быть совместным и с другими гипотезами, а не только с выдвинутой.

Под статистическим критерием понимается свод правил, которые позволяют ответить на вопрос, при каких результатах наблюдения гипотеза отклоняется, а при каких нет. Другими словами, статистический критерий - это некое решающее правило, обеспечивающее принятие истинной (верной) гипотезы и отклонение ложной гипотезы с большой степенью вероятности. Статистические критерии бывают односторонними и двусторонними, параметрическими и непараметрическими, более или менее мощными. Некоторые критерии применяются часто, другие используются реже. Часть критериев предназначена для решения специальных вопросов, а некоторые критерии могут использоваться при решении широкого класса задач. Эти критерии получили повсеместное распространение в социологии, экономике, психологии, естественных науках и т.д.

Введем некоторые основные понятия статистической проверки гипотез. Проверка гипотезы начинается с выдвижения нулевой гипотезы Н 0 , т.е. некоторого предположения исследователя, а также конкурирующей, альтернативной гипотезы Н 1 , которая противоречит основной. Например: Н 0: , Н 1: или Н 0: , Н 1: (где а - генеральная средняя).

Основная цель исследователя при проверке гипотезы заключается в том, чтобы отвергнуть выдвигаемую им гипотезу. Как писал Р. Фишер, цель проверки любой гипотезы - ее отклонить. Проверка гипотезы строится от противного. Следовательно, если мы считаем, что, например, средняя заработная плата рабочих, полученная по данным конкретной выборки и равная 186 денежным единицам в месяц, не совпадает с действительным размером заработной платы по всей генеральной совокупности, то в качестве нулевой гипотезы принимается, что эти зарплаты равны.

Конкурирующая гипотеза Н 1 может быть сформулирована по-разному:

Н 1: , Н 1: , Н 1: .

Далее определяется ошибка I рода (a), которая устанавливает вероятность того, что верная гипотеза будет отклонена. Очевидно, что такая вероятность должна быть небольшой (обычно от 0,01 до 0,1, чаще всего по умолчанию 0,05, или так называемый 5%-ный уровень значимости). Эти уровни вытекают из метода выборочного наблюдения, согласно которому двукратная или трехкратная ошибка представляет собой те пределы, за которые чаще всего не выходит случайная вариация выборочных характеристик. Ошибка II рода (b) - это вероятность того, что будет принята неверная гипотеза. Как правило, более «опасна» ошибка I рода; именно она фиксируется статистиком. Если в начале исследования мы хотим фиксировать a и b одновременно (например, a = 0,05; b = 0,1), то для этого необходимо сначала рассчитать объем выборки.

Критическая зона (или область) - это совокупность значений критерия, при которых Н 0 отклоняется. Критической точкой Т кр называется точка, отделяющая область принятия гипотезы от области отклонения, или критической зоны.

Как уже упоминалось, ошибка I рода (a) - это вероятность отклонения верной гипотезы. Чем меньше a, тем меньше вероятность совершить ошибку I рода. Но вместе с тем при уменьшении a (например, с 0,05 до 0,01) труднее отклонить нулевую гипотезу, что, собственно говоря, и ставит перед собой исследователь. Подчеркнем еще раз, что дальнейшее снижение a до 0,05 и далее фактически приведет к тому, что все гипотезы, верные и ложные, попадут в область принятия нулевой гипотезы, и сделает невозможным провести их различие.

Ошибка II рода (b) возникает в тех случаях, когда принимается Н 0 , но на самом деле верна альтернативная ей гипотеза Н 1 . Величина g = 1 – b называется мощностью критерия. Ошибка II рода (т.е. ошибочное принятие ложной гипотезы) уменьшается с возрастанием объема выборки и увеличением уровня значимости. Из этого следует, что нельзя одновременно уменьшить a и b. Это достигается лишь при увеличении объема выборки (что не всегда возможно).

Чаще всего задачи проверки гипотезы сводятся к сравнению двух выборочных средних или долей; к сопоставлению генеральной средней (или доли) с выборочной; сравнению эмпирического и теоретического распределений (критерии согласия); сравнению двух выборочных дисперсий (c 2 -критерий); сравнению двух выборочных коэффициентов корреляции или коэффициентов регрессии и некоторым другим сравнениям.

Решение о принятии или отклонении нулевой гипотезы заключается в сопоставлении фактического значения критерия с табличным (теоретическим). Если фактическое значение меньше табличного, то делается вывод, что расхождение носит случайный, несущественный характер и нулевую гипотезу отклонить нельзя. Обратная ситуация (фактическое значение больше табличного) ведет к отклонению нулевой гипотезы.

При проверке статистических гипотез чаще всего используются таблицы нормального распределения, распределения c 2 (читается: хи-квадрат), t -распределения (распределения Стьюдента) и F -распределения (распределения Фишера).