Приложение 1. МЕТОДЫ СТАТИСТИЧЕСКОГО АНАЛИЗА И ПРОГНОЗИРОВАНИЯ В БИЗНЕСЕ

2. Математические модели как необходимый инструмент статистического анализа и прогнозирования в бизнесе

Начнем с простого примера демонстрирующего различия чисто статистического, чисто вероятностного и вероятностно-статистического подходов к выработке прогнозного решения. Одновременно на этом примере достаточно прозрачно видна роль математических моделей в технологии формирования прогнозного решения.

Статистический способ принятия решения. Пусть читатель представит себя бизнесменом, наблюдающим за игрой двух его приятелей-бизнесменов (А и В ) в кости. Игра идет по следующим правилам. Производится четыре последовательных бросания игральной кости. Игрок А получает одну денежную единицу от игрока В , если в результате этих четырех бросаний хотя бы один раз выпало шесть очков (назовем этот исход «шесть»), и платит одну денежную единицу игроку В в противном случае (назовем этот исход «не шесть»). После ста туров читатель должен сменить одного из игроков, причем он имеет право выбрать ситуацию, на которую он будет ставить свою денежную единицу в следующей серии туров: за появление хотя бы одной «шестерки» или против. Правильное осуществление этого выбора определяется, естественно, качеством его прогноза по поводу результата игры при ставке на исход «шесть»: если вероятность этого исхода правильно оценивается величиной, превосходящей половину, то игрок должен поставить именно на этот исход. Итак, задача наблюдателя – сделать достоверный прогноз.

Статистический способ решения этой задачи диктуется обычным здравым смыслом и заключается в следующем. Пронаблюдав сто туров игры предыдущих партнеров и подсчитав относительные частоты их выигрыша, казалось бы, естественно поставить на ту ситуацию, которая чаще возникала в процессе игры. Например, было зафиксировано, что в 52 партиях из 100 выиграл игрок В , т.е. в 52 турах из 100 «шестерка» не выпадала ни разу при четырехкратном выбрасывании кости (соответственно в остальных 48 партиях из ста осуществлялся исход «шесть»). Следовательно, делает вывод читатель, применивший статистический способ рассуждения, выгоднее ставить на исход «не шесть», т.е. на тот исход, относительная частота появления которого равна 0,52 (больше половины).

Теоретико-вероятностный способ решения . Этот способ основан на определенной математической модели изучаемого явления: полагая кость правильной (т. е. симметричной), а следовательно, принимая шансы выпадения любой грани кости при одном бросании равными между собой (другими словами, относительная частота, или вероятность, выпадения «единицы» равна относительной частоте выпадения «двойки», «тройки» и т. д. и равна 1/6), можно подсчитать вероятность P {«не шесть»} осуществления ситуации «не шесть», т. е. вероятность события, заключающегося в том, что при четырех последовательных бросаниях игральной кости ни разу не появится «шестерка». Этот расчет основан на следующих фактах, вытекающих из принятых нами предпосылок модели. Вероятность не выбросить шестерку при одном бросании кости складывается из шансов появиться в результате одного бросания «единице», «двойке», «тройке», «четверке»и «пятерке» и, следовательно, составляет (в соответствии с определением вероятности любого события) величину 5/6. Затем используем правило умножения вероятностей, в соответствии с которым вероятность наступления нескольких независимых событий равна произведению вероятностей этих событий. В нашем случае мы рассматриваем факт наступления четырех независимых событий, каждое из которых заключается в невыпадении «шестерки» при одном бросании и имеет вероятность осуществления, равную 5/6. Поэтому

Как видно, вероятность ситуации «не шесть» оказалась меньше половины, следовательно, шансы ситуации «шесть» предпочтительнее (соответствующая вероятность равна: 1-0,482 = 0,518). А значит, читатель, использовавший теоретико-вероятностный способ рассуждения, придет к диаметрально противоположному по сравнению с читателем со статистическим образом мышления решению и будет ставить в игре на ситуацию «шесть».

Вероятностно-статистический (или математико-статистический) способ принятия решения. Этот способ как бы синтезирует инструментарий двух предыдущих, так как при выработке с его помощью окончательного вывода используются и накопленные в результате наблюдения за игрой исходные статистические данные (в виде относительных частот появления ситуаций «шесть» и «не шесть», которые, как мы помним, были равны соответственно 0,48 и 0,52), и теоретико-вероятностные модельные соображения . Однако модель, принимаемая в данном случае, менее жестка, менее ограничена, она как бы настраивается на реальную действительность, используя для этого накопленную статистическую информацию . В частности, эта модель уже не постулирует правильность используемых костей, допуская, что центр тяжести игральной кости может быть и смещен некоторым особым образом. Характер этого смещения (если оно есть) должен как-то проявиться в тех исходных статистических данных, которыми мы располагаем. Однако читатель, владеющий вероятностно-статистическим образом мышления, должен отдавать себе отчет в том, что полученные из этих данных величины относительных частот исходов «шесть» и «не шесть» дают лишь некоторые приближенные оценки истинных (теоретических) шансов той и другой ситуации: ведь подбрасывая, скажем, 10 раз даже идеально симметричную монету, мы можем случайно получить семь выпадений «гербов»; соответственно относительная частота выпадения «герба», подсчитанная по этим результатам испытаний, будет равна 0,7; но это еще не значит, что истинные (теоретические) шансы (вероятности) появления «герба» и другой стороны монеты оцениваются величинами соответственно 0,7 и 0,3, – эти вероятности, как мы знаем, равны 0,5. Точно так же установленная нами в серии из ста игровых туров относительная частота исхода «не шесть» (равная 0,52) может отличаться от истинной (теоретической) вероятности того же события и, значит, может не быть достаточным основанием для выбора этой ситуации в игре!

Получается, что весь вопрос заключается в том, насколько сильно может отличаться наблюденная (в результате осуществления n испытаний) относительная частота интересующего нас события от истинной вероятности появления этого события, и как это отличие, т. е. погрешность , зависит от числа имеющихся в нашем распоряжении наблюдений (интуитивно ясно, что чем дольше мы наблюдали за игрой, т. е. чем больше общее число использованных нами наблюдений, тем больше доверия заслуживают вычисленные нами эмпирические относительные частоты , т. е. тем меньше их отличие от неизвестных нам истинных значений вероятностей ). Ответ на этот вопрос можно получить в нашем случае, если воспользоваться рядом дополнительных модельных соображений : а) предположить, что результат каждого тура никак не зависит от результатов предыдущих туров, а неизвестная нам вероятность осуществления ситуации «не шесть» остается одной и той же на протяжении всех туров игры; б) использовать тот факт, что поведение случайно меняющейся (при повторениях эксперимента) погрешности приближенно описывается законом нормального распределения вероятностей со средним значением, равным нулю, и дисперсией, равной (см. , п. 3.1.5).

Эти соображения, в частности, позволяют оценить абсолютную величину погрешности , заменяя неизвестную величину вероятности интересующего нас события (в нашем случае – исход «не шесть») относительной частотой этого события, зафиксированной в серии из испытаний (в нашем случае , а ). Если же мы смогли численно оценить абсолютную величину возможной погрешности , то естественно применить следующее правило принятия решения: если относительная частота появления исхода «не шесть» больше половины и продолжает превышать 0,5 после вычитания из нее возможной погрешности , то выгоднее ставить на «не шесть»; если относительная частота меньше половины и продолжает быть меньше 0,5 после прибавления к ней возможной погрешности , то выгоднее ставить на «шесть»; в других случаях у наблюдателя нет оснований для статистического вывода о преимуществах того или иного выбора ставки в игре (т. е. надо либо продолжить наблюдения, либо участвовать в игре с произвольным выбором ставки, ожидая, что это не может привести к сколько-нибудь ощутимому выигрышу или проигрышу).

Приближенный подсчет максимально возможной величины этой погрешности, опирающийся на модельное соображение б) (т. е. теорему Муавра-Лапласа, см. и п. 4.3), дает в рассматриваемом примере, что с практической достоверностью, а именно с вероятностью 0,95, справедливо неравенство

Возведение этого неравенства в квадрат и решение получившегося квадратного неравенства относительно неизвестного параметра дает

или, с точностью до величин порядка малости выше, чем ,

В данном случае (при и ) получаем:

Следовательно,

Таким образом, наблюдения за исходами ста партий дают нам основания лишь заключить, что интересующая нас неизвестная величина вероятности исхода «не шесть» на самом деле может быть любым числом из отрезка , т. е. может быть как величиной, меньшей 0,5 (и тогда надо ставить в игре на ситуацию «шесть»), так и величиной, большей 0,5 (и тогда надо ставить в игре на ситуацию «не шесть»).

Иначе говоря, читатель, воспользовавшийся вероятностно-статистическим способом решения задачи и указанными выше модельными предпосылками, должен прийти к следующему «осторожному» выводу: ста партий в качестве исходного статистического материала оказалось недостаточно для вынесения надежного заключения о том, какой из исходов игры является более вероятным . Отсюда решение: либо продолжить роль «зрителя» до тех пор, пока область возможных значений для вероятности , полученная из оценок вида (4), не окажется целиком лежащей левее или правее 0,5, либо вступить в игру, оценивая ее как близкую к «безобидной», т. е. к такой, в которой в длинной серии туров практически останешься «при своих».

Приведенный пример иллюстрирует роль и назначение теоретико-вероятностных и математико-статистических методов, их взаимоотношения. Если теория вероятностей предоставляет исследователю набор математических моделей , предназначенных для описания закономерностей в поведении реальных явлений или систем, функционирование которых происходит под влиянием большого числа взаимодействующих случайных факторов, то средства математической статистики позволяют подбирать среди множества возможных теоретико-вероятностных моделей ту, которая в определенном смысле наилучшим образом соответствует имеющимся в распоряжении исследователя статистическим данным , характеризующим реальное поведение конкретной исследуемой системы.

Математическая модель . Математическая модель – это некоторая математическая конструкция, представляющая собой абстракцию реального мира: в модели интересующие исследователя отношения между реальными элементами заменены подходящими отношениями между элементами математической конструкции (математическими категориями). Эти отношения, как правило, представлены в форме уравнений и (или) неравенств между показателями (переменными), характеризующими функционирование моделируемой реальной системы. Искусство построения математической модели состоит в том, чтобы совместить как можно большую лаконичность в ее математическом описании с достаточной точностью модельного воспроизводства именно тех сторон анализируемой реальности, которые интересуют исследователя.

Выше, анализируя взаимоотношения чисто статистического, чисто теоретико-вероятностного и смешанного – вероятностно-статистического способа рассуждения, мы, в действительности, пользовались простейшими моделями, а именно:

статистической частотной моделью интересующего нас случайного события, заключающегося в том, что в результате четырех последовательных бросаний игральной кости ни разу не выпадет «шестерка»; оценив по предыстории относительную частоту этого события и приняв ее за вероятность появления этого события в будущем ряду испытаний , мы, тем самым, используем модель случайного эксперимента с известной вероятностью его исхода (см. и п. 1.1.3);

теоретико-вероятностной моделью последовательности испытаний Бернулли (см. и п. 3.1.1), которая никак не связана с использованием результатов наблюдений (т. е. со статистикой); для подсчета вероятности интересующего нас события достаточно принятия гипотетического допущения о том, что используемая игральная кость идеально симметрична. Тогда в соответствии с моделью серии независимых испытаний и справедливой, в рамках этой модели, теоремой умножения вероятностей подсчитывается интересующая нас вероятность по формуле ;

вероятностно-статистической моделью , интерпретирующей оцененную в чисто статистическом подходе относительную частоту как некую случайную величину (см. и п. 2.1), поведение которой подчиняется правилам, определяемым так называемой теоремой Муавра–Лапласа; при построении этой модели были использованы как теоретико-вероятностные понятия и правила, так и статистические приемы, основанные на результатах наблюдений.

Обобщая этот пример, можно сказать, что:

вероятностная модель – это математическая модель, имитирующая механизм функционирования гипотетического (не конкретного) реального явления (или системы) стохастической природы; в нашем примере гипотетичность относилась к свойствам игральной кости: она должна была быть идеально симметричной;

вероятностно-статистическая модель – э то вероятностная модель, значения отдельных характеристик (параметров) которой оцениваются по результатам наблюдений (исходным статистическим данным), характеризующим функционирование моделируемого конкретного (а не гипотетического) явления (или системы).

Вероятностно-статистическая модель, описывающая механизм функционирования экономической или социально-экономической системы, называется эконометрической .

Прогностические и управленческие модели в бизнесе . Вернемся к задачам статистического анализа механизма функционирования предприятия (фирмы) и связанным с ними прогнозами. Вновь рассматривая «фазовое пространство » этих задач, нетрудно описать общую логическую структуру необходимых для их решения моделей. Эта структура прямо следует из сформулированного выше определения стратегии бизнеса .

Для того чтобы формализовать (т. е. записать в терминах математической модели) задачи оптимального управления и построения прогноза в бизнесе, введем следующие обозначения:

– вектор-столбец результирующих показателей (объем продаж и т. п.);

– вектор-столбец «поведенческих» (управляемых) переменных (вложения в развитие основных фондов, в службы маркетинга и т. п.);

– вектор-столбец так называемых «статусных» переменных, т. е. показателей, характеризующих состояние фирмы (число работников, основные фонды, возраст фирмы и т. п.);

– вектор-столбец гео-социо-экономико-демографичес-ких характеристик внешней среды (показатели общей экономической ситуации, характеристики клиентов и поставщиков и т. п.);

– вектор-столбец случайных регрессионных остатков (подробнее о них ниже).

Тогда система уравнений, на базе которых может осуществляться оптимальное управление предприятием и выполнение необходимых прогнозных расчетов , в самом общем виде может быть представлена в форме:

, (5)

где – некоторая векторнозначная ( -мерная) функция от , структура (значения параметров) которой, вообще говоря, зависит от того, на каких уровнях зафиксированы величины переменных «состояния» фирмы и «внешней среды» .

Тогда базовая проблема статистического анализа и прогнозирования в бизнесе состоит в построении наилучшей (в определенном смысле) оценки для неизвестной функции по имеющейся в распоряжении исследователя исходной статистической информации вида

где – значения соответственно поведенческих, «статусных», внешних и результирующих переменных, характеризующие -й такт времени (или измеренных на -м статистически обследованном предприятии), . Соответственно параметр (объем выборки ) интерпретируется как общая длительность наблюдений за значениями анализируемых переменных на исследуемом предприятии, если наблюдения регистрировались во времени , и как общее число статистически обследованных однотипных предприятий, если наблюдения регистрировались в пространстве (т. е., переходя от одного предприятия к другому). При этом описание функции должно сопровождаться способом расчета гарантированных погрешностей аппроксимации (ошибок прогноза ), т. е. таких векторных ( -мерных) значений и , которые для любых заданных значений и гарантировали бы выполнение неравенств (с вероятностью, не меньшей, чем , где – наперед заданная, достаточно близкая к единице положительная величина) , т.е. соответственно поведенческих (управляемых), «статусных» и переменных внешней среды для момента времени классической модели регрессии, величина тождественно равна нулю (см ).

Некоторые общие сведения о математическом инструментарии решения задач (9) и (10) см. ниже, в п. 4 .

Предыдущая

Математическая статистика - раздел математики, разрабатывающий методы регистрации, описания и анализа данных наблюдений и экспериментов с целью построения вероятностных моделей случайных явлений и процессов. В зависимости от математической природы конкретных результатов наблюдений математическая статистика делится на статистику чисел, многомерный статистический анализ, анализ функций (процессов) и временных рядов, статистику объектов нечисловой природы. Математическая статистика объединяет различные методы статистического анализа, базирующиеся на использовании статистических закономерностей или их характеристик.

Историю статистики обычно рассматривают начиная с задачи восстановления зависимостей, с момента разработки К. Гауссом в 1794 г. (по другим данным - в 1795 г.) метода наименьших квадратов. Разработка методов аппроксимации данных и сокращения размерности описания была начата более 100 лет назад, когда К. Пирсон создал метод главных компонент. Позднее были разработаны факторный анализ, различные методы построения (кластер-анализ), анализа и использования (дискриминантный анализ) классификаций (типологий) и др. В начале XX в. теорию математической статистики развивал А. А. Чупров. В теорию случайных процессов значительный вклад внесли А. А. Марков, Е. Е. Слуцкий, А. Н. Колмогоров, А. Я. Хинчин и др. Разработанную в первой трети XX в. теорию анализа данных называют параметрической статистикой, поскольку ее основной объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Наиболее популярным было нормальное распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.

В 1954 г. академик АН УССР Б. В. Гнеденко дал следующее определение: "Статистика состоит из трех разделов:

• 1) сбор статистических сведений, т.е. сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
• 2) статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;
• 3) разработка приемов статистического наблюдения и анализа статистических данных.

Последний раздел, собственно, и составляет содержание математической статистики".

По степени специфичности методов, сопряженной с погруженностью в конкретные проблемы, выделяют три вида научной и прикладной деятельности в области статистических методов анализа данных:

• а) разработка и исследование методов общего назначения, без учета специфики области применения;
• б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;
• в) применение статистических методов и моделей для статистического анализа конкретных данных.

Наиболее распространенными методами статистического анализа являются:

• регрессионный анализ (основан на сравнении математических ожиданий);
• дисперсионный анализ (основан на сравнении дисперсий);
• корреляционный анализ (учитывает математические ожидания, дисперсии и характеристики связей между событиями или процессами);
• факторный анализ (статистическая обработка многофакторного эксперимента);
• ранговая корреляция (сочетание корреляционного и факторного анализов).

При применении различных методов математической статистики статистические закономерности или их характеристики получают различными способами: путем наблюдения и исследования выборок, с помощью приближенных методов, основанных на различных способах преобразования или разбиения выборки в форму вариационного ряда, разбиения выборок на потоки, разрезы, случайные интервалы времени и т.д.

Математическая статистика используется в различных сферах управления.

Термин "статистика" первоначально использовался для описания экономического и политического состояния государства или его части. Например, к 1792 г. относится определение: "статистика описывает состояние государства в настоящее время или в некоторый известный момент в прошлом". И в настоящее время деятельность государственных статистических служб вполне укладывается в это определение. Статистику определяли как отрасль знаний, в которой излагаются общие вопросы сбора, измерения и анализа массовых статистических (количественных или качественных) данных; изучение количественной стороны массовых общественных явлений в числовой форме.

Слово "статистика" происходит от латинского status - состояние дел. В науку термин "статистика" ввел немецкий ученый Готфрид Ахенвалль в 1746 г., предложив заменить название курса "Государствоведение", преподававшегося в университетах Германии, на "Статистика", положив тем самым начало развитию статистики как науки и учебной дисциплины.

В статистике применяется специальная методология исследования и обработки материалов: массовые статистические наблюдения, метод группировок, средних величин, индексов, балансовый метод, метод графических изображений и другие методы анализа статистических данных.

Развитие вычислительной техники оказало значительное влияние на статистику. Ранее статистические модели были представлены преимущественно линейными моделями. Увеличение быстродействия ЭВМ и разработка соответствующих численных алгоритмов послужили причиной повышенного интереса к нелинейным моделям, таким как искусственные нейронные сети, и привели к разработке сложных статистических моделей, например обобщенной линейной модели и иерархической модели. Получили широкое распространение вычислительные методы, основанные на повторной выборке. В настоящее время развивается вычислительная статистика, существует разнообразное статистическое программное обеспечение общего и специализированного назначения. Статистические методы используются в направлении, называемом "Интеллектуальный анализ данных" (см. гл. 8).

Статистическое моделирование – это численный метод решения математических задач, при котором искомые величины представляют вероятностными характеристиками какого-либо случайного явления. Это явление моделируется, после чего нужные характеристики приближённо определяют путём статистической обработки «наблюдений» модели.

Разработка подобных моделей заключается в выборе метода статистического анализа, планировании процесса получения данных, компоновке данных об экологической системе, алгоритмировании и расчете компьютерными средствами статистических соотношений. Изменение закономерностей развития экологической ситуации требует повторения описанной процедуры, но уже в новом качестве.

Статистическое нахождение математической модели включает в себя выбор вида модели и определение ее параметров. Причем искомая функция может быть как функцией одной независимой переменной (однофакторной), так и многих переменных (многофакторной). Задача выбора вида модели – задача неформальная, т. к. одна и та же зависимость может быть описана с одинаковой погрешностью самыми различными аналитическими выражениями (регрессионными уравнениями). Рациональный выбор вида модели может быть обоснован при учете ряда критериев: компактность (например, описанная одночленом или многочленом), интерпретируемость (возможность придания содержательного смысла коэффициентом модели) и др. Задача расчета параметров выбранной модели зачастую чисто формальная и осуществляется на ЭВМ.

Формируя статистическую гипотезу об определенной экологической системе, необходимо иметь массив разнообразных данных (базу данных), который может быть неоправданно велик. Адекватное представление о системе связано в этом случае с отделением несущественной информации. Сокращению могут подлежать как перечень (тип) данных, так и количество данных. Одним из методов осуществления подобного сжатия экологической информации (без априорных предположений о структуре и динамике наблюдаемой экосистемы) может стать факторный анализ. Сокращение данных проводят методом наименьших квадратов, главных компонент и другими многомерными статистическими методами с использованием в дальнейшем, например, кластерного анализа.

Отметим, что первичная экологическая информация обладает в той или иной степени следующими особенностями:

– многомерностью данных;

– нелинейностью и неоднозначностью взаимосвязей в исследуемой системе;

– погрешностью измерений;

– влиянием неучтенных факторов;

– пространственно-временной динамикой.

При решении первой задачи выбора вида модели полагают, что известны m входных (х 1 , х 2 , ..., х m и n выходных (y 1 , y 2 , ..., y) данных. В этом случае возможны, в частности, следующие две модели в матричной записи:

где X и Y – известные входные (выходные) и выходные (входные) параметры экологического объекта ("черного ящика") в векторной форме записи; А и В – искомые матрицы постоянных коэффициентов модели (параметров модели).

Наряду с указанными моделями рассматривается более общий вид статистического моделирования:

где F – вектор скрытых влияющих факторов; С и D – искомые матрицы коэффициентов.

При решении экологических задач целесообразно использовать и линейные и нелинейные математические модели, т. к. многие экологические закономерности мало исследованы. В результате будут учтены многомерность и нелинейность моделируемых взаимосвязей.

На основе обобщенной модели можно выделить внутренние скрытые факторы изучаемых экологических процессов, которые не известны инженеру-экологу, но их проявление отражается на компонентах векторов X и Y. Эта процедура наиболее целесообразна в случае, когда между величинами X и Y не наблюдается строгой причинно-следственной связи. Обобщенная модель с учетом воздействия скрытых факторов устраняет определенное противоречие между двумя моделями с матрицами А и В, когда фактически две различные модели могли бы быть использованы для описания одного и того же экологического процесса. Это противоречие вызвано противоположным смыслом причинно-следственной зависимости между величинами А и Y (в одном случае X – вход, а Y – выход, а в другом - наоборот). Обобщенная модель с учетом величины F – описывает более сложную систему, из которой обе величины X и Y являются выходными, а па вход действуют скрытые факторы F.

Немаловажным при статистическом моделировании является использование априорных данных, когда еще в процессе решения могут быть установлены некоторые закономерности моделей и сужено их потенциальное количество.

Предположим, необходимо составить модель, с помощью которой за 24 ч можно численно определить плодородие определенного типа почвы с учетом ее температуры Т и влажности W. Ни пшеница, ни яблоня за 24 ч дать урожай не могут. Но для пробного сева можно использовать бактерии с коротким жизненным циклом, а в качестве количественного критерия интенсивности их жизнедеятельности пользоваться количеством Р выделенного СО 2 в единицу времени. Тогда математическая модель исследуемого процесса представляет собой выражение

где P 0 - численный показатель качества почвы.

Кажется, что у нас нет никаких данных о виде функции f(T, W) потому, что у инженера-системотехника нет нужных агрономических знаний. Но это не совсем так. Кто не знает, что при Т≈0°С вода замерзает и, следовательно, СO 2 выделяться не может, а при 80°С происходит пастеризация, т. е. большинство бактерий погибает. Априорных данных уже достаточно для утверждения, что искомая функция имеет квазипараболический характер, близка к нулю при Т=0 и 80°С и имеет экстремум внутри этого интервала температур. Аналогичные рассуждения относительно влажности приводят к фактофиксации максимума экстремума искомой функции при W=20% и приближении ее к нулю при W=0 и 40%. Таким образом, априори определен вид приближенной математической модели, а задачей эксперимента является лишь уточнение характера функции f(T, W) при Т=20 ... 30 и 50 ... 60°С, а также при W=10 ... 15 и 25 ... 30% и более точное установление координат экстремума (что уменьшает объем экспериментальных работ, т. е. объем статистических данных).

Математическая статистика – раздел прикладной математики, непосредственно примыкающий и основанный на теории вероятностей. Как и любая математическая теория, математическая статистика развивается в рамках некоторой модели, описывающей определенный круг реальных явлений. Чтобы определить статистическую модель и объяснить специфику задач математической статистики, напомним некоторые положения из теории вероятностей.

Математическая модель случайных явлений, изучаемых в теории вероятностей, основывается на понятии вероятностного пространства . При этом в каждой конкретной ситуации вероятность считается полностью известной числовой функцией на -алгебре , то есть для любого полностью определено число . Основной задачей теории вероятностей является разработка методов нахождения вероятностей различных сложных событий по известным вероятностям более простых (например, по известным законам распределения случайных величин определяются их числовые характеристики и законы распределения функций от случайных величин).

Однако на практике при изучении конкретного случайного эксперимента вероятность , как правило, неизвестна или известна частично. Можно только предположить, что истинная вероятность является элементом некоторого класса вероятностей (в худшем случае - класс всевозможных вероятностей, которые можно задать на ). Класс называют совокупностью допустимых для описания данного эксперимента вероятностей , а набор - статистической моделью эксперимента. В общем случае задачей математической статистики является уточнение вероятностной модели изучаемого случайного явления (то есть отыскание истинной или близкой к ней вероятности ), используя информацию, доставляемую наблюдаемыми исходами эксперимента, которые называют статистическими данными.

В классической математической статистике, изучением которой мы будем заниматься далее, имеют дело со случайными экспериментами, состоящими в проведении n повторных независимых наблюдений над некоторой случайной величиной , имеющей неизвестное распределение вероятностей, т.е. неизвестную функцию распределения . В этом случае множество всех возможных значений наблюдаемой случайной величины называют генеральной совокупностью , имеющей функцию распределения или распределенной согласно . Числа , являющиеся результатом независимых наблюдений над случайной величиной , называют выборкой из генеральной совокупности или выборочными (статистическими) данными. Число наблюдений называется объемом выборки.

Основная задача математической статистики состоит в том, как по выборке из генеральной совокупности, извлекая из нее максимум информации, сделать обоснованные выводы относительно неизвестных вероятностных характеристик наблюдаемой случайной величины .

Под статистической моделью, отвечающей повторным независимым наблюдениям над случайной величиной , естественно, вместо понимать набор , где - генеральная совокупность, - -алгебра борелевских подмножеств из , - класс допустимых функций распределения для данной случайной величины , которому принадлежит и истинная неизвестная функция распределения .

Часто тройку называют статистическим экспериментом.

Если функции распределения из заданы с точностью до значений некоторого параметра , то есть ( - параметрическое множество), то такая модель называется параметрической . Говорят, что в этом случае известен тип распределения наблюдаемой случайной величины, а неизвестен только параметр, от которого распределение зависит. Параметр может быть как скалярным, так и векторным.

Статистическая модель называется непрерывной или дискретной , если таковыми являются все составляющие класс функции распределения соответственно.

Пример 1 . Предположим, что распределение наблюдаемой случайной величины является гауссовским с известной дисперсией и неизвестным математическим ожиданием .

В этом случае статистическая модель является непрерывной и имеет вид:

Если и дисперсия неизвестна, то статистическая модель имеет вид:

а функция распределения имеет плотность вероятностей

Это, так называемая, общая нормальная модель, обозначаемая .

Пример 2 . Предположим, что распределение наблюдаемой случайной величины является пуассоновским с неизвестным параметром . В этом случае статистическая модель является дискретной и имеет вид: , случайными величинами (при этом говорят, что случайные величины - копии ), и который еще не принял конкретного значения в результате эксперимента. Переход от выборки конкретной к выборке случайной будет неоднократно использоваться далее при решении теоретических вопросов и задач для получения выводов, справедливых для любой выборки из генеральной совокупности.

Основные задачи, рассматриваемые в математической статистике, можно разбить на две большие группы:

1. Задачи, связанные с определением неизвестного закона распределения наблюдаемой случайной величины и параметров в него входящих (они рассматриваются в рамках статистической теории оценивания).

2. Задачи, связанные с проверкой гипотез относительно закона распределения наблюдаемой случайной величины (решаются в рамках теории проверки статистических гипотез).

Статистическое наблюдение.

Сущность статистического наблюдения.

Начальным этапом всякого статистического исследования служит планомерный, научно организованный сбор данных о явлениях и процессах общественной жизни, называемый статистическим наблюдением. Значение этого этапа исследования определяется тем, что использование лишь вполне объективной и достаточно полной, полученной в результате статистического наблюдения, на последующих этапах в состоянии обеспечить научно обоснованные выводы о характере и закономерностях развития изучаемого объекта. Статистическое наблюдение осуществляется путем оценки и регистрации признаков единиц изучаемой совокупности в соответствующих учетных документах. Полученные таким образом данные представляют собой факты, так или иначе характеризующие явления общественной жизни. Использование аргументации, основанной на фактах, не противоречит применению теоретического анализа, поскольку всякая теория в конечном счете основывается на фактическом материале. Доказательная способность фактов еще больше возрастает в результате статистической обработки, обеспечивающей их систематизацию, представление в сжатом виде. Статистическое наблюдение следует отличать от других форм наблюдений, осуществляемых в повседневной жизни, основанных на чувственном восприятии. Статистическим можно назвать лишь такое наблюдение, которое обеспечивает регистрацию устанавливаемых фактов в учетных документах для последующего их обобщения. Конкретными примерами статистического наблюдения служит систематическое собирание сведений, например на машиностроительных предприятиях о количестве произведенных машин и узлов, издержках производства, прибыли и т. д. Статистическое наблюдение должно удовлетворять довольно жестким требованиям: 1. Наблюдаемые явления должны иметь определенное народнохозяйственное значение, научную либо практическую ценность, выражать определенные социально-экономические типы явлений. 2. Статистическое наблюдение должно обеспечить сбор массовых данных, в которых отражается вся совокупность фактов, относящихся к рассматриваемому вопросу, поскольку общественные явления находятся в постоянном изменении, развитии, имеют различные качественные состояния.

Неполные данные, недостаточно разносторонне характеризующие процесс, приводят к тому, что из их анализа делаются ошибочные выводы. 3. Многообразие причин и факторов, определяющих развитие социальных и экономических явлений, предопределяет ориентацию статистического наблюдения наряду со сбором данных, непосредственно характеризующих изучаемый объект, на учет фактов и событий, под влиянием которых осуществляется изменение его состояний. 4. Для обеспечения достоверности статистических данных на стадии статистического наблюдения необходима тщательная проверка качества собираемых фактов. Строгая достоверность его данных- одна их важнейших характеристик статистического наблюдения. Дефекты статистической информации, выражающиеся в ее недостоверности, не могут быть устранены в процессе дальнейшей обработки, поэтому их появление затрудняет принятие научно обоснованных решений и сбалансированность экономики. 5. Статистическое наблюдение должно проводиться на научной основе по заранее разработанным системе, плану и правилам (программе), обеспечивающим строго научное решение всех программно-методологических и организационных вопросов.

Программно-методологическое обеспечение статистического наблюдения.

Подготовка к статистическому наблюдению, обеспечивающая успех дела, предполагает необходимость своевременного решения ряда методологических вопросов, связанных с определением задач, цели, объекта, единицы наблюдения, разработкой программы и инструментария, определением способа сбора статистических данных. Задачи статистического наблюдения непосредственно вытекают из задач статистического исследования и состоят, в частности, в получении массовых данных непосредственно о состоянии изучаемого объекта, в учете состояния явлений, оказывающих влияние на объект, изучении данных о процессе развития явлений. Цели наблюдения определяются, прежде всего, нуждами информационного обеспечения для экономического и социального развития общества. Поставленные перед государственной статистикой цели уточняются и конкретизируются ее руководящими органами, в результате чего определяются направления и масштаб работы. В зависимости от цели решается вопрос об объекте статистического наблюдения, т.е. что именно следует наблюдать. Под объектом понимается совокупность вещественных предметов, предприятий, трудовых коллективов, лиц и т.д., посредством которых осуществляются явления и процессы, подлежащие статистическому исследованию. Объектами наблюдения в зависимости от целей могут выступать, в частности, массы единиц производственного оборудования, продукции, товарно материальных ценностей, населенных пунктов, районов, предприятий, организаций и учреждений различных отраслей народного хозяйства, население и отдельные его категории и т.д. Установление объекта статистического наблюдения связано с определением его границ на основе соответствующего критерия, выраженного некоторым характерным ограничительным признаком, называемым цензом. Выбор ценза оказывает существенное влияние на формирование однородных совокупностей, обеспечивает невозможность смешения различных объектов либо недоучета некоторой части объекта. Сущность объекта статистического наблюдения уясняется полнее при рассмотрении единиц, из которых он состоит: Единицами наблюдения служат первичные элементы объекта статистического наблюдения, являющиеся носителями регистрируемых признаков.

От единицы наблюдения следует отличать отчетную единицу. Отчетной единицей служит такая единица статистического наблюдения, от которой в установленном порядке получают информацию, подлежащую регистрации. В ряде случаев оба понятия совпадают, но нередко они имеют и вполне самостоятельное значение. Учесть все множество признаков, характеризующих объект наблюдения, оказывается невозможным и нецелесообразным, поэтому при разработке плана статистического наблюдения следует тщательно и квалифицированно решать вопрос о составе признаков, подлежащих регистрации в соответствии с поставленной целью. Перечень признаков, формулируемых в виде вопросов, обращаемых к единицам совокупности, на которые должно дать ответ статистическое исследование, представляет собой программу статистического наблюдения.

Чтобы получить исчерпывающую характеристику изучаемого явления, в составе программы должен быть учтен весь круг его существенных признаков. Однако проблематичность практического осуществления этого принципа обусловливает необходимость включения в программу лишь наиболее существенных признаков, выражающих социально-экономические типы явления, его важнейшие черты, свойства и взаимосвязи. Объем программы регламентируется величиной ресурсов, имеющихся в распоряжении статистических органов, сроками получения результатов, требованиями к степени детализации разработок и т.д. Содержание программы определяется характером и свойствами изучаемого объекта, целями и задачами исследования. К числу общих требований к составлению программы относится недопустимость включения в ее состав вопросов, на которые затруднительно получить точные, вполне достоверные ответы, дающие объективную картину той или иной ситуации. При рассмотрении некоторых наиболее важных признаков в состав программы принято включать контрольные вопросы, служащие для согласованности получаемых сведений. Чтобы усилить взаимопроверку вопросов и аналитичность программы наблюдения, взаимосвязанные вопросы располагаются в определенной последовательности, иногда в блоках взаимосвязанных признаков.

Вопросы программы статистического наблюдения должны быть сформулированы четко, ясно, лаконично, не допуская возможности различных их истолкований. В программе нередко приводится перечень возможных вариантов ответов, посредством которых уточняется смысловое содержание вопросов. Методологическое обеспечение статистического наблюдения предполагает, что одновременно с программой наблюдения составляется и программа ее разработки. Задачи исследования формулируются в перечне обобщающих статистических показателей. Эти показатели должны быть получены в результате обработки собранного материала, признаков, с которыми корреспондируется каждый показатель, и макетов статистических таблиц, где представлены результаты обработки первичной информации. Программа разработки, выявляя недостающую информацию, позволяет уточнить программу статистического наблюдения. Проведение статистического наблюдения предполагает необходимость подготовки соответствующего инструментария: формуляров и инструкции по их заполнению. Статистический формуляр - это первичный документ, в котором фиксируются ответы на вопросы программы по каждой из единиц совокупности. Формуляр, таким образом, - это носитель первичной информации. Для всех формуляров характерны некоторые обязательные элементы: содержательная часть, включающая перечень вопросов программы, свободная графа либо несколько граф для записи ответов и шифров (кодов) ответов, титульная и адресная печати. Статистические формуляры в целях обеспечения единства трактовки их содержательной части обычно сопровождаются инструкцией, т.е. письменными указаниями и разъяснениями к заполнению бланков статистического наблюдения. Инструкция разъясняет цель статистического наблюдения, характеризует его объект и единицу, время и продолжительность наблюдения, порядок оформления документации, сроки представления результатов. Однако главное назначение инструкции состоит в разъяснении содержания вопросов программы, как следует давать на них ответы и заполнять формуляр.

Виды и способы статистического наблюдения.

Успех дела сбора качественных и полных исходных данных с учетом требования экономного расходования материальных, трудовых и финансовых ресурсов во многом определяется решением вопроса о выборе вида, способа и организационной формы статистического наблюдения.

Виды статистического наблюдения.

Необходимость выбора того или иного варианта сбора статистических данных, в наибольшей мере соответствующего условиям решаемой задачи, определяется наличием нескольких видов наблюдения, различающихся прежде всего по признаку характера учета фактов во времени. Систематическое наблюдение, осуществляемое непрерывно и обязательно по мере возникновения признаков явления, называется текущим. Текущее наблюдение проводится на основе первичных документов, содержащих информацию, необходимую для достаточно полной характеристики изучаемого явления. Статистическое наблюдение, проводимое через некоторые равные промежутки времени, называется периодическим. Примером может служить перепись населения. Наблюдение, проводимое время от времени, без соблюдения строгой периодичности либо в разовом порядке, называется единовременным. Виды статистического наблюдения дифференцируются с учетом различия информации по признаку полноты охвата совокупности. В связи с этим различают сплошное и не сплошное наблюдения. Сплошным называют наблюдение, учитывающее все без исключения единицы изучаемой совокупности. Не сплошное наблюдение заведомо ориентируется на учет некоторой, как правило, достаточно массовой части единиц наблюдения, позволяющей тем не менее получить устойчивые обобщающие характеристики все статистической совокупности. В статистической практике применяются различные виды не сплошного наблюдения: выборочное, способ основного массива, анкетное и монографическое. Качество не сплошного наблюдения уступает результатам сплошного, однако в ряде случаев статистическое наблюдение вообще оказывается возможным только как не сплошное. Для получения представительной характеристики всей статистической совокупности по некоторой части ее единиц применяют выборочное наблюдение, основанное на научных принципах формирования выборочной совокупности. Случайный характер отбора единиц совокупности гарантирует беспристрастность результатов выборки, предупреждает их тенденциозность. По способу основного массива производится отбор наиболее крупных, наиболее существенных единиц совокупности, преобладающих в общей их массе по изучаемому признаку. Специфическим видом статистического наблюдения служит монографическое описание, представляющее собой детальное обследование отдельного, но весьма типичного объекта, обусловливающего интерес и с точки зрения изучения всей совокупности.

Способы статистического наблюдения.

Дифференциация разновидностей статистического наблюдения возможна также в зависимости от источников и способов получения первичной информации. В связи с этим различают непосредственное наблюдение, опрос и документальное наблюдение. Непосредственным называют наблюдение, осуществляемое путем подсчета, измерения значений признаков, снятия показаний приборов специальными лицами, осуществляющими наблюдениями, иначе говоря- регистраторами. Достаточно часто ввиду невозможности применения иных способов статистическое наблюдение осуществляется путем опроса по некоторому перечню вопросов. Ответы фиксируются в специальном формуляре. В зависимости от способов получения ответов различают экспедиционный и корреспондентский способы, а также способ саморегистрации. Экспедиционный способ опроса осуществляется в устной форме специальным лицом (счетчиком, экспедитором), заполняющим одновременно формуляр или бланк обследования.

Корреспондентский способ опроса организуется путем рассылки статистическими органами бланков обследования некоторому соответствующим образом подготовленному кругу лиц, называемых корреспондентами. Последние обязаны согласно договоренности заполнить бланк и вернуть его в статистическую организацию. Проверка правильности заполнения формуляров имеет место при опросе способом саморегистрации. Опросные листы заполняют, как и при корреспондентском способе, сами опрашиваемые, но их раздачу и сбор, а также инструктаж и контроль правильности заполнения осуществляют счетчики.

Основные организационные формы статистического наблюдения.

Все разнообразие видов и способов наблюдения осуществляется на практике посредством двух основных организационных форм: отчетности и специально организованного наблюдения. Статистическая отчетность - основная форма статистического наблюдения в социальном обществе, охватывающая все предприятия, организации и учреждения производственной и непроизводственной сфер. Отчетность- это систематическое представление в установленные сроки учетно-статистической документации в виде отчетов, всесторонне характеризующих итоги работы предприятий и учреждений в течение отчетных периодов. Отчетность непосредственно связана с первичными и бухгалтерскими учетными документами, базируется на них и представляет собой их систематизацию, т.е. результат обработки и обобщения. Отчетность осуществляется по строго установленной форме, утверждаемой Госкомстатом России. Перечень всех форм с указанием их реквизитов (принадлежностей) называется табелем отчетности. Каждая из форм отчетности должна содержать следующие сведения: наименование; номер и дату утверждения; наименование предприятия, его адрес и подчиненность; адреса, в которые представляется отчетность; периодичность, дату представления, способ передачи; содержательную часть в виде таблицы; должностной состав лиц, ответственных за разработку и достоверность отчетных данных, т.е. обязанных подписать отчет. Многообразие условий производственного процесса в различных отраслях материального производства, специфичность воспроизводственного процесса в локальных условиях, учет значимости тех или иных показателей обусловливают различие видов отчетности. Различают, прежде всего, типовую и специализированную отчетность. Типовая отчетность имеет одинаковую форму и содержание для всех предприятий либо учреждений отрасли народного хозяйства. Специализированная отчетность выражает специфические для отдельных предприятий отрасли моменты. По принципу периодичности отчетность подразделяется на годовую и текущую: квартальную, месячную, двухнедельную, недельную. В зависимости от способа передачи информации различают почтовую и телеграфную отчетность. Статистические переписи служат второй по значению организационной формой статистического наблюдения. Перепись представляет собой специально организованное статистическое наблюдение, направленное на учет численности и состава определенных объектов (явлений), а также установление качественных характеристик их совокупностей на некоторый момент времени. Переписи представляют статистическую информацию, не предусмотренную отчетностью, а в ряде случаев существенно уточняют данные текущего учета.

Для обеспечения высокого качества результатов статистических переписей осуществляется комплекс подготовительных работ. Содержание организационных мероприятий по подготовке переписей, осуществляемых согласно требованиям и правилам статистической науки, излагается в специально разрабатываемом документе, называемом организационном планом статистического наблюдения. В организационном плане должны найти решение вопросы о субъекте (исполнителе) статистического наблюдения, о месте, времени, сроках и порядке проведения, об организации переписных участков, о подборе и подготовке счетных работников, обеспечении их необходимой учетной документацией, о проведении ряда других подготовительных работ и т.д. Субъектом наблюдения выступает организация (учреждение) либо его подразделение, ответственное за наблюдение, организующее его проведение, а также непосредственно выполняющие функции по сбору и обработке статистических данных. Вопрос о месте наблюдения (месте регистрации фактов) возникает преимущественно при проведении статистико-социологических исследований и решается в зависимости от цели исследования.

Время наблюдения представляет собой период времени, в течение которого должна быть начата и завершена работа по регистрации и проверке полученных данных. Время наблюдения выбирается на основе критерия минимальной пространственной мобильности изучаемого объекта. От времени наблюдения следует отличать критический момент, к которому приурочены собранные данные.

Понятие статистического наблюдения - довольно интересная тема для рассмотрения. Статистические наблюдения используются практически везде, где только можно обусловить их применение. Вместе с тем, несмотря на обширную область применения, статистические наблюдения являются довольно-таки сложным предметом и ошибки нередки. Однако в целом статистические наблюдения как предмет для рассмотрения представляют собой большой интерес.