Статистические ме́тоды - методы анализа статистических данных. Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью. Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):

а) разработка и исследование методов общего назначения, без учета специфики области применения;

б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;

в) применение статистических методов и моделей для статистического анализа конкретных данных.

Дисперсионный анализ. Дисперсионный анализ (от латинского Dispersio – рассеивание / на английском Analysis Of Variance - ANOVA) применяется для исследования влияния одной или нескольких качественных переменных (факторов) на одну зависимую количественную переменную (отклик). В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные), а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат.

Основной целью дисперсионного анализа (ANOVA) является исследование значимости различия между средними с помощью сравнения (анализа) дисперсий. Разделение общей дисперсии на несколько источников, позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью. При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии. Если вы просто сравниваете средние в двух выборках, дисперсионный анализ даст тот же результат, что и обычный t-критерий для независимых выборок (если сравниваются две независимые группы объектов или наблюдений) или t-критерий для зависимых выборок (если сравниваются две переменные на одном и том же множестве объектов или наблюдений).

Сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого признака на отдельные компоненты, обусловленные влиянием конкретных факторов, и проверке гипотез о значимости влияния этих факторов на исследуемый признак. Сравнивая компоненты дисперсии, друг с другом посредством F-критерия Фишера, можно определить, какая доля общей вариативности результативного признака обусловлена действием регулируемых факторов.

Исходным материалом для дисперсионного анализа служат данные исследования трех и более выборок, которые могут быть как равными, так и неравными по численности, как связными, так и несвязными. По количеству выявляемых регулируемых факторов дисперсионный анализ может быть однофакторным (при этом изучается влияние одного фактора на результаты эксперимента), двухфакторным (при изучении влияния двух факторов) и многофакторным (позволяет оценить не только влияние каждого из факторов в отдельности, но и их взаимодействие).

Дисперсионный анализ относится к группе параметрических методов и поэтому его следует применять только тогда, когда доказано, что распределение является нормальным.

Дисперсионный анализ используют , если зависимая переменная измеряется в шкале отношений, интервалов или порядка, а влияющие переменные имеют нечисловую природу (шкала наименований).

Примеры задач. В задачах, которые решаются дисперсионным анализом, присутствует отклик числовой природы, на который воздействует несколько переменных, имеющих номинальную природу. Например, несколько видов рационов откорма скота или два способа их содержания и т.п.

Пример 1 : В течение недели в трех разных местах работало несколько аптечных киосков. В дальнейшем мы можем оставить только один. Необходимо определить, существует ли статистически значимое отличие между объемами реализации препаратов в киосках. Если да, мы выберем киоск с наибольшим среднесуточным объемом реализации. Если же разница объема реализации окажется статистически незначимой, то основанием для выбора киоска должны быть другие показатели.

Пример 2 : Cравнение контрастов групповых средних. Семь политических пристрастий упорядочены от крайне либеральные до крайне консервативные, и линейный контраст используется для проверки того, есть ли отличная от нуля тенденция к возрастанию средних значений по группам - т. е. есть ли значимое линейное увеличение среднего возраста при рассмотрении групп, упорядоченных в направлении от либеральных до консервативных.

Пример 3 : Двухфакторный дисперсионный анализ. На количество продаж товара, помимо размеров магазина, часто влияет расположение полок с товаром. Данный пример содержит показатели недельных продаж, характеризуемые четырьмя типами расположения полок и тремя размерами магазинов. Результаты анализа показывают, что оба фактора - расположение полок с товаром и размер магазина - влияют на количество продаж, однако их взаимодействие значимым не является.

Пример 4: Одномерный ANOVA: Рандомизированный полноблочный план с двумя обработками. Исследуется влияние на припек хлеба всех возможных комбинаций трех жиров и трех рыхлителей теста. Четыре образца муки, взятые из четырех разных источников, служили в качестве блоковых факторов. Необходимо выявить значимость взаимодействия жир-рыхлитель. После этого определить различные возможности выбора контрастов, позволяющих выяснить, какие именно комбинации уровней факторов различаются.

Пример 5 : Модель иерархического (гнездового) плана со смешанными эффектами. Изучается влияние четырех случайно выбранных головок, вмонтированных в станок, на деформацию производимых стеклянных держателей катодов. (Головки вмонтированы в станок, так что одна и та же головка не может использоваться на разных станках). Эффект головки обрабатывается как случайный фактор. Статистики ANOVA показывают, что между станками нет значимых различий, но есть признаки того, что головки могут различаться. Различие между всеми станками не значимо, но для двух из них различие между типами головок значимо.

Пример 6 : Одномерный анализ повторных измерений с использованием плана расщепленных делянок. Этот эксперимент проводился для определения влияния индивидуального рейтинга тревожности на сдачу экзамена в четырех последовательных попытках. Данные организованы так, чтобы их можно было рассматривать как группы подмножеств всего множества данных ("всей делянки"). Эффект тревожности оказался незначимым, а эффект попытки - значим.

Ковариационный анализ. Ковариационный анализ - совокупность методов математической статистики, относящихся к анализу моделей зависимости среднего значения некоторой случайной величины одновременно от набора (основных) качественных факторов и (сопутствующих) количественных факторов . Факторы F задают сочетания условий, при которых были получены наблюдения X,Y, и описываются с помощью ндикаторных переменных, причем среди сопутствующих и индикаторных переменных могут быть как случайные, так и неслучайные (контролируемые в эксперименте).

Если случайная величина Y является вектором, то говорят о многомерном ковариационном анализе.

Ковариационный анализ часто применяют перед дисперсионным анализом, чтобы проверить гомогенность (однородность, представительность) выборки наблюдений X,Y по всем сопутствующим факторам.

Для анализа данных могут применяться разные методы. Статистические методы анализа данных предназначены для их уплотнения, выявления взаимосвязей и структур.

Статистические методы – методы анализа статистических данных. По своей природе они делятся на количественные и категориальные.

Количественные (метрические ) данные являются непрерывными по своей структуре. Эти данные либо измерены с помощью интервальной шкалы (числовая шкала, количественно равные промежутки которой отображают равные промежутки между значениями измеряемых характеристик), либо с помощью шкалы отношений (кроме расстояния определен и порядок значений).

Категориальные (неметрические ) данные – это качественные данные с ограниченным числом уникальных значений и категорий. Существует два вида категориальных данных: номинальные – используется для нумерации объектов и порядковые – данные, для которых существует естественный порядок категорий.

Статистические методы делятся на одно- и многомерные. Одномерные методы используются тогда, когда все элементы выборки оцениваются единым измерителем либо если этих измерителей несколько для каждого элемента, но каждая переменная анализируется при этом отдельно ото всех остальных.

3.4.3.1. Одномерные статистические методы

Одномерные статистические методы (Univariate techniques ) – методы статистического анализа данных в случаях, если существует единый измеритель для оценки каждого элемента выборки либо если эти измерителей несколько, но каждая переменная анализируется отдельно от всех остальных .

Одномерные методы (рис. 3.9) можно классифицировать на основе того, какие данные анализируются: метрические или неметрические. Метрические данные (metric data ) измеряются по интервальной или относительной шкале. Неметрические данные (nonmetric data ) оцениваются по номинальной или порядковой шкале. Затем эти методы делят на классы на основе того, сколько выборок – одна, две или более – анализируется в ходе исследования. Стоит отметить, что число выборок определяется тем, как ведется работа с данными для конкретного анализа, а не тем, каким способом собирались данные.

Рис. 3.9.

Рассмотрим некоторые из перечисленных на рис. 3.9 одномерных статистических методов.

Однофакторный дисперсионный анализ

Задачей дисперсионного анализа является изучение влияния одного или нескольких факторов на рассматриваемый признак. Однофакторный дисперсионный анализ используется в тех случаях, когда есть в распоряжении три или более независимые выборки, полученные из одной генеральной совокупности путем изменения какого-либо независимого фактора, для которого по каким-либо причинам нет количественных измерений. Для этих выборок предполагают, что они имеют разные выборочные средние и одинаковые выборочные дисперсии. Поэтому необходимо ответить на вопрос, оказал ли этот фактор существенное влияние на разброс выборочных средних или разброс является следствием случайностей, вызванных небольшими объемами выборок. Другими словами, если выборки принадлежат одной и той же генеральной совокупности, то разброс данных между выборками (между группами) должен быть не больше, чем разброс данных внутри этих выборок (внутри групп).

Вариационный ряд

Вариация – это различие в значениях какого-либо признака у разных единиц данной совокупности в один и тот же период или момент времени. Например, работники фирмы различаются по доходам, затратам времени на работу, росту, весу, любимому занятию в свободное время и т.д. Она возникает в результате того, что индивидуальные значения признака складываются под совокупным влиянием разнообразных факторов (условий), которые по-разному сочетаются в каждом отдельном случае. Таким образом, величина каждого варианта объективна.

Вариационный ряд – это упорядоченное распределение единиц совокупности чаще всего по возрастающим (реже по убывающим) значениям признака и подсчет числа единиц с тем или иным значением признака. Существуют следующие формы вариационного ряда: ранжированный ряд – представляет собой перечень отдельных единиц совокупности в порядке возрастания (или убывания) изучаемого признака; дискретный вариационный ряд – таблица, состоящая из конкретных значений варьирующего признака х и числа единиц совокупности с данным значением f -признака частот; интервальный ряд – значения непрерывного признака задаются интервалами, которые характеризуются интервальной частотой т.

Вариационный анализ предназначен для проверки того, существенно ли влияет изменение независимых переменных на зависимые. Например, данный метод используется для ответов на следующие вопросы:

• влияет ли вид рекламы на объем продаж;
• влияет ли цвет рекламного объявления на количество людей, вспомнивших рекламу;
• влияет ли выбор сбытовой политики на величину продаж?

Статистическая проверка значимости результатов маркетинговых исследований .

В процессе анализа данных у исследователя регулярно возникает вопрос: достаточно ли значимы результаты исследования? Другими словами, может ли результат объясняться тем, что в выборку попали респонденты, которые нс представляют генеральную совокупность в целом? Для ответа на этот вопрос используют статистические гипотезы.

Гипотезы – это предположения или теории, которые исследователь выдвигает относительно некоторых характеристик генеральной совокупности, подлежащей обследованию. Пользуясь статистическими приемами, исследователь пытается установить, существует ли эмпирическое доказательство, подтверждающее выдвинутые гипотезы. Проверка статистических гипотез позволяет рассчитать вероятность наступления какого-либо события. Но в условиях отсутствия полной всесторонней информации (что естественно в случаях использования данных выборки) всегда есть некоторая вероятность и ошибочного заключения.

Выдвижение гипотезы (нулевой или альтернативной). Нулевая гипотеза (H 0), называемая также гипотезой status quo, представляет собой утверждение, в котором исследователь констатирует факт отсутствия каких-либо отличий либо влияний в исходных данных. Она предназначена для определения согласованности исходных данных с выдвинутым предположением. Исследователю необходимо сформулировать нулевую гипотезу так, чтобы отказ от нее приводил к желательному заключению. Например, предприятие рассматривает возможность разработки нового товара и выведения его на рынок. Для принятия положительного решения необходимо, чтобы объем продаж увеличился на 20%. Выдвинем следующее предположение: объем продаж увеличится менее чем на 20%. Это предположение и называется нулевой гипотезой и обозначается как Н 0: Р ≤ 0,20.

Альтернативная гипотеза (H a) предназначена для определения согласованности данных с нулевой гипотезой и опровергает ее. В нашем примере против нулевой гипотезы можно выдвинуть альтернативную гипотезу вида Н а: Р > 0,20.

Если данные проверки гипотезы приводят к отказу от нулевой гипотезы, то принимается альтернативная гипотеза, в соответствии с которой можно ожидать увеличения объема продаж на 20%.

Существует множество методов для проверки статистических гипотез, основные методы перечислены в табл. 3.10 и впоследствии описаны с примерами.

Таблица 3.10

Статистические критерии для проверки статистических гипотез

Область применения	Число подгрупп или выборочных совокупностей	Виды шкал	Критерий	Специальные требования
Гипотезы о частоте распределения		Номинальная		Случайная	Случайны или нет наблюдаемые различия в ответах респондентов
	Две и более	Номинальная		Случайная выборка, независимые выборки	Случайны или нет различия в численности мужчин и женщин, реагирующих на продвижение товара
		Порядковая		Случайная выборка, естественный порядок данных	Случайно или нет распределение женщин, отдающих предпочтение определенному цвету туши (от темного до светлого)
Гипотезы о средних величинах	Одна (большая выборка)	Метрическая (интервальная или относительная)	Z-Критерий для одной средней	Случайная выборка, п > 30	Случайно или нет наблюдаемое различие между выборочной оценкой средней и стандартной или ожидаемой величиной средней
	Одна (малая выборка)		t- Критерий для одной средней	Случайная выборка, n < 30	Случайно или нет наблюдаемое различие между выборочной оценкой средней и стандартной или ожидаемой величиной средней. Применяется для малой выборки
	Две (большие выборки)		Z-Критерий для двух средних	Случайная выборка, п > 30	Случайно или нет наблюдаемое различие между средними для двух подгрупп (средний доходу мужчин и женщин)
	Две (малые выборки)		ANOVA (анализ вариации)	Случайная	Случайна или нет вариация между средними для трех и более подгрупп (средняя величина расходов на развлечения для различных социальных групп)
Гипотезы о пропорциях	Одна (большая выборка)		Z- Критерий для одной пропорции	Случайная выборка, п > 30	Случайно или нет различие между выборочной оценкой пропорций и некоторой группой стандартных или ожидаемых оценок (процентом тех, кто собирается купить данный товар)
	Две (большие выборки)		Z- Критерий для двух пропорций		Случайно или нет наблюдаемое различие между оцениваемыми пропорциями для двух подгрупп (процентом мужчин и женщин, которые имеют высшее образование)

Перед тем как разобрать основные критерии для проверки статистических критериев, нужно установить правила принятия решений. Правила принятия решения необходимы для того, чтобы подтвердить или опровергнуть нулевую гипотезу. Эти правила в статистике называются "уровнями значимости" (а). Они являются показателями качества статистической проверки гипотез и характеризуют вероятность ошибочного заключения. А поскольку всякое решение, принимаемое на основе ограниченного ряда наблюдений, неизбежно сопровождается вероятностью ошибочного решения, важно определить, насколько велика эта вероятность. На практике часто пользуются следующими стандартными значениями а: 0,1; 0,05; 0,01; 0,005; 0,001. При фиксированном объеме выборки обычно задается величина а – вероятность ошибочного отвержения проверяемой гипотезы Н 0.

Критерии для проверки гипотез о средних величинах (Z-критерий и t -критерий). Одной из важных проблем в маркетинговых исследованиях является определение средней величины для генеральной совокупности на основе выборочных данных. Соответствующая статистическая проверка гипотезы о средней величине осуществляется с помощью Z-критерия, который используется в случае, если выборка достаточно большая (п > 30). Для малой выборки (п < 30) используется ί-критерий Стьюдента с (п – 1) степенями свободы (п – объем выборки). Для проверки гипотез о двух и более выборочных средних производится оценка различий между средними величинами.

t -Критерий для одной выборки

t -Критерий (t-test) – одномерный метод проверки гипотез, использующий ί-распределение. Применяется, если стандартное отклонение неизвестно и размер выборки мал.

t -Распределение (t-statistic ) – распределение Стьюдента, симметричное колоколоподобное распределение, используемое для проверки выборок небольшого размера. При большом количестве наблюдений стремится к нормальному распределению.

t -Критерий для одной выборки позволяет проверить гипотезу о равенстве выборочного среднего некоторому заданному числу.

В так называемых одновыборочных t -критериях наблюдаемое среднее X (вычисленное по реализации выборки) сравнивается с ожидаемым (или эталонным) средним выборки μ (т.е. с некоторым теоретическим средним):

Статистика критерия:

имеет t -распределение Стьюдента с (п – 1) степенью свободы.

Выборочное стандартное отклонение s оценивается по наблюдаемой реализации выборки:

Вычисленное значение t проверяют на предмет попадания в критическую область (критическое значение можно найти по таблицам). Если вычисленное значение t попадает в критическую область, то говорят, что H 0 отвергается на уровне а в пользу альтернативы.

Например, пусть установлены некоторые фиксированные показатели эффективности деятельности торговой компании: уровень рентабельности товарооборота – 20%. Таким образом, имея данные о рентабельности (скажем, по месяцам), мы можем применить одновыборочный f-критерий для проверки гипотезы о равенстве среднего уровня рентабельности заданному значению.

Отметим, что в данном случае необходимо применить односторонний критерий, так как нарушение эффективности коммерческой деятельности произойдет только в случае снижения показателя рентабельности относительно нормативного.

Пример . Случайным образом в городе были отобраны десять магазинов. Им был предложен для продажи в течение определенного промежутка времени новый безалкогольный напиток. Компания рассчитывала на продажу 100 бутылок нового напитка в день в каждом магазине. Только в этом случае ожидаемая прибыль оправдает расходы на продвижение нового товара (табл. 3.11).

Таблица 3.11

Фактические данные об объемах продаж магазинов

Номер магазина	Средний объем продаж магазина х i	Отклонение от продаж в день	Квадрат отклонения средней величины

1. Выдвигаем нулевую и альтернативную гипотезы:

H 0: М < 100 бутылок (М – средний объем продаж в магазине за неделю).

H 1 : М > 100 бутылок.

• 2. Установление допустимого уровня ошибки выборки (σ). Для σ = 0,05 и количеству степеней свободы 10-1=9 табличное (критическое) значение t= 2,2622.
• 3. Расчитываем стандартное отклонение:

4. Расчет стандартной ошибки:

5. Расчет t -критерия:

t -Критерий для двух независимых выборок

t -Критерий для двух независимых выборок (двухвыборочный f-критерий) проверяет гипотезу о равенстве средних в двух выборках (предполагается нормальность распределения переменных, а также равенство дисперсий выборок). Критерий применяется, например, если необходимо сравнить два региона по доходу на душу населения.

Алгоритм принятия решения об отклонении или не отклонении нулевой гипотезы аналогичен рассмотренному выше (одновыборочный t -критерий)

t -Критерий для двух зависимых выборок

t -Критерий для двух зависимых (парных) выборок применяется, например, для оценки эффективности работы предприятия в разные годы или после каких-то нововведений. Нулевая гипотеза также гласит об отсутствии различий (среднее значение разности наблюдений в двух группах равно нулю).

Алгоритм принятия решения об отклонении или не отклонении нулевой гипотезы аналогичен рассмотренному выше.

Z-Критерий для одной выборки

Для выводов относительно средней величины в генеральной совокупности на основе данных выборки можно использовать Z-критерий, если соблюдаются два условия:

• 1) распределение переменной в генеральной совокупности является нормальным;
• 2) объем выборки достаточно большой.

Z-Критерий основан на стандартном нормальном распределении и рассчитывается следующим образом:

где – выборочная средняя; X – генеральная средняя по Н 0; S x – стандартная ошибка оценки средней величины.

При этом средняя ошибка оценки равна

Стандартное отклонение где п – объем выборки.

Пример. Один из салонов красоты провел исследование по 500 клиентам, которым предложили сравнить обслуживание в данном салоне с другими, функционирующими в этом же городе. Респонденты могли выбрать следующие ответы

Средний балл, рассчитанный по данным ответов респондентов, оказался равен 3,5, со среднеквадратическим отклонением 1,5. Может ли менеджер быть уверен в том, что в генеральной совокупности средний балл обслуживания будет не ниже 3 (средний балл по используемой шкале)?

Н 0: М ≤ 3 (М – оценка по используемой шкале),

Н 0:М> 3.

• 2. Установление допустимого уровня ошибки выборки (σ). Для σ = 0,05 табличное значение Z-критерия равно 1,64.
• 3. Выборочное среднеквадратическое отклонение: у х = 1,5.
• 4. Расчет стандартной ошибки оценки генеральной средней

по формуле

5. Расчет Z-критерия:

6. Принятие решения о нулевой гипотезе: нулевая гипотеза может быть отвергнута, так как расчетная величина Ζ = 7,454 больше, чем критическая величина Ζ = 1,64. Менеджер может быть уверен в том, что средняя оценка обслуживания выше, чем 3.

Ζ-Критерий для двух независимых выборок

ЛПР часто бывают заинтересованы в проверке различий между группами покупателей. Если выборки сформированы случайным образом и данные одной выборки не оказывают влияния на значения другой, то такие выборки считают независимыми. В практическом маркетинге гипотезы о параметрах двух выборок используются для определения значимости различий между потребителями и теми, кто не употребляет (не использует) товар определенной торговой марки; или различий в потреблении между двумя группами людей (мужчин и женщин, городским и сельским населением, людьми с высокими и низкими доходами, холостыми и семейными, работающими и пенсионерами, жителями двух стран и др.).

Для проверки значимости различий используют Z-критерий:

где – разница между средними в первой и второй выборках; – разница между средними по нулевой гипотезе; – стандартная ошибка различий между двумя средними.

При этом стандартная ошибка рассчитывается исходя из среднеквадратических отклонений по отдельным группам:

Пример . Менеджер одного из магазинов самообслуживания был уверен, что мужчины чаще посещают магазин, чем женщины. Для иллюстрации проверки гипотез о двух средних величинах вернемся к данным о 215 посетителях магазина (табл. 3.12).

Таблица 3.12

Исходные данные для проверки различий между двумя независимыми выборками

1. Выдвижение нулевой и альтернативной гипотез:

H 0: Х т – X f ≤ 0, среднее число посещений магазина мужчинами (Х т) такое же или меньше, чем среднее число посещений магазина женщинами (X f). Другими словами, мужчины реже посещают этот магазин, чем женщины;

H 1: Х т – X f > 0, среднее число посещений магазина мужчинами выше, чем число посещений магазина женщинами.

2. Определение фактических различий в средних значениях показателей:

• 3. Выбор уровня ошибки выборки (а ). Предположим, что допустимый уровень ошибки выборки в данном случае равен 0,05. Табличное значение Z-критерия для уровня значимости 0,05 равно 1,6449.
• 4. Среднеквадратическое отклонение составит:
  • – для мужчин

– для женщин

5. Расчет стандартной ошибки различий между двумя средними величинами по формуле

6. Расчет статистики Z-критерия:

7. Формулирование выводов. Расчетное значение величины Z = 2,782 больше, чем критическое значение Z = 1,64. Нулевая гипотеза отвергается. Менеджер может сделать вывод с вероятностью 95% о том, что в среднем мужчины чаще посещают магазины самообслуживания, чем женщины.

Критерии согласия: -критерий для одной выборки

Для оценки случайности или существенности расхождений между частотами эмпирического и теоретического распределений используется ряд показателей, именуемых критериями согласия. Одним из основных и наиболее распространенных показателей является критерий, предложенный К. Пирсоном:

где – наблюдаемая частота в каждой категории; – ожидаемая частота.

К. Пирсоном найдено распределение величины и составлены таблицы, позволяющие определить предельное верхнее значение при заданном уровне значимости и числе степеней свободы, значение которого в общем случае равно количеству наблюдений за вычетом числа ограничений, необходимых для расчета статистической характеристики. Если фактическое значение меньше табличного, то расхождения между эмпирическими и теоретическими частотами считают случайными, а гипотезу о принятом законе распределения принимают.

Пример . Менеджеру магазина электронной техники необходимо проверить эффективность трех мероприятий, проводимых в магазине с целью привлечения покупателей. Он хотел бы оценить эффект каждого мероприятия по числу покупателей магазина по следующим данным.

Менеджер должен выяснить, существенны ли различия между числом посетителей магазина в различные периоды времени. На этот вопрос позволяет ответить критерий . Обратимся к последовательности проведения расчета в соответствии с рассмотренным ранее процессом проверки гипотез:

1) выдвигаются нулевая и альтернативная гипотезы:

Н 0: число посетителей магазина во время проведения трех мероприятий одинаковое,

H 1: существует значительная разница в численности посетителей магазина во время проводимых мероприятий;

2) определяется ожидаемое (теоретическое) число посетителей в случае, если нулевая гипотеза верна. Естественно предположить, что численность посетителей должна быть одинакова при условии отсутствия влияния других факторов.

Ожидаемое число посетителей можно определить по формуле

3) рассчитывается величина χ2:

Критерии согласия:-критерий для двух независимых выборок

Маркетинговым исследователям часто бывает необходимо определить, существует ли связь между двумя и более переменными. Чтобы сформулировать маркетинговую стратегию, необходимо найти ответ на вопросы: существуют ли различия в группировках мужчин и женщин на активных, умеренных и слабых потребителей или одинакова ли доля респондентов, покупающих и не покупающих данный товар, в группах с низким, средним и высоким доходом. В описанных ситуациях обычно используется -критерий для двух независимых выборок:

где – наблюдаемое число в каждой i -й строке j -ого столбца; – ожидаемое число в i -й строке j- ого столбца.

Пример. Менеджеру необходимо определить природу связи, если она есть, между полом покупателей и частотой посещения магазинов. Частота посещения магазинов изучалась в трех категориях:

• 1) 1–5 посещений в месяц – слабые потребители;
• 2) 6–14 посещений – умеренные потребители;
• 3) 15 и более раз – активные потребители.

Исходные данные приведены в табл. 3.12.

Среднее число посещений магазина мужчинами:

Среднее число посещений магазина женщинами:

Для проведения теста необходимо:

1) сформулировать нулевую и альтернативную гипотезы:

H 0: между полом и частотой посещения магазина связи нет;

H 1: связь между двумя переменными существенна;

2) определить ожидаемые частоты для каждой группы, попавшей в исследование, используя итоговые данные по соответствующим строкам и столбцам (табл. 3.13);

Таблица 3.13

Расчет ожидаемых (теоретических) частот

4) сравнить табличное значение с расчетным (теоретическим). Табличное значение (для уровня значимости 0,05 и степеней свободы) равно 5,991. Так как расчетное значение (= 13,35) больше, чем табличная величина,

нулевая гипотеза отвергается, и можно сделать вывод о том, что существуют различия между мужчинами и женщинами по частоте посещения магазина.

Критерий Колмогорова – Смирнова

Критерий Колмогорова – Смирнова предполагает определение эмпирических накопленных частостей (долей) и сравнение их с теоретическими частостями. Он используется в тех случаях, когда исходные данные упорядочены. Точка, в которой два распределения будут иметь максимальное расхождение (по модулю), может быть использована в качестве расчетного критерия, обозначаемого черези определяемого по формуле

где – накопленные частости (доли) эмпирического распределения; – накопленные частости теоретического распределения. Величина , рассчитанная по данным выборки, сравнивается с критическим значением :

где λ – критерий Колмогорова – Смирнова, соответствующий заданному уровню значимости α, и – размер выборки.

Различным значениям соответствуют различные значения вероятностей. Эти показатели табулированы. При уровне значимости а = 0,05 значение λ для большой выборки равно 1,36. Как и для показателя χ2, считается вполне допустимым рассматривать расхождения между эмпирическими и теоретическими частотами случайными, если фактическое значение D„ меньше критического значения Экрит.

Пример . Предположим, производителя красок интересует мнение потребителей о пяти новых оттенках цветов синей краски (табл. 3.14). Производителю важно знать, отдают ли потребители предпочтение какому-либо из цветов. В ходе обследования были опрошены 1000 респондентов.

Таблица 3.14

Результаты опроса респондентов относительно их предпочтений

Задача состоит в том, чтобы определить, случайно ли были отобраны цвета респондентами или приведенные данные характеризуют значительное предпочтение светлых цветов.

Тест Колмогорова – Смирнова включает следующие этапы:

1) определение нулевой и альтернативной гипотез:

Н 0: потребители не отдают предпочтение ни одному из оттенков;

Н 1: предпочтения потребителей существенны;

• 2) расчет теоретических накопленных частостей, соответствующих нулевой гипотезе. Нулевая гипотеза заключается в том, что не существует разницы в предпочтениях потребителей для различных оттенков нового цвета. Если это так, то доля лиц, отдающих предпочтение каждому из оттенков, должна быть равна 1/5 (или 0,2);
• 3) расчет эмпирических накопленных частостей по данным выборки.

В табл. 3.15 приведены необходимые для расчета критерия данные.

Таблица 3.15

Данные для расчета критерия Колмогорова – Смирнова

4) выбор уровня значимости α.

При уровне значимости критическое значение λ равно 1,36, следовательно, для большой выборки определяется по формуле

5) определение фактического значения D n, равного максимальному абсолютному отклонению между теоретическими и эмпирическими частостями.

Наибольшая абсолютная разность равна 0,24, которая и является величиной D n по критерию Колмогорова – Смирнова;

6) сравнение расчетного значения D n и критического значения . Принятие решения о нулевой гипотезе.

Так как расчетное значение превосходит критическое значение , нулевая гипотеза об отсутствии предпочтений отвергается: респонденты предпочитают светлые тона.

3.4.3.2. Многомерные статистические методы

Многомерные статистические методы прекрасно подходят для анализа данных, если для оценки данных каждого элемента выборки используются два или больше измерителей, а эти переменные анализируются одновременно. Многомерные методы отличаются от одномерных прежде всего тем, что при их использовании центр внимания смещается с уровня (средних показателей) и распределений (дисперсий) явлений и сосредоточиваются на степени взаимосвязи (корреляции или ковариации) между этими явлениями.

Многомерные статистические методы (multivariate techniques) – методы статистического анализа, применяемые для анализа данных, если для оценки каждого элемента выборки используются два или больше измерителя и эти переменные анализируются одновременно (рис. 3.10). Данные методы применяются для определения одновременных взаимосвязей между двумя или больше явлениями.

Рис. 3.10.

Кросс-табуляция (cross-tabulation ) – статистический метод, при котором одновременно характеризуются значения двух или более переменных. Кросс-табуляция заключается в создании таблиц сопряженности признаков, отражающих совместное распределение двух или более переменных с ограниченным количеством категорий или определенными значениями.

Дисперсионный анализ (variance analysis) – метод в математической статистике, направленный на поиск зависимостей в экспериментальных данных путем исследования значимости различий в средних значениях. В отличие от t-критерия позволяет сравнивать средние значения грех и более групп. Разработан Р. Фишером для анализа результатов экспериментальных исследований. В литературе также встречается обозначение ANOVA (ANalysis Of VAriance ).

Обобщенно задача дисперсионного анализа состоит в том, чтобы из общей вариативности признака выделить три частные вариативности:

• 1) вариативность, обусловленную действием каждой из исследуемых независимых переменных;
• 2) вариативность, обусловленную взаимодействием исследуемых независимых переменных;
• 3) вариативность случайную, обусловленную всеми неучтенными обстоятельствами.

Ковариационный анализ (analysis of covariance) – тесно связанный с дисперсионным анализом статистический метод, в котором зависимая переменная статистически корректируется на основе связанной с ней дополнительной информации, с тем чтобы устранить вносимую извне изменчивость и таким образом повысить эффективность анализа.

Дискриминантный анализ (discriminant analysis) – метод для анализа данных маркетинговых исследований в том случае, когда зависимая переменная категориальная, а предикторы (независимые переменные) интервальные. Цель дискриминантного анализа – это различение (дискриминация) объектов наблюдения на классы по заранее определенным признакам.

Регрессионный анализ (regression analysis) – статистический метод исследования влияния одной или нескольких независимых переменных х 1, х 2, ..., x p на зависимую переменную у. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные – критериальными. Цели регрессионного анализа:

• определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными);
• предсказание значения зависимой переменной с помощью независимой (независимых);
• определение вклада отдельных независимых переменных в вариацию зависимой.

Корреляционный анализ (correlation analysis) – статистический метод, выявляющий взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). Цель корреляционного анализа – обеспечить получение некоторой информации об одной переменной с помощью другой переменной.

Факторный анализ (factor analysis) – метод многомерной математической статистики, применяемый при исследовании статистически связанных признаков с целью выявления определенного числа скрытых от непосредственного наблюдения факторов. Цель факторного анализа – наблюдая большое число измеряемых переменных, выявить небольшое число латентных макропеременных-факторов, которые в основном определяют поведение измеряемых переменных.

Кластерный анализ (cluster analysis ) – многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы. Цель кластерного анализа – разбиение наблюдений, респондентов (строк матрицы данных) на относительно однородные кластеры, исходя из рассматриваемого набора переменных, таким образом, что в один кластер попадают схожие, близкие, а в разные – далекие друг от друга наблюдения.

Многомерное шкалирование (multidimensional scaling) – метод анализа данных, позволяющий располагать точки, соответствующие изучаемым объектам (шкалируемые объекты), в некотором (как правило, евклидовом) многомерном "признаковом" пространстве, так, чтобы попарные расстояния между точками в этом пространстве как можно меньше отличались от эмпирически измеренных попарных мер "близости" этих изучаемых объектов. Каждой оси этого пространства соответствует шкала, например интервальная. Критерий отличия этих двух величин называется функцией стресса. Если элементы матрицы близостей получены по интервальным шкалам, метод многомерного шкалирования называется метрическим. Когда аналогичные шкалы являются порядковыми, метод многомерного шкалирования называется неметрическим. Цель многомерного шкалирования – поиск и интерпретация "латентных (т.е. непосредственно не наблюдаемых) переменных", дающих возможность пользователю объяснить сходства между объектами, заданными точками в исходном пространстве признаков.

Выбор определенного метода анализа зависит, кроме характера и направлений связей с переменными и уровня шкалирования, от решаемой проблемы. В табл. 3.16 представлены рекомендации по выбору метода анализа для решения типичных задач маркетинга в компании.

Многомерный статистический анализ – это трудоемкий процесс, который фактически невозможно провести без статистических программных продуктов. Существует около тысячи распространяемых на мировом рынке пакетов, решающих в том или ином поле задачи статистического анализа данных. Большую часть статистических пакетов можно разбить на две группы – это статистические пакеты общего назначения (универсальные пакеты) и специализированные пакеты.

	Типичная постановка вопроса
Корреляционный и регрессионный анализ	Как изменится объем продаж, если расходы на рекламу сократятся на 10%? Какие характеристики товара интересны данной группе потребителей? Какие характеристики товара можно объединить в один фактор? Какова будет цепа на услугу в следующем году?
Дискриминационный анализ	Как разделить потребителей на группы внутри кластера? Какие характеристики работников службы маркетинга наиболее существенны для их деления на преуспевающих и неудачников? Можно ли определенного человека, учитывая его возраст, доход, образование, считать достаточно надежным для выдачи кредита?
Факторный анализ	Можно ли сократить множество характеристик, которые клиенты компании считают важным, до небольшого количества? Как можно описать различные компании с точки зрения этих факторов?
Кластерный анализ	Можно ли клиентов разделить на группы по их потребностям? Имеет ли компания различные типы клиентов? Имеет ли газета различные типы читателей? Как можно классифицировать клиентов по тому, какие виды вкладов их интересуют?
Многомерное шкалирование	Насколько продукт или компания соответствует "идеалу" клиента? Какой имидж имеет компания? Как изменилось отношение клиента к продукту" в течение ряда лет?

Универсальные пакеты – предлагают широкий диапазон статистических методов. В них отсутствует ориентация на конкретную предметную область. Они обладают дружественным интерфейсом. Из зарубежных универсатьных пакетов наиболее распространены В AS, SPSS, Systat, Minilab, Statgraphics, STATISTICA.

Специализированные пакеты – как правило, реализуют несколько статистических методов или методы, применяемые в конкретной предметной области. Чаще всего это системы, ориентированные на анализ временны́х рядов, корреляционно-регресионный, факторный или кластерный анализ. Применять такие пакеты целесообразно в тех случаях, когда требуется систематически решать задачи из этой области, для которой предназначен специализированный пакет, а возможностей пакетов общего назначения недостаточно. Из российских пакетов более известны STADIA, Олимп, Класс-Мастер, КВАЗАР, Статистик-Консультант; американские пакеты – ODA, WinSTAT, Static и т.д.

Стандартные статистические методы обработки данных включены в состав электронных таблиц, таких как Excel, Lotus 1-2-3, QuattroPro, и в математические пакеты общего назначения, например Mathcad.

1. Определение термина "статистика" и история ее возникновения

Статистика - это точная наука, изучающая методы сбора, анализа и обработки данных, которые описывают массовые действия, явления и процессы. Данные, изучаемые в статистике, затрагивают не отдельные объекты, а их совокупности. Главным методом сбора данных для статистики является полное обследование объектов, имеющих отношение к изучаемой проблеме.

Статистика - отрасль знаний, в которой излагаются общие вопросы сбора, измерения и анализа массовых статистических (количественных или качественных) данных.

Слово «статистика» происходит от латинского status - состояние дел. В науку термин «статистика» ввел немецкий ученый Готфрид Ахенваль в 1746 году, предложив заменить название курса «Государствоведение», преподававшегося в университетах Германии, на «Статистику», положив тем самым начало развитию статистики как науки и учебной дисциплины. Несмотря на это, статистический учет вёлся намного раньше: проводились переписи населения в Древнем Китае, осуществлялось сравнение военного потенциала государств, велся учет имущества граждан в Древнем Риме и т. п.

Статистика разрабатывает специальную методологию исследования и обработки материалов: массовые статистические наблюдения, метод группировок, средних величин, индексов, балансовый метод, метод графических изображений и другие методы анализа статистических данных.

Начало статистической практики относится примерно ко времени возникновения государства. Первой опубликованной статистической информацией можно считать глиняные таблички Шумерского царства (III - II тысячелетия до н. э.).

Вначале под статистикой понимали описание экономического и политического состояния государства или его части. Например, к 1792 г. относится определение: «статистика описывает состояние государства в настоящее время или в некоторый известный момент в прошлом». И в настоящее время деятельность государственных статистических служб вполне укладывается в это определение.

Постепенно термин «статистика» стал использоваться более широко. В XX веке статистику часто рассматривают прежде всего как самостоятельную научную дисциплину. Статистика есть совокупность методов и принципов, согласно которым проводится сбор, анализ, сравнение, представление и интерпретация числовых данных. В 1954 г. академик АН УССР Б. В. Гнеденко дал следующее определение: «Статистика состоит из трёх разделов:

Сбор статистических сведений, то есть сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;

Статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;

Разработка приёмов статистического наблюдения и анализа статистических данных. Последний раздел, собственно, и составляет содержание математической статистики».

Термин «статистика» употребляют ещё в двух смыслах. Во-первых, в обиходе под «статистикой» часто понимают набор количественных данных о каком-либо явлении или процессе. Во-вторых, статистикой называют функцию от результатов наблюдений, используемую для оценки характеристик и параметров распределений и проверки гипотез.

Типовые примеры раннего этапа применения статистических методов описаны в Библии, в Ветхом Завете. Там, в частности, приводится число воинов в различных племенах. С математической точки зрения дело сводилось к подсчёту числа попаданий значений наблюдаемых признаков в определённые градации.

Сразу после возникновения теории вероятностей (Паскаль, Ферма, XVII век) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от 0.5, анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т. д.

В 1794 г. (по другим данным - в 1795 г.) немецкий математик Карл Гаусс формализовал один из методов современной математической статистики - метод наименьших квадратов. В XIX веке заметный вклад в развитие практической статистики внёс бельгиец Кетле, на основе анализа большого числа реальных данных показавший устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей.

Первая треть ХХ века прошла под знаком параметрической статистики. Изучались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми семейства Пирсона. Наиболее популярным было нормальное распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.

Разработанную в первой трети ХХ века теорию анализа данных называют параметрической статистикой, поскольку её основной объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением и так далее.

В настоящее время термин статистика употребляется в 4 значениях:

Наука, изучающая количественную сторону массовых явлений и процессов в неразрывной связи с их качественным содержанием - учебный предмет в высших и средних специальных учебных заведений;

Совокупность цифровых сведений, характеризующих состояние массовых явлений и процессов общественной жизни; статистические данные, представляемые в отчетности предприятий, организаций, отраслей экономики, а также публикуемых в сборниках, справочниках, периодической печати и в сети Интернет, которые являются результатом статистической работы;

Отрасль практической деятельности («статистический учет») по сбору, обработке, анализу и публикации массовых цифровых данных о самых различных явлениях и процессах общественной жизни;

Некий параметр ряда случайных величин, получаемый по определенному алгоритму из результатов наблюдений, например, статистические критерии (критические статистики), применяющиеся при проверке различных гипотез (предположительных утверждений) относительно природы или значений отдельных показателей исследуемых данных, особенностей их распределения и пр.

2. Описание научных подходов и методов статистики

Как и любая другая наука, статистика имеет свой предмет и метод исследования. Статистика изучает количественную сторону массовых общественных явлений в неразрывной связи с их качественной стороной или содержанием, а также исследует количественное выражение закономерностей общественного развития в конкретных условиях места и времени. Такое изучение основывается на системе категорий (понятий), отражающих наиболее общие и существенные свойства, признаки, связи и отношения предметов и явлений объективного мира.

Статистическая совокупность - множество социально-экономических объектов или явлений общественной жизни, объединенных качественной основой, но отличающихся друг от друга отдельными признаками, т.е. однородных в одном отношении, но разнородных в другом. Таковы, например, совокупность домохозяйств, семей, предприятий, фирм и т.п.

Единица совокупности - первичный элемент статистической совокупности, являющийся носителем признаков и основой ведущегося при обследовании счета.

Признак единицы совокупности - свойства единицы совокупности, которые различаются способами их измерения и другими особенностями

Статистический показатель - понятие, отображающее количественные характеристики (размеры) или соотношения признаков общественных явлений. Статистические показатели можно подразделить на первичные (объемные) - характеризуют либо общее число единиц совокупности (объем совокупности), либо сумму значений какого-либо признака (объем признака) и выражаются абсолютными величинами и вторичные (расчетные) - задаются на единицу первичного показателя и выражаются относительными и средними величинами. Статистические показатели могут быть плановыми, отчетными и прогнозными.

Система статистических показателей - совокупность статистических показателей, отражающая взаимосвязи, которые объективно существуют между явлениями. Она охватывает все стороны общественной жизни как на макро-, так и на микроуровне. С изменением условий жизни общества меняются и системы статистических показателей, совершенствуется методология их расчета.

Совокупность приемов, пользуясь которыми статистика исследует свой предмет, составляет метод статистики. Можно выделить 3 группы статистических методов (3 этапа статистического исследования):

Cтатистическое наблюдение - научно организованный сбор сведений, заключающийся в регистрации тех или иных фактов, признаков, относящихся к каждой единице изучаемой совокупности;

Сводка и группировка - обработка собранных первичных данных, включающая их группировку, обобщение и оформление в таблицах;

Статистический анализ - на основе итоговых данных сводки рассчитываются различные обобщающие показатели в виде средних и относительных величин, выявляются определенные закономерности в распределениях, динамике показателей и т.п.

Таким образом, любое законченное статистическое исследование проходит в 3 этапа, между которыми, разумеется, могут быть перерывы во времени.

Статистические методы - методы анализа статистических данных. Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

Классификация статистических методов. Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.

Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):

а) разработка и исследование методов общего назначения, без учета специфики области применения;

б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;

в) применение статистических методов и моделей для статистического анализа конкретных данных.

Прикладная статистика - это наука о том, как обрабатывать данные произвольной природы. Математической основой прикладной статистики и статистических методов анализа является теория вероятностей и математическая статистика.

Описание вида данных и механизма их порождения - начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.

Статистические методы - научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово статистика (от игал. stato - государство) имеет общий корень со словом государство. Первоначально оно относилось к науке управления и означало сбор данных о некоторых параметрах жизнедеятельности государства. Со временем статистика стала охватывать сбор, обработку и анализ данных о массовых явлениях вообще; ныне статистические методы охватывают собою практически все области знаний и жизнедеятельности общества.

Статистические методы включают в себя и экспериментальное, и теоретическое начала. Статистика исходит, прежде всего, из опыта; недаром ее зачастую определяют как науку об общих способах обработки результатов эксперимента. Обработка массовых опытных данных представляет самостоятельную задачу. Иногда простая регистрация некоторых рядов наблюдений приводит к тому или иному значимому выводу. Так, если в некоторой стране из года в год растет объем валового внутреннего продукта, то это говорит об ее устойчивом развитии. Однако в большинстве случаев для обработки опытного статистического материала используются математические модели исследуемого явления, основу которых составляют идеи и методы теории вероятностей.

Теория вероятностей есть наука о массовых случайных явлениях. Массовость означает, что исследуются огромные количества однородных явлений (объектов, процессов). Случайность же означает, что значение рассматриваемого параметра отдельного явления (объекта) в своей основе не зависит и не определяется значениями этого параметра у других явлений, входящих в ту же совокупность. Основной характеристикой массового случайного явления является распределение вероятностей. Теорию вероятностей можно определить как науку о вероятностных распределениях их свойствах, видах, законах взаимосвязей, распределении величин, характеризующих исследуемый объект, и законах изменения распределений во времени. Так, говорят о распределении молекул газа по скоростям, о распределениях доходов граждан в некотором обществе и т. д.

Эмпирически задаваемые распределения соотносятся с т. н. генеральной совокупностью, т. е. с наиболее полным теоретическим описанием распределений соответствующих массовых явлений. При этом во.многих случаях бывает нецелесообразно перебирать все элементы рассматриваемых совокупностей либо в силу чрезвычайно большого их числа, либо в силу того, что при наличии некоторого числа перебранных элементов учет новых не внесет существенных изменений в общие результаты. Для этих случаев разработан специальный выборочный метод исследования общих свойств статистических систем на основе изучения лишь части соответствующих элементов, взятых на выборку. Так, при оценке политических симпатий граждан некоторого региона или страны перед предстоящими выборами невозможно проводить сплошной опрос граждан. В этих случаях и прибегают к выборочному методу Чтобы выборочное распределение достаточно надежно характеризовало исследуемую систему, оно должно удовлетворять специальным условиям репрезентативности. Репрезентативность требует случайного выбора элементов и учета макроструктуры всего массового явления.

Распределения представляют наиболее общую характеристику массовых случайных явлений. Задание исходного распределения нередко предполагает построение математической модели соответствующих областей действительности. Построение и анализ таких моделей и составляет основную направленность статистических методов. Построенная математическая модель, в свою очередь, указывает, какие переменные следует измерять и какие из них имеют основное значение. Но главное в построении математической модели состоит в объяснении исследуемых явлений и процессов. Если модель достаточно полна, то она описывает зависимости между основными параметрами этих явлений.

Статистические методы в естествознании породили многие научные теории, привели к разработке важнейших фундаментальных направлений исследования - классической статистической физики, генетики, квантовой теории, теории цепных химических реакций и др. Следует, однако, отметить, что во многих случаях исходные вероятностные распределения задаются не путем непосредственной обработки массового материала. Вероятностная гипотеза чаще всего вводится гипотетически, косвенно, на основе теоретических предпосылок. Так, в учение о газах предположение о существовании вероятностных распределений было введено как гипотеза, на основе допущений о молекулярном беспорядке. Возможность подобного задания вероятностных распределений и проверки их справедливости обусловлена характером и природой самих распределений, математическое выражение которых обладает самостоятельными характеристиками, достаточно независимыми от конкретных значений элементов.

Особые сложности возникают при применении статистических методов в изучении социальных явлений. Анализ общих направлений социальных процессов и внутренних механизмов, вызывающих конкретные статистические результаты, необычайно трудоемок. Так, благосостояние людей характеризуется весьма многими параметрами и соответствующими распределениями - уровнем доходов, участием в общественно-полезном труде, уровнем образования и здравоохранения и др. показателями жизнедеятельности человека. Выявление взаимосвязи этих распределений и тенденций их изменения требует решения многих сложных задач. Состояние общества можно определить через такие параметры, как внутренний валовый продукт, потребление энергии на душу населения, расслоение общества по доходам и т. п. Вместе с тем общество представляет собой необычайно сложную систему, а познание сложных систем основывается на разработке многих моделей, выражающих различные аспекты их структуры и функционирования. Соответственно, для более полной характеристики состояния общества требуется оперировать весьма многими параметрами и их распределениями. Так, говорят об экономической, производственной, сельскохозяйственной, социальной и многих других статистиках. Для объединения данных этих статистик в единую целостную картину необходимо выявление субординации, иерархии параметров, характеризующих состояние общества.

3. Взаимосвязь статистики с другими науками

Статистика является мультидисциплиной, так как она использует методы и принципы, заимствованные из других дисциплин. Так, в качестве теоретической базы для формирования статистической науки служат знания в области социологии и экономической теории. В рамках этих дисциплин происходит изучение законов общественных явлений. Статистика помогает произвести оценку масштаба того или иного явления, а также разработать систему методов для анализа и изучения. Статистика, несомненно, связана с математикой, так как для выявления закономерностей, оценки и анализа объекта исследования требуется ряд математических операций, методов и законов, а систематизация результатов находит отражения в виде графиков и таблиц.

4. Виды статистических исследований

Наблюдение как начальный этап исследования связано со сбором исходных данных об изучаемом вопросе. Оно свойственно многим наукам. Однако каждая наука имеет свою специфику, отличаясь по своим наблюдениям. Поэтому не всякое наблюдение - статистическое.

Статистическое исследование - это научно организованный по единой программе сбор, сводка и анализ данных (фактов) о социально-экономических, демографических и других явлениях и процессах общественной жизни в государстве с регистрацией их наиболее существенных признаков в учетной документации.

Отличительными чертами (спецификой) статистического исследования являются: целенаправленность, организованность, массовость, системность (комплексность), сопоставимость, документированность, контролируемость, практичность.

В целом статистическое исследование должно:

Иметь общественно-полезную цель и всеобщую (государственную) значимость;

Относиться к предмету статистики в конкретных условиях его места и времени;

Выражать статистический вид учета (а не бухгалтерский и не оперативный);

Проводиться по заранее разработанной программе с ее научно обоснованным методологическим и другим обеспечением;

Осуществлять сбор массовых данных (фактов), в которых отражается вся совокупность причинно-следственных и других факторов, разносторонне характеризующих явление;

Регистрироваться в виде учетных документов установленного образца;

Гарантировать отсутствие ошибок наблюдения или же сводить их к возможному минимуму;

Предусматривать определенные критерии качества и способы контроля собранных данных, обеспечивая их достоверность, полноту и содержательность;

Ориентироваться на экономически эффективную технологию сбора и обработки данных;

Быть надежной информационной базой для всех последующих этапов статистического исследования и всех пользователей статистической информацией.

Исследования, не удовлетворяющие этим требованиям, статистическими не являются. Не являются статистическими исследования, например, наблюдения и исследования: матери за играющим ребенком (личный вопрос); зрителей за театральной постановкой (нет учетной документации по зрелищу); научного работника за физико-химическими опытами с их измерениями, расчетами и документальной регистрацией (не массово-общественные данные); врача за больными с ведением медицинских карточек (оперативный учет); бухгалтера за движением денежных средств на банковском счете предприятия (бухгалтерский учет); журналистов за общественной и личной жизнедеятельностью государственных лиц или иных знаменитостей (не предмет статистики).

Статистическая совокупность - множество единиц, обладающих массовостью, типичностью, качественной однородностью и наличием вариации.

Статистическая совокупность состоит из материально существующих объектов (Работники, предприятия, страны, регионы), является объектом статистического исследования.

Статистическое наблюдение является первой стадией статистического исследования, представляющий собой научно организованный сбор данных об изучаемых явлениях и процессах общественной жизни.

5. Предназначение выборочного метода

Множество всех единиц совокупности, обладающих определенным признаком и подлежащих изучению, носит в статистике название генеральной совокупности.

На практике по тем или иным причинам не всегда возможно или же нецелесообразно рассматривать всю генеральную совокупность. Тогда ограничиваются изучением лишь некоторой части ее, конечной целью которого является распространение полученных результатов на всю генеральную совокупность, т. е. применяют выборочный метод.

Для этого из генеральной совокупности особым образом отбирается часть элементов, так называемая выборка, и результаты обработки выборочных данных (например, средние арифметические значения) обобщаются на всю совокупность.

Теоретической основой выборочного метода является закон больших чисел. В силу этого закона при ограниченном рассеивании признака в генеральной совокупности и достаточно большой выборке с вероятностью, близкой к полной достоверности, выборочная средняя может быть сколь угодно близка к генеральной средней. Закон этот, включающий в себя группу теорем, доказан строго математически. Таким образом, средняя арифметическая, рассчитанная по выборке, может с достаточным основанием рассматриваться как показатель, характеризующий генеральную совокупность в целом.

Разумеется, не всякая выборка может быть основой для характеристики всей совокупности, к которой она принадлежит. Таким свойством обладают лишь репрезентативные (представительные) выборки, т. е. выборки, которые правильно отражают свойства генеральной совокупности. Существуют способы, позволяющие гарантировать достаточную репрезентативность выборки. Как доказано в ряде теорем математической статистики, таким способом при условии достаточно большой выборки является метод случайного отбора элементов генеральной совокупности, такого отбора, когда каждый элемент генеральной совокупности имеет равный с другими элементами шанс попасть в выборку. Выборки, полученные таким способом, называются случайными выборками. Случайность выборки является, таким образом, существенным условием применения выборочного метода.

Области применения выборочного метода в исторических исследованиях. Сфера приложения этого метода в изучении истории обширна. Во-первых, историки могут применять выборочный метод при проведении всякого рода обследований с целью изучения различных явлений и процессов современности. Правда, сейчас такими исследованиями больше занимаются социологи, чем историки, хотя именно историки могут проводить конкретно-социологические обследования, опираясь на исторические данные, и добиваться наибольшего эффекта таких исследований.

Во-вторых, историки нередко имеют дело с сохранившимися данными ранее проведенных собственно выборочных обследований. Такие обследования стали все более широко применяться с конца XIX в. Так, при проведении ряда сплошных обследований и переписей выборочно собирались и собираются сведения по более широкой программе. Многие данные собирались только выборочно. Наиболее интересными среди них для историков являются описания разного рода хозяйственных комплексов (крестьянских хозяйств, промышленных предприятий, колхозов, совхозов и т. д.), а также бюджетные и другого рода обследования различных слоев населения.

В-третьих, в распоряжении историков имеется значительное число разнообразных первичных сплошных массовых данных, полная обработка которых весьма затруднительна даже при применении современной вычислительной техники. При изучении их может быть применен выборочный метод. Такие материалы имеются по всем периодам истории, но особенно много их по истории XIX-XX вв.

Наконец, историкам очень часто приходится иметь дело с частичными данными, так называемыми естественными выборками. При обработке этих данных также может быть применен выборочный метод. Характер естественных выборок бывает различным. Прежде всего они могут представлять собой сохранившийся остаток некогда существовавшей более или менее полной совокупности данных. Так, многие актовые материалы, документы текущего делопроизводства и отчетности представляют остатки в прошлом обширных и систематических массивов данных. Далее, при систематическом сборе тех или иных сведений отдельные показатели могли учитываться лишь частично (именно частично, а не выборочно). Так, при составлении «Экономических примечаний» к Генеральному межеванию второй половины XVIII в., которое охватило большую часть территории страны, ряд показателей (количество населения, площадь земельных угодий и др.) учитывался повсеместно, а некоторые важные данные (о величине барских запашек, размерах оброка) были собраны в силу целого ряда причин лишь частично. Многие сведения вообще собирались только частично. Это, прежде всего, относится к тем из них, которые не являлись нормативными и сбором которых занимались различные местные органы, научные и общественные организации и отдельные лица.

Итак, области выборочного метода в исторических исследованиях весьма обширны, а задачи, которые следует при этом решать, различны.

Так, при организации выборочного обследования и формировании выборки из имеющихся сплошных данных исследователь располагает определенной свободой маневра для обеспечения репрезентативности выборок. При этом он может опираться на хорошо разработанную в математической статистике теорию, методику и технику получения таких выборок.

При оперировании же данными ранее проведенных выборочных обследований следует проверить, в какой мере они были выполнены в соответствии с требованиями, предъявляемыми к выборочному методу. Для этого надо знать, как было проведено это обследование. Чаще всего это вполне можно сделать.

И совсем иное дело - естественные выборки данных, с которыми очень часто имеет дело историк. Прежде всего необходимо доказать их репрезентативность. Без этого экстраполяция показателей выборок на всю изучаемую совокупность будет необоснованной. Поскольку пока еще нет достаточно надежных методов математической проверки репрезентативности естественных выборок, то решающую роль здесь играет выяснение истории их возникновения и содержательный анализ имеющихся данных.

6. Предназначение корреляционно-регрессионного анализа

сезонный регрессионный статистический выборочный

Экономические данные почти всегда представлены в виде таблиц. Числовые данные, содержащиеся в таблицах, обычно имеют между собой явные (известные) или неявные (скрытые) связи.

Явно связанные показатели получены методами прямого счета, т. е. вычислены по заранее известным формулам. Например, вычисляются проценты выполнения плана, темпы роста, индексы и т. д.

Связи же второго типа заранее неизвестны. Однако люди должны уметь объяснять и предсказывать (прогнозировать) сложные явления для того, чтобы управлять ими. Поэтому специалисты с помощью наблюдений стремятся выявить скрытые зависимости и выразить их в виде формул, т. е. математически смоделировать явления или процессы. Одну из таких возможностей предоставляет корреляционно-регрессионный анализ.

Обратим внимание на то, что специалисты строят и используют математические модели для трех обобщенных целей - объяснения, предсказания и управления.

Представление экономических и других данных в электронных таблицах в наши дни стало простым и естественным. Оснащение же электронных таблиц средствами корреляционно-регрессионного анализа способствует тому, что из группы сложных, глубоко научных и потому редко используемых, почти экзотических методов, корреляционно-регрессионный анализ превращается для специалиста в повседневный, эффективный и оперативный аналитический инструмент.

Пользуясь методами корреляционно-регрессионного анализа, аналитики измеряют тесноту связей показателей с помощью коэффициента корреляции. При этом обнаруживаются связи, различные по силе (сильные, слабые, умеренные и др.) и различные по направлению (прямые, обратные). Если связи окажутся существенными, то целесообразно будет найти их математическое выражение в виде регрессионной модели и оценить статистическую значимость модели. В экономике значимое уравнение регрессии используется, как правило, для прогнозирования изучаемого явления или показателя.

Поэтому регрессионный анализ называют основным методом современной математической статистики для выявления неявных и завуалированных связей между данными наблюдений. Электронные же таблицы делают такой анализ легко доступным.

7. Предназначение и методика проведения анализа сезонных колебаний

При анализе многих рядов динамики можно заметить определённую повторяемость (цикличность, закономерность в колебаниях), изменениях их уровней. Например, в большинстве отраслей экономики это проявляется в виде внутритрудовых чередований, подъёмов и спадов выпуска продукции, неодинаковым потреблением сырья и энергии, колебания уровней себестоимости, прибыли и других показателей. Ярко выраженный сезонный характер имеет сельское хозяйство, рыболовство, лесозаготовка, охота, туризм и так далее. Значительной колеблемости во внутренней динамике подвержены денежные обращения и товарооборот. Наибольшие денежные доходы образуются у населения в III и IV кварталах, особенно у селян. Максимальный объём товарооборота (различного) приходится на конец каждого года. Продажа молочных продуктов увеличивается обычно во II и III кварталах, а фруктов и овощей - во втором полугодии. Потребление пищи связано со временем суток, днями недели, временами года. Также закономерности в изменении уровней ряда динамики принято называть сезонными колебаниями.

Под сезонными колебаниями понимается более или менее устойчивые внутригодовые колебания уровней динамического рода, обусловленные спецификами развития данного явления.

Цель изучения сезонных колебаний состоит как в разработке мер его ликвидации или смягчению сезонных колебаний (нередко этим и ограничивается статистическое исследование), так и для оптимального исследования условий, благоприятствующих развитию массовых явлений и процессов.

При статистическом исследовании в рядах динамики сезонных колебаний решаются следующие две взаимосвязанные задачи: 1) выявление специфики развития изучаемого явления во внутренне годовой динамике; 2) измерение сезонных колебаний изучаемого явления с построением модели сезонной волны.

Особое внимание отражается на обеспечение сопоставимости уровней ряда. При наличии в исходном материале разновесных по продолжительности периодов времени объёмные величины пересчитываются в средние величины, характеризующие интенсивность развития изучаемого явления в единицу времени.

Для выявления сезонных колебаний обычно берутся данные за несколько последних лет, распределённые по определённым внутригодовым периодам.

Для измерения сезонных колебаний исчисляются специальные статистические показатели, которые называются индексами сезонности (Is) и совокупность которых отражает сезонную волну.

Для вычисления индексов сезонности применяются различные методы.

В общем виде индексы сезонности определяются отношением исходных (фактических) уровней первоначального ряда (y) к расчётным (теоретическим) уровням, выступающим в качестве базы сравнения.

Тем самым ликвидируется (устраняется) влияние основной тенденции (тренда). Затем усреднением индивидуальных индексов сезонных одноимённых внутригодовых периодов анализируемого ряда динамики устраняется влияние на сезонные колебания случайных отклонений. Поэтому для каждого периода сумма определяется обобщением показателей в виде средних индексов сезонности

В зависимости от характера тренда последняя формула может быть записана по разному:

Например, коэффициенты месячной непрерывности определяются в этом случае как отношения уровня каждого месяца к среднемесячному за год. Для большей надёжности индексы сезонности обычно рассчитываются по данным за 3-5 лет. При этом для каждого месяца рассчитывается средняя величина уровня за эти 3-5 дет, которая сопоставляется с общим ежемесячным уровнем за 3-5 лет. Можно, таким образом, сначала для каждого из этих 3-5 лет рассчитать ежемесячный индекс сезонности, из которых рассчитывается затем средний индекс сезонности для каждого месяца. Результаты будут совпадать.

Поэтому для всех фактических уровней анализируемого ряда динамики общий средний уровень является постоянной величиной, то этот подход называется способом постоянной средней. В этом случае сначала выполняется предварительное аналитическое выравнивание фактических уровней и после этого исчисляется сезонная величина, но не от постоянной средней (как в предыдущем случае), а от выровненных данных.

Измерение сезонных колебаний на базе переменных уровней тренда (расчётных уровней ряда) в статистике получило название способы переменной средней. Есть и другие, более сложные методы расчета индексов сезонности. Например, если все колебания членов первоначального ряда объясняются только (или в основном) сезонными причинами, то уравнение тренда выражает только сезонные колебания. Следовательно, изучение сезонного колебания сводится к проблеме выбора адекватной математической функции. Однако наилучшее с точки зрения отражения сезонных колебаний нагрузки уравнения выбирают по минимуму среднего квадратичного индексов сезонности 100 %.

Список литературы

1.Гусаров В.М. Теория статистики: М.: «Аудит», издательское объединение «ЮНИТИ», 2010.

2.Лапунина Л., Четверина Т. Напряженность на Российском рынке и механизмы ее преодоления: Вопросы экономики, N 2, 2008.

.Общая теория статистики: статистическая методология в изучении коммерческой деятельности, Учебник / под редакцией А.А. Спирина, О.Э. Башиной: М.: «Финансы и статистика», 2009.

.Сабирьянова К. Микроэкономический анализ динамических изменений на Российском рынке труда. Вопросы экономики, N 1, 2012.

.Социальная статистика: Учебник/ Под ред. чл.-кор. РАН И.И. Елисеевой.- 3-е изд., перераб. и доп.- М.: Финансы и статистика, 2011.- 480 с.

Репетиторство

Нужна помощь по изучению какой-либы темы?

Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.

Под методами статистического анализа понимаются приемы прикладной математики, которые используются для повышения объективности и достоверности получаемых данных, для обработки экспериментальных результатов. В дифференциальной психологии наиболее часто применяются три таких метода – дисперсионный, корреляционный и факторный анализ .

1. Дисперсионный анализ позволяет определить меру индивидуального варьирования показателей (так как, известно, что при одинаковых средних показателях размах распределения может существенно отличаться). Для некоторых исследовательских и практических задач именно дисперсия дает основную информацию. Например, представим себе, что средний балл, полученный школьниками за контрольную работу по алгебре, составляет «4» и для мальчиков, и для девочек. Но у мальчиков присутствуют и тройки, и пятерки, а все девочки активно списывали друг у друга и в результате получили по четверке. Понятно, что итог одинаков в каждой группе, а психолого-педагогический смысл, стоящий за средним баллом, совершенно различен.

2. Корреляционный анализ удостоверяет наличие связи, зависимости между изучаемыми переменными. При этом подтверждается одновременность проявления этих признаков, но не их причинная обусловленность. Если две какие-либо характеристики, полученные для одного и того же объекта, имеют тенденцию изменяться совместно, так что имеется возможность предсказать одну из них по значению другой, то говорят, что эти характеристики коррелируют друг с другом. Например, отмечается, что удовлетворенность браком у супругов отрицательно коррелирует с тревожностью. Это значит, что чем больше они довольны семейной жизнью, тем спокойнее себя ощущают. Однако на основании этого факта мы не можем узнать, спокойны ли они по той причине, что дома все в порядке, или довольны совместной жизнью потому, что обладают низкой тревожностью и общим позитивным отношением к жизни.

Математически наличие зависимости между признаками выражается в показателе коэффициента корреляции: два одинаковых признака связаны между собой коэффициентом «1»; два различных – коэффициентом «0». Степень связанности характеристик лежит в диапазоне от 0,01 до 0,99. Близкие к нулю корреляции не могут подтверждать наличие зависимости между переменными. Соотношение может быть как позитивным (+1), так и негативным (-1). Отрицательный коэффициент корреляции означает, что при увеличении значения одного признака, значение другого признака уменьшается. Коэффициент корреляции был предложен Карлом Спирменом для измерения соотношения между двумя интеллектуальными показателями (1901). Сходное открытие сделал и один из учеников Ф. Гальтона Карл Пирсон .

3. Факторный анализ – это группа методов, предназначенных для определения свойств, которые нельзя наблюдать и измерять непосредственно. Идея факторного анализа принадлежит К. Спирмену, который предложил выявлять общие закономерности на основе анализа матрицы коэффициентов корреляции. В том случае, если по результатам подсчета коэффициентов корреляции будут прослеживаться особо плотные связи между несколькими показателями (корреляционные плеяды), можно предположить, что за ними стоит общий фактор – переменная более высокого уровня обобщения.

При использовании такого способа структурирования и обобщения психологической информации появляется возможность получить компактное описание объекта измерения, выделить наиболее существенные и независимые друг от друга характеристики. Данная возможность позволяет использовать факторный анализ для решения следующих психодиагностических задач:

- «концептуальная чистка» (уточнение психологического содержания изучаемых феноменов);

Конструирование тестов;

Проверка психометрических свойств опросников (особенно в тех случаях, когда опросники применяются в новых культурах или популяциях).

В дифференциальной психологии методы факторного анализа широко используется при изучении структуры индивидуальности, а также ее отдельных составляющих, таких, например, как темперамент, интеллект и личность. Выявленные факторы рассматриваются в качестве устойчивых и относительно независимых свойств, характеризующих изучаемую структуру.

При этом принимаются во внимания разные уровни обобщения информации, в соответствии с которыми выделяют три типа факторов:

Общие факторы, объединяющие в себе все измерения данного свойства, например общий фактор интеллекта или общий фактор активности;

Групповые факторы, включающие в себя не все, но значительное число измерений данного свойства;

Специфические или уникальные факторы, относящиеся лишь к одному типу измерений .

В качестве ограничений факторного анализа стоит отметить относительную субъективность его методов. Результаты факторизации зависят от природы и количества переменных, подвергающихся анализу. Решение о выборе формы факторного анализа и тех переменных, которые должны быть включены в исходную матрицу, принимается, исходя из этих параметров, а также из теоретических позиций каждого исследователя. В итоге создаются модели индивидуальности, отличающиеся не только по количеству выделенных факторов, но и по характеру связей, обнаруженных между ними.

Как отмечает польский исследователь Ян Стреляу, использование этого метода имеет существенные изъяны. У разных авторов количество и качество выделяемых факторов разное, хотя исходный материал, образующий основу для выделения факторов остается неизменным. Как правило, исследователи расходятся уже в исходном пункте – выборе данных, подлежащих факторному анализу. Это приводит к тому, что содержание выделенных структур индивидуальности существенно отличается друг от друга. Изъян заложен в самом методе, который является произвольным и зависит от интуиции и настойчивости исследователя .

Для того чтобы грамотно использовать методы статистического анализа, необходимо быть уверенным в нормальности распределения изучаемого качества.

Нормальное распределение появилось благодаря исследованиям интеллекта. Ф. Гальтон был первым, кто обнаружил, что различия в интеллекте могут быть измерены количественно через установление степени выраженности этих характеристик у разных людей. Он предположил, что эти различия нормально распределены в популяции, т.е. небольшие группы людей обладают высоким (14%) или низким (14%) уровнем интеллекта, а большая часть выборки (68%) занимает положение в середине (1869). На крайние проявления приходится 4% (по 2% на каждый полюс).

В графическом изображении нормальное распределение имеет форму купола: отдельные значения переменной располагаются симметрично относительно центра. При этом центральное значение совпадает с медианой– точкой, выше которой находится ровно половина переменных, и ниже – также ровно половина.

Наряду с нормальным распределением часто встречаются асимметричные распределения и бимодальные. Тем не менее, даже при условии нормального распределения существует вероятность того, что полученные результаты окажутся случайными. Эта вероятность называется «уровнем значимости». Например, несмотря на высокие значения, коэффициент корреляции может иметь разный уровень значимости – вплоть до «нулевого». Уровень значимости зависит от объема выборки и разброса значений.

Аналогичным образом различные или сходные на вид показатели не всегда являются статистическими значимыми. Существуют разные способы выявления значимости различий. Их выбор зависит от характера распределения экспериментальных данных, зависимости или независимости переменных, а также от степени необходимой точности, которая определяется задачами исследования.

статистика» биостатистикой» .

1. номинальную;
2. ординальную;
3. интервальную;

выборки

репрезентативной

выборочной рамки простой случайной выборкой интервальная выборка

стратифицированной выборки

кластерная и квотная выборки

нулевой гипотезы

альтернативной гипотезы мощности

доверительной вероятности».

Название: Основы статистического анализа данных
Детальное описание:

После завершения любого научного исследования, фундаментального или экспериментального, производится статистический анализ полученных данных. Чтобы статистический анализ был успешно проведен и позволил решить поставленные задачи, исследование должно быть грамотно спланировано. Следовательно, без понимания основ статистики невозможно планирование и обработка результатов научного эксперимента. Тем не менее, медицинское образование не дает не только знания статистики, но даже основ высшей математики. Поэтому очень часто можно столкнуться с мнением, что вопросами статобработки в биомедицинских исследованиях должен заниматься только специалист по статистике, а врачу-исследователю следует сосредоточиться на медицинских вопросах своей научной работы. Подобное разделение труда, подразумевающее помощь в анализе данных, вполне оправдано. Однако понимание принципов статистики необходимо хотя бы для того, чтобы избежать некорректной постановки задачи перед специалистом, общение с которым до начала исследования является в такой же степени важным, как и на этапе обработки данных.

Прежде чем говорить об основах статистического анализа, следует прояснить смысл термина «статистика» . Существует множество определений, но наиболее полным и лаконичным является, на наш взгляд, определение статистики как «науки о сборе, представлении и анализе данных». В свою очередь, использование статистики в приложении к живому миру называют «биометрией» или «биостатистикой» .

Следует заметить, что очень часто статистику сводят только к обработке экспериментальных данных, не обращая внимания на этап их получения. Однако статистические знания необходимы уже во время планирования эксперимента, чтобы полученные в ходе него показатели могли дать исследователю достоверную информацию. Поэтому, можно сказать, что статистический анализ результатов эксперимента начинается еще до начала исследования.

Уже на этапе разработки плана исследователь должен четко представлять себе, какого типа переменные будут в его работе. Все переменные можно разделить на два класса: качественные и количественные. То, какой диапазон может принимать переменная, зависит от шкалы измерений. Можно выделить четыре основных шкалы:

1. номинальную;
2. ординальную;
3. интервальную;
4. рациональную (шкалу отношений).

В номинальной шкале (шкале «названий») присутствуют лишь условные обозначения для описания некоторых классов объектов, например, «пол» или «профессия пациента». Номинальная шкала подразумевает, что переменная будет принимать значения, количественные взаимоотношения между которыми определить невозможно. Так, невозможно установить математические отношения между мужским и женским полом. Условные числовые обозначения (женщины - 0, мужчины - 1, либо наоборот) даются абсолютно произвольно и предназначены только для компьютерной обработки. Номинальная шкала является качественной в чистом виде, отдельные категории в этой шкале выражают частотами (количество или доля наблюдений, проценты).

Ординальная (порядковая) шкала предусматривает, что отдельные категории в ней могут выстраиваться по возрастанию или убыванию. В медицинской статистике классическим примером порядковой шкалы является градация степеней тяжести заболевания. В данном случае мы можем выстроить тяжесть по возрастанию, но все еще не имеем возможности задать количественные взаимоотношения, т. е. дистанция между значениями, измеренными в ординальной шкале, неизвестна или не имеет значения. Установить порядок следования значений переменной «степень тяжести» легко, но при этом невозможно определить, во сколько раз тяжелое состояние отличается от состояния средней тяжести.

Ординальная шкала относится к полуколичественным типам данных, и ее градации можно описывать как частотами (как в качественной шкале), так и мерами центральных значений, на чем мы остановимся ниже.

Интервальная и рациональная шкалы относятся к чисто количественным типам данных. В интервальной шкале мы уже можем определить, насколько одно значение переменной отличается от другого. Так, повышение температуры тела на 1 градус Цельсия всегда означает увеличение выделяемой теплоты на фиксированное количество единиц. Однако в интервальной шкале есть и положительные и отрицательные величины (нет абсолютного нуля). В связи с этим невозможно сказать, что 20 градусов Цельсия - это в два раза теплее, чем 10. Мы можем лишь констатировать, что 20 градусов настолько же теплее 10, как 30 - теплее 20.

Рациональная шкала (шкала отношений) имеет одну точку отсчета и только положительные значения. В медицине большинство рациональных шкал - это концентрации. Например, уровень глюкозы 10 ммоль/л - это в два раза большая концентрация по сравнению с 5 ммоль/л. Для температуры рациональной шкалой является шкала Кельвина, где есть абсолютный ноль (отсутствие тепла).

Следует добавить, что любая количественная переменная может быть непрерывной, как в случае измерения температуры тела (это непрерывная интервальная шкала), или же дискретной, если мы считаем количество клеток крови или потомство лабораторных животных (это дискретная рациональная шкала).

Указанные различия имеют решающее значение для выбора методов статистического анализа результатов эксперимента. Так, для номинальных данных применим критерий «хи-квадрат», а известный тест Стьюдента требует, чтобы переменная (интервальная либо рациональная) была непрерывной.

После того как будет решен вопрос о типе переменной, следует заняться формированием выборки . Выборка - это небольшая группа объектов определенного класса (в медицине - популяция). Для получения абсолютно точных данных нужно исследовать все объекты данного класса, однако, из практических (зачастую - финансовых) соображений изучают только часть популяции, которая и называется выборкой. В дальнейшем, статистический анализ позволяет исследователю распространить полученные закономерности на всю популяцию с определенной степенью точности. Фактически, вся биомедицинская статистика направлена на получение наиболее точных результатов из наименее возможного количества наблюдений, ведь при исследованиях на людях важен и этический момент. Мы не можем позволить себе подвергать риску большее количество пациентов, чем это необходимо.

Создание выборки регламентируется рядом обязательных требований, нарушение которых может привести к ошибочным выводам из результатов исследования. Во-первых, важен объем выборки. От объема выборки зависит точность оценки исследуемых параметров. Здесь следует обратить внимание на слово «точность». Чем больше размеры исследуемых групп, тем более точные (но не обязательно правильные) результаты получает ученый. Для того же, чтобы результаты выборочных исследований можно было переносить на всю популяцию в целом, выборка должна быть репрезентативной . Репрезентативность выборки предполагает, что в ней отражены все существенные свойства популяции. Другими словами, в исследуемых группах лица разного пола, возраста, профессий, социального статуса и пр. встречаются с той же частотой, что и во всей популяции.

Однако перед тем как начать выбор исследуемой группы, следует определиться с необходимостью изучения конкретной популяции. Примером популяции могут быть все пациенты с определенной нозологией или люди трудоспособного возраста и т. д. Так, результаты, полученные для популяции молодых людей призывного возраста, вряд ли удастся экстраполировать на женщин в постменопаузе. Набор характеристик, которые будет иметь изучаемая группа, определяет «обобщаемость» данных исследования.

Формировать выборки можно различными путями. Самый простой из них - выбор с помощью генератора случайных чисел необходимого количества объектов из популяции или выборочной рамки (sampling frame). Такой способ называется «простой случайной выборкой ». Если случайным образом выбрать начальную точку в выборочной рамке, а затем взять каждый второй, пятый или десятый объекты (в зависимости от того каких размеров группы требуются в исследовании), то получится интервальная выборка . Интервальная выборка не является случайной, так как никогда не исключается вероятность периодических повторений данных в рамках выборочной рамки.

Возможен вариант создания так называемой «стратифицированной выборки », которая предполагает, что популяция состоит из нескольких различных групп и эту структуру следует воспроизвести в экспериментальной группе. Например, если в популяции соотношение мужчин и женщин 30:70, тогда в стратифицированной выборке их соотношение должно быть таким же. При данном подходе критически важно не балансировать выборку избыточно, то есть избежать однородности ее характеристик, в противном случае исследователь может упустить шанс найти различия или связи в данных.

Кроме описанных способов формирования групп есть еще кластерная и квотная выборки . Первая используется в случае, когда получение полной информации о выборочной рамке затруднено из-за ее размеров. Тогда выборка формируется из нескольких групп, входящих в популяцию. Вторая - квотная - аналогична стратифицированной выборке, но здесь распределение объектов не соответствует таковому в популяции.

Возвращаясь к объему выборки, следует сказать, что он тесно связан с вероятностью статистических ошибок первого и второго рода. Статистические ошибки могут быть обусловлены тем, что в исследовании изучается не вся популяция, а ее часть. Ошибка первого рода - это ошибочное отклонение нулевой гипотезы . В свою очередь, нулевая гипотеза - это предположение о том, что все изучаемые группы взяты из одной генеральной совокупности, а значит, различия либо связи между ними случайны. Если провести аналогию с диагностическими тестами, то ошибка первого рода представляет собой ложноположительный результат.

Ошибка второго рода - это неверное отклонение альтернативной гипотезы , смысл которой заключается в том, что различия либо связи между группами обусловлены не случайным совпадением, а влиянием изучаемых факторов. И снова аналогия с диагностикой: ошибка второго рода - это ложноотрицательный результат. С этой ошибкой связано понятие мощности , которое говорит о том, насколько определенный статистический метод эффективен в данных условиях, о его чувствительности. Мощность вычисляется по формуле: 1-β, где β - это вероятность ошибки второго рода. Данный показатель зависит преимущественно от объема выборки. Чем больше размеры групп, тем меньше вероятность ошибки второго рода и выше мощность статистических критериев. Зависимость эта как минимум квадратичная, то есть уменьшение объема выборка в два раза приведет к падению мощности минимум в четыре раза. Минимально допустимой мощностью считают 80%, а максимально допустимый уровень ошибки первого рода принимают 5%. Однако всегда следует помнить, что эти границы заданы произвольно и могут изменяться в зависимости от характера и целей исследования. Как правило, научным сообществом признается произвольное изменение мощности, однако в подавляющем большинстве случаев уровень ошибки первого рода не может превышать 5%.

Все сказанное выше имеет непосредственное отношение к этапу планирования исследования. Тем не менее, многие исследователи ошибочно относятся к статистической обработке данных только как к неким манипуляциям, выполняемым после завершения основной части работы. Зачастую после окончания никак не спланированного эксперимента, появляется непреодолимое желание заказать анализ статистических данных на стороне. Но из «кучи мусора» даже специалисту по статистике будет очень сложно выудить ожидаемый исследователем результат. Поэтому при недостаточных знаниях биостатистики необходимо обращаться за помощью в статистическом анализе еще до начала эксперимента.

Обращаясь к самой процедуре анализа, следует указать на два основных типа статистических техник: описательные и доказательные (аналитические). Описательные техники включают в себя методы позволяющие представить данные в компактном и легком для восприятия виде. Сюда можно отнести таблицы, графики, частоты (абсолютные и относительные), меры центральной тенденции (средние, медиана, мода) и меры разброса данных (дисперсия, стандартное отклонение, межквартильный интервал и пр.). Другими словами, описательные методы дают характеристику изучаемым выборкам.

Наиболее популярный (хотя и зачастую ошибочный) способ описания имеющихся количественных данных заключается в определении следующих показателей:

• количество наблюдений в выборке или ее объем;
• средняя величина(среднее арифметическое);
• стандартное отклонение- показатель того, насколько широко изменяются значения переменных.

Важно помнить, что среднее арифметическое и стандартное отклонение - это меры центральной тенденции и разброса в достаточно небольшом числе выборок. В таких выборках значения у большинства объектов с равной вероятностью отклонены от среднего, а их распределение образует симметричный «колокол» (гауссиану или кривую Гаусса-Лапласа). Такое распределение еще называют «нормальным», но в практике медицинского эксперимента оно встречается лишь в 30% случаев. Если же значения переменной распределены несимметрично относительно центра, то группы лучше описывать с помощью медианы и квантилей (процентилей, квартилей, децилей).

Завершив описание групп, необходимо ответить на вопрос об их взаимоотношениях и о возможности обобщить результаты исследования на всю популяцию. Для этого используются доказательные методы биостатистики. Именно о них в первую очередь вспоминают исследователи, когда идет речь о статистической обработке данных. Обычно этот этап работы называют «тестированием статистических гипотез».

Задачи тестирования гипотез можно разделить на две большие группы. Первая группа отвечает на вопрос, имеются ли различия между группами по уровню некоторого показателя, например, различия в уровне печеночных трансаминаз у пациентов с гепатитом и здоровых людей. Вторая группа позволяет доказать наличие связи между двумя или более показателями, например, функции печени и иммунной системы.

В практическом плане задачи из первой группы можно разделить на два подтипа:

• сравнение показателя только в двух группах(здоровые и больные, мужчины и женщины);
• сравнение трех и более групп(изучение разных доз препарата).

Необходимо учитывать, что статистические методы существенно отличаются для качественных и количественных данных.

В ситуации, когда изучаемая переменная - качественная и сравниваются только две группы, можно использовать критерий «хи-квадрат». Это достаточно мощный и широко известный критерий, однако, он оказывается недостаточно эффективным в случае, если количество наблюдений мало. Для решения данной проблемы существуют несколько методов, такие как поправка Йейтса на непрерывность и точный метод Фишера.

Если изучаемая переменная является количественной, то можно использовать один из двух видов статистических критериев. Критерии первого вида основаны на конкретном типе распределения генеральной совокупности и оперируют параметрами этой совокупности. Такие критерии называют «параметрическими», и они, как правило, базируются на предположении о нормальности распределения значений. Непараметрические критерии не базируются на предположении о типе распределения генеральной совокупности и не используют ее параметры. Иногда такие критерии называют «свободными от распределения» (distribution-free tests). В определенной степени это ошибочно, поскольку любой непараметрический критерий предусматривает, что распределения во всех сравниваемых группах будут одинаковыми, иначе могут быть получены ложноположительные результаты.

Существует два параметрических критерия применяемых к данным, извлеченным из нормально распределенной совокупности: t-тест Стьюдента для сравнения двух групп и F-тест Фишера, позволяющий проверить равенство дисперсий (он же - дисперсионный анализ). Непараметрических же критериев значительно больше. Разные критерии отличаются друг от друга по допущениям, на которых они основаны, по сложности вычислений, по статистической мощности и т. д. Однако наиболее приемлемыми в большинстве случаев считаются критерий Вилкоксона (для связанных групп) и критерий Манна-Уитни, также известный как критерий Вилкоксона для независимых выборок. Эти тесты удобны тем, что не требуют предположения о характере распределения данных. Но если окажется, что выборки взяты из нормально распределенной генеральной совокупности, то их статистическая мощность будет несущественно отличаться от таковой для теста Стьюдента.

Полное описание статистических методов можно найти в специальной литературе, однако, ключевым моментом является то, что каждый статистический тест требует набора правил (допущений) и условий для своего использования, и механический перебор нескольких методов для поиска «нужного» результата абсолютно неприемлем с научной точки зрения. В этом смысле статистические тесты близки к лекарственным препаратам - у каждого есть показания и противопоказания, побочные эффекты и вероятность неэффективности. И столь же опасным является бесконтрольное применение статистических тестов, ведь на них базируются гипотезы и выводы.

Для более полного понимания вопроса точности статистического анализа необходимо определить и разобрать понятие «доверительной вероятности». Доверительная вероятность - это величина, принятая в качестве границы между вероятными и маловероятными событиями. Традиционно, она обозначается буквой «p». Для многих исследователей единственной целью выполнения статистического анализа является расчет заветного значения p, которое словно проставляет запятые в известной фразе «казнить нельзя помиловать». Максимально допустимой доверительной вероятностью считается величина 0,05. Следует помнить, что доверительная вероятность - это не вероятность некоторого события, а вопрос доверия. Выставляя перед началом анализа доверительную вероятность, мы тем самым определяем степень доверия к результатам наших исследований. А, как известно, чрезмерная доверчивость и излишняя подозрительность одинаково негативно сказываются на результатах любой работы.

Уровень доверительной вероятности показывает, какую максимальную вероятность возникновения ошибки первого рода исследователь считает допустимой. Уменьшение уровня доверительной вероятности, иначе говоря, ужесточение условий тестирования гипотез, увеличивает вероятность ошибок второго рода. Следовательно, выбор уровня доверительной вероятности должен осуществляться с учетом возможного ущерба от возникновения ошибок первого и второго рода. Например, принятые в биомедицинской статистике жесткие рамки, определяющие долю ложноположительных результатов не более 5% - это суровая необходимость, ведь на основании результатов медицинских исследований внедряется либо отклоняется новое лечение, а это вопрос жизни многих тысяч людей.

Необходимо иметь в виду, что сама по себе величина p малоинформативна для врача, поскольку говорит только о вероятности ошибочного отклонения нулевой гипотезы. Этот показатель ничего не говорит, например, о размере терапевтического эффекта при применении изучаемого препарата в генеральной совокупности. Поэтому есть мнение, что вместо уровня доверительной вероятности лучше было бы оценивать результаты исследования по величине доверительного интервала. Доверительный интервал - это диапазон значений, в котором с определенной вероятностью заключено истинное популяционное значение (для среднего, медианы или частоты). На практике удобнее иметь оба эти значения, что позволяет с большей уверенностью судить о применимости полученных результатов к популяции в целом.

В заключение следует сказать несколько слов об инструментах, которыми пользуется специалист по статистике, либо исследователь, самостоятельно проводящий анализ данных. Давно ушли в прошлое ручные вычисления. Существующие на сегодняшний день статистические компьютерные программы позволяют проводить статистический анализ, не имея серьезной математической подготовки. Такие мощные системы как SPSS, SAS, R и др. дают возможность исследователю использовать сложные и мощные статистические методы. Однако далеко не всегда это является благом. Не зная о степени применимости используемых статистических тестов к конкретным данным эксперимента, исследователь может провести расчеты и даже получить некоторые числа на выходе, но результат будет весьма сомнительным. Поэтому, обязательным условием для проведения статистической обработки результатов эксперимента должно быть хорошее знание математических основ статистики.