В большинстве случаев данные концентрируются вокруг некоей центральной точки. Таким образом, чтобы описать любой набор данных, достаточно указать средне значение. Рассмотрим последовательно три числовые характеристики, которые используются для оценки среднего значения распределения: среднее арифметическое, медиана и мода.

Среднее арифметическое

Среднее арифметическое (часто называемое просто средним) - наиболее распространенная оценка среднего значения распределения. Она является результатом деления суммы всех наблюдаемых числовых величин на их количество. Для выборки, состоящей из чисел Х 1 , Х 2 , …, Х n , выборочное среднее (обозначаемое символом ) равно = (Х 1 + Х 2 + … + Х n ) / n , или

где - выборочное среднее, n - объем выборки, X i – i-й элемент выборки.

Скачать заметку в формате или , примеры в формате

Рассмотрим вычисление среднего арифметического значения пятилетней среднегодовой доходности 15 взаимных фондов с очень высоким уровнем риска (рис. 1).

Рис. 1. Среднегодовая доходность 15 взаимных фондов с очень высоким уровнем риска

Выборочное среднее вычисляется следующим образом:

Это хороший доход, особенно по сравнению с 3–4% дохода, который получили вкладчики банков или кредитных союзов за тот же период времени. Если упорядочить значения доходности, то легко заметить, что восемь фондов имеют доходность выше, а семь - ниже среднего значения. Среднее арифметическое играет роль точки равновесия, так что фонды с низкими доходами уравновешивают фонды с высокими доходами. В вычислении среднего задействованы все элементы выборки. Ни одна из других оценок среднего значения распределения не обладает этим свойством.

Когда следует вычислять среднее арифметическое. Поскольку среднее арифметическое зависит от всех элементов выборки, наличие экстремальных значений значительно влияет на результат. В таких ситуациях среднее арифметическое может исказить смысл числовых данных. Следовательно, описывая набор данных, содержащий экстремальные значения, необходимо указывать медиану либо среднее арифметическое и медиану. Например, если удалить из выборки доходность фонда RS Emerging Growth, выборочное среднее доходности 14 фондов уменьшится почти на 1% и составит 5,19%.

Медиана

Медиана представляет собой срединное значение упорядоченного массива чисел. Если массив не содержит повторяющихся чисел, то половина его элементов окажется меньше, а половина - больше медианы. Если выборка содержит экстремальные значения, для оценки среднего значения лучше использовать не среднее арифметическое, а медиану. Чтобы вычислить медиану выборки, ее сначала необходимо упорядочить.

Эта формула неоднозначна. Ее результат зависит от четности или нечетности числа n :

• Если выборка содержит нечетное количество элементов, медиана равна (n+1)/2 -му элементу.
• Если выборка содержит четное количество элементов, медиана лежит между двумя средними элементами выборки и равна среднему арифметическому, вычисленному по этим двум элементам.

Чтобы вычислить медиану выборки, содержащей данные о доходности 15 взаимных фондов с очень высокий уровнем риска, сначала необходимо упорядочить исходные данные (рис. 2). Тогда медиана будет напротив номера среднего элемента выборки; в нашем примере №8. В Excel есть специальная функция =МЕДИАНА(), которая работает и с неупорядоченными массивами тоже.

Рис. 2. Медиана 15 фондов

Таким образом, медиана равна 6,5. Это означает, что доходность одной половины фондов с очень высоким уровнем риска не превышает 6,5, а доходность второй половины - превышает ее. Обратите внимание на то, что медиана, равная 6,5, ненамного больше среднего значения, равного 6,08.

Если удалить из выборки доходность фонда RS Emerging Growth, то медиана оставшихся 14 фондов уменьшится до 6,2%, то есть не так значительно, как среднее арифметическое (рис. 3).

Рис. 3. Медиана 14 фондов

Мода

Термин был впервые введен Пирсоном в 1894 г. Мода - это число, которое чаще других встречается в выборке (наиболее модное). Мода хорошо описывает, например, типичную реакцию водителей на сигнал светофора о прекращении движения. Классический пример использования моды - выбор размера выпускаемой партии обуви или цвета обоев. Если распределение имеет несколько мод, то говорят, что оно мультимодально или многомодально (имеет два или более «пика»). Мультимодальность распределения дает важную информацию о природе исследуемой переменной. Например, в социологических опросах, если переменная представляет собой предпочтение или отношение к чему-то, то мультимодальность может означать, что существуют несколько определенно различных мнений. Мультимодальность также служит индикатором того, что выборка не является однородной и наблюдения, возможно, порождены двумя или более «наложенными» распределениями. В отличие от среднего арифметического, выбросы на моду не влияют. Для непрерывно распределенных случайных величин, например, для показателей среднегодовой доходности взаимных фондов, мода иногда вообще не существует (или не имеет смысла). Поскольку эти показатели могут принимать самые разные значения, повторяющиеся величины встречаются крайне редко.

Квартили

Квартили - это показатели, которые чаще всего используются для оценки распределения данных при описании свойств больших числовых выборок. В то время как медиана разделяет упорядоченный массив пополам (50% элементов массива меньше медианы и 50% - больше), квартили разбивают упорядоченный набор данных на четыре части. Величины Q 1 , медиана и Q 3 являются 25-м, 50-м и 75-м перцентилем соответственно. Первый квартиль Q 1 - это число, разделяющее выборку на две части: 25% элементов меньше, а 75% - больше первого квартиля.

Третий квартиль Q 3 - это число, разделяющее выборку также на две части: 75% элементов меньше, а 25% - больше третьего квартиля.

Для расчета квартилей в версиях Excel до 2007 г. использовалась функция =КВАРТИЛЬ(массив;часть). Начиная с версии Excel2010 применяются две функции:

• =КВАРТИЛЬ.ВКЛ(массив;часть)
• =КВАРТИЛЬ.ИСКЛ(массив;часть)

Эти две функции дают немного различные значения (рис. 4). Например, при вычислении квартилей выборки, содержащей данные о среднегодовой доходности 15 взаимных фондов с очень высоким уровнем риска Q 1 = 1,8 или –0,7 для КВАРТИЛЬ.ВКЛ и КВАРТИЛЬ.ИСКЛ, соответственно. Кстати функция КВАРТИЛЬ, использовавшаяся ранее соответствует современной функции КВАРТИЛЬ.ВКЛ. Для расчета квартилей в Excel с помощью вышеприведенных формул массив данных можно не упорядочивать.

Рис. 4. Вычисление квартилей в Excel

Подчеркнем еще раз. Excel умеет рассчитывать квартили для одномерного дискретного ряда , содержащего значения случайной величины. Расчет квартилей для распределения на основе частот приведен ниже в разделе .

Среднее геометрическое

В отличие от среднего арифметического среднее геометрическое позволяет оценить степень изменения переменной с течением времени. Среднее геометрическое - это корень n -й степени из произведения n величин (в Excel используется функция =СРГЕОМ):

G = (X 1 * X 2 * … * X n) 1/n

Похожий параметр – среднее геометрическое значение нормы прибыли – определяется формулой:

G = [(1 + R 1) * (1 + R 2) * … * (1 + R n)] 1/n – 1,

где R i – норма прибыли за i -й период времени.

Например, предположим, что объем вложенных средств в исходный момент времени равен 100 000 долл. К концу первого года он падает до уровня 50 000 долл., а к концу второго года восстанавливается до исходной отметки 100 000 долл. Норма прибыли этой инвестиции за двухлетний период равна 0, поскольку первоначальный и финальный объем средств равны между собой. Однако среднее арифметическое годовых норм прибыли равно = (–0,5 + 1) / 2 = 0,25 или 25%, поскольку норма прибыли в первый год R 1 = (50 000 – 100 000) / 100 000 = –0,5, а во второй R 2 = (100 000 – 50 000) / 50 000 = 1. В то же время, среднее геометрическое значение нормы прибыли за два года равно: G = [(1–0,5) * (1+1)] 1/2 – 1 = ½ – 1 = 1 – 1 = 0. Таким образом, среднее геометрическое точнее отражает изменение (точнее, отсутствие изменений) объема инвестиций за двухлетний период, чем среднее арифметическое.

Интересные факты. Во-первых, среднее геометрическое всегда будет меньше среднего арифметического тех же чисел. За исключением случая, когда все взятые числа равны друг другу. Во-вторых, рассмотрев свойства прямоугольного треугольника, можно понять, почему среднее называется геометрическим. Высота прямоугольного треугольника, опущенная на гипотенузу, есть среднее пропорциональное между проекциями катетов на гипотенузу, а каждый катет есть среднее пропорциональное между гипотенузой и его проекцией на гипотенузу (рис. 5). Это даёт геометрический способ построения среднего геометрического двух (длин) отрезков: нужно построить окружность на сумме этих двух отрезков как на диаметре, тогда высота, восставленная из точки их соединения до пересечения с окружностью, даст искомую величину:

Рис. 5. Геометрическая природа среднего геометрического (рисунок из Википедии)

Второе важное свойство числовых данных - их вариация , характеризующая степень дисперсии данных. Две разные выборки могут отличаться как средними значениями, так и вариациями. Однако, как показано на рис. 6 и 7, две выборки могут иметь одинаковые вариации, но разные средние значения, либо одинаковые средние значения и совершенно разные вариации. Данные, которым соответствует полигон В на рис. 7, изменяются намного меньше, чем данные, по которым построен полигон А.

Рис. 6. Два симметричных распределения колоколообразной формы с одинаковым разбросом и разными средними значениями

Рис. 7. Два симметричных распределения колоколообразной формы с одинаковыми средними значениями и разным разбросом

Существует пять оценок вариации данных:

• размах,
• межквартильный размах,
• дисперсия,
• стандартное отклонение,
• коэффициент вариации.

Размах

Размахом называется разность между наибольшим и наименьшим элементами выборки:

Размах = Х Max – Х Min

Размах выборки, содержащей данные о среднегодовой доходности 15 взаимных фондов с очень высоким уровнем риска, можно вычислить, используя упорядоченный массив (см. рис. 4): Размах = 18,5 – (–6,1) = 24,6. Это значит, что разница между наибольшей и наименьшей среднегодовой доходностью фондов с очень высоким уровнем риска равна 24,6% .

Размах позволяет измерить общий разброс данных. Хотя размах выборки является весьма простой оценкой общего разброса данных, его слабость заключается в том, что он никак не учитывает, как именно распределены данные между минимальным и максимальным элементами. Этот эффект хорошо прослеживается на рис. 8, который иллюстрирует выборки, имеющие одинаковый размах. Шкала В демонстрирует, что если выборка содержит хотя бы одно экстремальное значение, размах выборки оказывается весьма неточной оценкой разброса данных.

Рис. 8. Сравнение трех выборок, имеющих одинаковый размах; треугольник символизирует опору весов, и его расположение соответствует среднему значению выборки

Межквартильный размах

Межквартильный, или средний, размах - это разность между третьим и первым квартилями выборки:

Межквартильный размах = Q 3 – Q 1

Эта величина позволяет оценить разброс 50% элементов и не учитывать влияние экстремальных элементов. Межквартильный размах выборки, содержащей данные о среднегодовой доходности 15 взаимных фондов с очень высоким уровнем риска, можно вычислить, используя данные на рис. 4 (например, для функции КВАРТИЛЬ.ИСКЛ): Межквартильный размах = 9,8 – (–0,7) = 10,5. Интервал, ограниченный числами 9,8 и –0,7, часто называют средней половиной.

Следует отметить, что величины Q 1 и Q 3 , а значит, и межквартильный размах, не зависят от наличия выбросов, поскольку при их вычислении не учитывается ни одна величина, которая была бы меньше Q 1 или больше Q 3 . Суммарные количественные характеристики, такие как медиана, первый и третий квартили, а также межквартильный размах, на которые не влияют выбросы, называются устойчивыми показателями.

Хотя размах и межквартильный размах позволяют оценить общий и средний разброс выборки соответственно, ни одна из этих оценок не учитывает, как именно распределены данные. Дисперсия и стандартное отклонение лишены этого недостатка. Эти показатели позволяют оценить степень колебания данных вокруг среднего значения. Выборочная дисперсия является приближением среднего арифметического, вычисленного на основе квадратов разностей между каждым элементом выборки и выборочным средним. Для выборки Х 1 , Х 2 , … Х n выборочная дисперсия (обозначаемая символом S 2 задается следующей формулой:

В общем случае выборочная дисперсия - это сумма квадратов разностей между элементами выборки и выборочным средним, деленная на величину, равную объему выборки минус один:

где - арифметическое среднее, n - объем выборки, X i - i -й элемент выборки X . В Excel до версии 2007 для расчета выборочной дисперсии использовалась функция =ДИСП(), с версии 2010 используется функция =ДИСП.В().

Наиболее практичной и широко распространенной оценкой разброса данных является стандартное выборочное отклонение . Этот показатель обозначается символом S и равен квадратному корню из выборочной дисперсии:

В Excel до версии 2007 для расчета стандартного выборочного отклонения использовалась функция =СТАНДОТКЛОН(), с версии 2010 используется функция =СТАНДОТКЛОН.В(). Для расчета этих функций массив данных может быть неупорядоченным.

Ни выборочная дисперсия, ни стандартное выборочное отклонение не могут быть отрицательными. Единственная ситуация, в которой показатели S 2 и S могут быть нулевыми, - если все элементы выборки равны между собой. В этом совершенно невероятном случае размах и межквартильный размах также равны нулю.

Числовые данные по своей природе изменчивы. Любая переменная может принимать множество разных значений. Например, разные взаимные фонды имеют разные показатели доходности и убытков. Вследствие изменчивости числовых данных очень важно изучать не только оценки среднего значения, которые по своей природе являются суммарными, но и оценки дисперсии, характеризующие разброс данных.

Дисперсия и стандартное отклонение позволяют оценить разброс данных вокруг среднего значения, иначе говоря, определить, сколько элементов выборки меньше среднего, а сколько - больше. Дисперсия обладает некоторыми ценными математическими свойствами. Однако ее величина представляет собой квадрат единицы измерения - квадратный процент, квадратный доллар, квадратный дюйм и т.п. Следовательно, естественной оценкой дисперсии является стандартное отклонение, которое выражается в обычных единицах измерений - процентах дохода, долларах или дюймах.

Стандартное отклонение позволяет оценить величину колебаний элементов выборки вокруг среднего значения. Практически во всех ситуациях основное количество наблюдаемых величин лежит в интервале плюс-минус одно стандартное отклонение от среднего значения. Следовательно, зная среднее арифметическое элементов выборки и стандартное выборочное отклонение, можно определить интервал, которому принадлежит основная масса данных.

Стандартное отклонение доходности 15 взаимных фондов с очень высоким уровнем риска равно 6,6 (рис. 9). Это значит, что доходность основной массы фондов отличается от среднего значения не более чем на 6,6% (т.е. колеблется в интервале от – S = 6,2 – 6,6 = –0,4 до + S = 12,8). Фактически в этом интервале лежит пятилетняя среднегодовая доходность 53,3% (8 из 15) фондов.

Рис. 9. Стандартное выборочное отклонение

Обратите внимание на то, что в процессе суммирования квадратов разностей элементы выборки, лежащие дальше от среднего значения, приобретают больший вес, чем элементы, лежащие ближе. Это свойство является основной причиной того, что для оценки среднего значения распределения чаще всего используется среднее арифметическое значение.

Коэффициент вариации

В отличие от предыдущих оценок разброса, коэффициент вариации является относительной оценкой. Он всегда измеряется в процентах, а не в единицах измерения исходных данных. Коэффициент вариации, обозначаемый символами CV, измеряет рассеивание данных относительно среднего значения. Коэффициент вариации равен стандартному отклонению, деленному на среднее арифметическое и умноженному на 100%:

где S - стандартное выборочное отклонение, - выборочное среднее.

Коэффициент вариации позволяет сравнить две выборки, элементы которых выражаются в разных единицах измерения. Например, управляющий службы доставки корреспонденции намеревается обновить парк грузовиков. При погрузке пакетов следует учитывать два вида ограничений: вес (в фунтах) и объем (в кубических футах) каждого пакета. Предположим, что в выборке, содержащей 200 пакетов, средний вес равен 26,0 фунтов, стандартное отклонение веса 3,9 фунтов, средний объем пакета 8,8 кубических футов, а стандартное отклонение объема 2,2 кубических фута. Как сравнить разброс веса и объема пакетов?

Поскольку единицы измерения веса и объема отличаются друг от друга, управляющий должен сравнить относительный разброс этих величин. Коэффициент вариации веса равен CV W = 3,9 / 26,0 * 100% = 15%, а коэффициент вариации объема CV V = 2,2 / 8,8 * 100% = 25% . Таким образом, относительный разброс объема пакетов намного больше относительного разброса их веса.

Форма распределения

Третье важное свойство выборки - форма ее распределения. Это распределение может быть симметричным или асимметричным. Чтобы описать форму распределения, необходимо вычислить его среднее значение и медиану. Если эти два показателя совпадают, переменная считается симметрично распределенной. Если среднее значение переменной больше медианы, ее распределение имеет положительную асимметрию (рис. 10). Если медиана больше среднего значения, распределение переменной имеет отрицательную асимметрию. Положительная асимметрия возникает, когда среднее значение увеличивается до необычайно высоких значений. Отрицательная асимметрия возникает, когда среднее значение уменьшается до необычайно малых значений. Переменная является симметрично распределенной, если она не принимает никаких экстремальных значений ни в одном из направлений, так что большие и малые значения переменной уравновешивают друг друга.

Рис. 10. Три вида распределений

Данные, изображенные на шкале А, имеют отрицательную асимметрию. На этом рисунке виден длинный хвост и перекос влево, вызванные наличием необычно малых значений. Эти крайне малые величины смещают среднее значение влево, и оно становится меньше медианы. Данные, изображенные на шкале Б, распределены симметрично. Левая и правая половины распределения являются своими зеркальными отражениями. Большие и малые величины уравновешивают друг друга, а среднее значение и медиана равны между собой. Данные, изображенные на шкале В, имеют положительную асимметрию. На этом рисунке виден длинный хвост и перекос вправо, вызванные наличием необычайно высоких значений. Эти слишком большие величины смещают среднее значение вправо, и оно становится больше медианы.

В Excel описательные статистики можно получить с помощью надстройки Пакет анализа . Пройдите по меню Данные → Анализ данных , в открывшемся окне выберите строку Описательная статистика и кликните Ok . В окне Описательная статистика обязательно укажите Входной интервал (рис. 11). Если вы хотите увидеть описательные статистики на том же листе, что и исходные данные, выберите переключатель Выходной интервал и укажите ячейку, куда следует поместить левый верхний угол выводимых статистик (в нашем примере $C$1). Если вы хотите вывести данные на новый лист или в новую книгу, достаточно просто выбрать соответствующий переключатель. Поставьте галочку напротив Итоговая статистика . По желанию также можно выбрать Уровень сложности, k-й наименьший и k-й наибольший .

Если на вкладе Данные в области Анализ у вас не отображается пиктограмма Анализ данных , нужно предварительно установить надстройку Пакет анализа (см., например, ).

Рис. 11. Описательные статистики пятилетней среднегодовой доходности фондов с очень высоким уровнями риска, вычисленные с помощью надстройки Анализ данных программы Excel

Excel вычисляет целый ряд статистик, рассмотренных выше: среднее, медиану, моду, стандартное отклонение, дисперсию, размах (интервал ), минимум, максимум и объем выборки (счет ). Кроме того, Excel вычисляет некоторые новые для нас статистики: стандартную ошибку, эксцесс и асимметричность. Стандартная ошибка равна стандартному отклонению, деленному на квадратный корень объема выборки. Асимметричность характеризует отклонение от симметричности распределения и является функцией, зависящей от куба разностей между элементами выборки и средним значением. Эксцесс представляет собой меру относительной концентрации данных вокруг среднего значения по сравнению с хвостами распределения и зависит от разностей между элементами выборки и средним значением, возведенных в четвертую степень.

Вычисление описательных статистик для генеральной совокупности

Среднее значение, разброс и форма распределения, рассмотренные выше, представляют собой характеристики, определяемые по выборке. Однако, если набор данных содержит числовые измерения всей генеральной совокупности, можно вычислить ее параметры. К числу таких параметров относятся математическое ожидание, дисперсия и стандартное отклонение генеральной совокупности.

Математическое ожидание равно сумме всех значений генеральной совокупности, деленной на объем генеральной совокупности:

где µ - математическое ожидание, X i - i -е наблюдение переменной X , N - объем генеральной совокупности. В Excel для вычисления математического ожидания используется та же функция, что и для среднего арифметического: =СРЗНАЧ().

Дисперсия генеральной совокупности равна сумме квадратов разностей между элементами генеральной совокупности и мат. ожиданием, деленной на объем генеральной совокупности:

где σ 2 – дисперсия генеральной совокупности. В Excel до версии 2007 для вычисления дисперсии генеральной совокупности используется функция =ДИСПР(), начиная с версии 2010 =ДИСП.Г().

Стандартное отклонение генеральной совокупности равно квадратному корню, извлеченному из дисперсии генеральной совокупности:

В Excel до версии 2007 для вычисления стандартного отклонения генеральной совокупности используется функция =СТАНДОТКЛОНП(), начиная с версии 2010 =СТАНДОТКЛОН.Г(). Обратите внимание на то, что формулы для дисперсии и стандартного отклонения генеральной совокупности отличаются от формул для вычисления выборочной дисперсии и стандартного отклонения. При вычислении выборочных статистик S 2 и S знаменатель дроби равен n – 1 , а при вычислении параметров σ 2 и σ - объему генеральной совокупности N .

Эмпирическое правило

В большинстве ситуаций крупная доля наблюдений концентрируется вокруг медианы, образуя кластер. В наборах данных, имеющих положительную асимметрию, этот кластер расположен левее (т.е. ниже) математического ожидания, а в наборах, имеющих отрицательную асимметрию, этот кластер расположен правее (т.е. выше) математического ожидания. У симметричных данных математическое ожидание и медиана совпадают, а наблюдения концентрируются вокруг математического ожидания, формируя колоколообразное распределение. Если распределение не имеет ярко выраженной асимметрии, а данные концентрируются вокруг некоего центра тяжести, для оценки изменчивости можно применять эмпирическое правило, которое гласит: если данные имеют колоколообразное распределение, то приблизительно 68% наблюдений отстоят от математического ожидания не более чем на одно стандартное отклонение, приблизительно 95% наблюдений отстоят от математического ожидания не более чем на два стандартных отклонения и 99,7% наблюдений отстоят от математического ожидания не более чем на три стандартных отклонения.

Таким образом, стандартное отклонение, представляющее собой оценку среднего колебания вокруг математического ожидания, помогает понять, как распределены наблюдения, и идентифицировать выбросы. Из эмпирического правила следует, что для колоколообразных распределений лишь одно значение из двадцати отличается от математического ожидания больше, чем на два стандартных отклонения. Следовательно, значения, лежащие за пределами интервала µ ± 2σ , можно считать выбросами. Кроме того, только три из 1000 наблюдений отличаются от математического ожидания больше чем на три стандартных отклонения. Таким образом, значения, лежащие за пределами интервала µ ± 3σ практически всегда являются выбросами. Для распределений, имеющих сильную асимметрию или не имеющих колоколообразной формы, можно применять эмпирическое правило Бьенамэ-Чебышева.

Более ста лет назад математики Бьенамэ и Чебышев независимо друг от друга открыли полезное свойство стандартного отклонения. Они обнаружили, что для любого набора данных, независимо от формы распределения, процент наблюдений, лежащих на расстоянии не превышающем k стандартных отклонений от математического ожидания, не меньше (1 – 1/ k 2)*100% .

Например, если k = 2, правило Бьенамэ-Чебышева гласит, что как минимум (1 – (1/2) 2) х 100% = 75% наблюдений должно лежать в интервале µ ± 2σ . Это правило справедливо для любого k , превышающего единицу. Правило Бьенамэ-Чебышева носит весьма общий характер и справедливо для распределений любого вида. Оно указывает минимальное количество наблюдений, расстояние от которых до математического ожидания не превышает заданной величины. Однако, если распределение имеет колоколообразную форму, эмпирическое правило более точно оценивает концентрацию данных вокруг математического ожидания.

Вычисление описательных статистик для распределения на основе частот

Если исходные данные недоступны, единственным источником информации становится распределение частот. В таких ситуациях можно вычислить приближенные значения количественных показателей распределения, таких как среднее арифметическое, стандартное отклонение, квартили.

Если выборочные данные представлены в виде распределения частот, приближенное значение среднего арифметического можно вычислить, предполагая, что все значения внутри каждого класса сосредоточены в средней точке класса:

где - выборочное среднее, n - количество наблюдений, или объем выборки, с - количество классов в распределении частот, m j - средняя точка j -гo класса, f j - частота, соответствующая j -му классу.

Для вычисления стандартного отклонения по распределению частот также предполагается, что все значения внутри каждого класса сосредоточены в средней точке класса.

Чтобы понять, как определяются квартили ряда на основе частот, рассмотрим расчет нижнего квартиля на основе данных за 2013 г. о распределении населения России по величине среднедушевых денежных доходов (рис. 12).

Рис. 12. Доля населения России со среднедушевыми денежными доходами в среднем за месяц, рублей

Для расчета первого квартиля интервального вариационного ряда можно воспользоваться формулой:

где Q1 – величина первого квартиля, хQ1 – нижняя граница интервала, содержащего первый квартиль (интервал определяется по накопленной частоте, первой превышающей 25%); i – величина интервала; Σf – сумма частот всей выборки; наверное, всегда равна 100%; SQ1–1 – накопленная частота интервала, предшествующего интервалу, содержащему нижний квартиль; fQ1 – частота интервала, содержащего нижний квартиль. Формула для третьего квартиля отличается тем, что во всех местах вместо Q1 нужно использовать Q3, а вместо ¼ подставить ¾.

В нашем примере (рис. 12) нижний квартиль находится в интервале 7000,1 – 10 000, накопленная частота которого равна 26,4%. Нижняя граница этого интервала – 7000 руб., величина интервала – 3000 руб., накопленная частота интервала, предшествующего интервалу, содержащему нижний квартиль – 13,4%, частота интервала, содержащего нижний квартиль – 13,0%. Таким образом: Q1 = 7000 + 3000 * (¼ * 100 – 13,4) / 13 = 9677 руб.

Ловушки, связанные с описательными статистиками

В этой заметке мы рассмотрели, как описать набор данных с помощью различных статистик, оценивающих его среднее значение, разброс и вид распределения. Следующим этапом является анализ и интерпретация данных. До сих пор мы изучали объективные свойства данных, а теперь переходим к их субъективной трактовке. Исследователя подстерегают две ошибки: неверно выбранный предмет анализа и неправильная интерпретация результатов.

Анализ доходности 15 взаимных фондов с очень высоким уровнем риска является вполне беспристрастным. Он привел к совершенно объективным выводам: все взаимные фонды имеют разную доходность, разброс доходности фондов колеблется от –6,1 до 18,5, а средняя доходность равна 6,08. Объективность анализа данных обеспечивается правильным выбором суммарных количественных показателей распределения. Было рассмотрено несколько способов оценки среднего значения и разброса данных, указаны их преимущества и недостатки. Как же выбрать правильную статистику, обеспечивающую объективный и беспристрастный анализ? Если распределение данных имеет небольшую асимметрию, следует ли выбирать медиану, а не среднее арифметическое? Какой показатель более точно характеризует разброс данных: стандартное отклонение или размах? Следует ли указывать на положительную асимметрию распределения?

С другой стороны, интерпретация данных является субъективным процессом. Разные люди приходят к разным выводам, истолковывая одни и те же результаты. У каждого своя точка зрения. Кто-то считает суммарные показатели среднегодовой доходности 15 фондов с очень высоким уровнем риска хорошими и вполне доволен полученным доходом. Другим может показаться, что эти фонды имеют слишком низкую доходность. Таким образом, субъективность следует компенсировать честностью, нейтральностью и ясностью выводов.

Этические проблемы

Анализ данных неразрывно связан с этическими вопросами. Следует критически относиться к информации, распространяемой газетами, радио, телевидением и Интерентом. Со временем вы научитесь скептически относиться не только к результатам, но и к целям, предмету и объективности исследований. Лучше всего об этом сказал известный британский политик Бенджамин Дизраэли: «Существуют три вида лжи: ложь, наглая ложь и статистика».

Как было отмечено в заметке этические проблемы возникают при выборе результатов, которые следует привести в отчете. Следует публиковать как положительные, так и отрицательные результаты. Кроме того, делая доклад или письменный отчет, результаты необходимо излагать честно, нейтрально и объективно. Следует различать неудачную и нечестную презентации. Для этого необходимо определить, каковы были намерения докладчика. Иногда важную информацию докладчик пропускает по невежеству, а иногда - умышленно (например, если он применяет среднее арифметическое для оценки среднего значения явно асимметричных данных, чтобы получить желаемый результат). Нечестно также замалчивать результаты, которые не соответствуют точке зрения исследователя.

Используются материалы книги Левин и др. Статистика для менеджеров. – М.: Вильямс, 2004. – с. 178–209

Функция КВАРТИЛЬ оставлена для совмещения с более ранними версиями Excel

Проверка гипотез о различиях между долями респондентов. Часто исследователю приходится решать следующую проблему. Предположим, все опрошенные подразделяются на две подгруппы. (Это могут быть представители двух независимо построенных выборок, например выборка из жителей Москвы и выборка из жителей Санкт-Петербурга, а могут - лица, различия между которыми выявились в ходе анкетирования представителей одной и той же выборки респондентов, например те, у кого есть, и те, у кого нет высшего образования.) Исследователь должен выяснить, одинаково или по-разному распределились ответы представителей этих двух подгрупп на какой-либо определенный вопрос анкеты.

Пример 12.6

Исследование предпочтений в одежде (данные условны)

Пусть, например, нас интересует, различаются ли доли тех, кто носит джинсы, в Москве и Санкт-Петербурге. Пусть в каждом из этих городов были построены репрезентативные выборки и проведены опросы. Предположим, были получены следующие результаты (табл. 12.21).

Таблица 12.21. Респонденты, которые носят и не носят джинсы, по данным опросов лиц в возрасте до 35 лет в Москве и Санкт-Петербурге, человек

Мы видим, что в Москве носят джинсы 80% опрошенных, а в Санкт-Петербурге - лишь 60%. Но достаточно ли разницы в 20%, чтобы утверждать, что это не случайность, что вообще москвичи чаще склонны носить джинсы, чем петербуржцы?

Для ответа на этот вопрос воспользуемся знакомой нам статистикой z, имеющей стандартизованное нормальное распределение, которая помогла нам установить, что определенная в ходе другого опроса доля респондентов, осведомленных о новом продукте, значимо отличается от намеченного исследователем фиксированного значения.

Статистика для данного случая имеет следующий вид:

где p1 и р2 - доли носящих джинсы от числа опрошенных в Москве и Санкт-Петербурге (0,8 и 0,6 соответственно); - оценка стандартного отклонения разности долей р1 и р2.

Оценка стандартного отклонения разности долей рассчитывается по формуле

(12.17)

где р - доля пользующихся джинсами среди всех опрошенных в двух выборках; n1 и n2 - число опрошенных в Москве и Санкт-Петербурге соответственно.

Величина р рассчитывается по формуле

В нашем примере имеем:

Поскольку нас интересует сам факт различия долей носящих джинсы в этих городах, а не превышения доли носящих джинсы в Москве по сравнению с такой долей в Санкт-Петербурге, нулевая и альтернативная гипотезы имеют вид:

Поэтому при прежней доверительной вероятности 0,95 пороговое значение на кривой нормального распределения равно 1,96.

А поскольку 4,36 > 1,96, нулевая гипотеза отвергается, т.е. данные опросов не противоречат утверждению, что доли носящих джинсы в Москве и Санкт-Петербурге различны.

Проверка гипотез о различиях между средними значениями. Часто требуется определить, являются ли случайными различия между средними значениями некоторой величины, рассчитанными по ответам представителей двух разных подвыборок респондентов. Например, исследователя может интересовать, действительно ли жители Москвы оценивают некоторый товар выше, чем жители Санкт-Петербурга, если средняя оценка этого товара по пятибалльной шкале респондентами-москвичами выше, чем респондентами-петербуржцами.

Для проверки такого рода гипотез используется статистика Стьюдента с числом степеней свободы (n1 + n0 - 1), где п1 и n2 - число объектов (в данном случае - респондентов) в каждой из двух выборок:

где и - средние значения оценок товара по данным опросов в Москве и в Санкт-Петербурге; - оценка стандартного отклонения разности интересующих нас средних значений между этими городами.

Последняя величина рассчитывается по формуле

где s - средневзвешенное среднеквадратическое отклонение оценок от соответствующих средних значений в каждой из выборок.

В свою очередь, величина s рассчитывается по формуле

(12.21)

где x1,i и x2,j - оценки, полученные на i-м объекте из первой выборки и j-м объекте из второй выборки.

Такие проверки проводятся с помощью программного пакета SPSS (меню Analyze - Compare Means - Independent Samples T-test ).

Зависимые выборки

Обсуждавшаяся выше проблема касалась случая, когда сравниваются доли или средние значения определенным образом ответивших на интересующий нас вопрос в двух разных группах респондентов. Нередко, однако, нужно сравнить между собой не реакции разных респондентов (например, живущих в разных городах), а две реакции у одних и тех же респондентов. Так бывает, когда информация собирается дважды на одной и той же выборке из n объектов. Например, дважды опрашиваются одни и те же респонденты и нужно проверить гипотезу, что за время, прошедшее между опросами, их оценки изменились. Скажем, надо узнать, действительно ли повысилась после рекламной кампании доля участников панели, знающих о существовании некоторого товара. Или узнать, действительно ли о существовании товара А знают больше респондентов, чем о товаре В, или наблюдаемое по данным опроса различие - просто случайность.

В случае зависимых выборок для проверки гипотезы об отсутствии различий в средних значениях применяется следующая тестовая статистика с (n - 1) степенями свободы:

где и - средние значения оценок в первом и втором замерах соответственно;- стандартное отклонение определения различий в средних значениях оценок в двух замерах, рассчитываемое по формуле

Здесь - стандартное отклонение различий между оценками в двух замерах, которое, в свою очередь, рассчитывается по формуле

(12.24)

где и - оценки на объектах в первом и втором замерах соответственно.

Отметим, что эти проверки можно провести с помощью программного пакета SPSS (меню Analyze - Compare Means - Pared Samples T-test ).

Обзор других задач анализа данных

Перед нами не было цели обсудить методы решения всего круга проблем, которые приходится время от времени решать при базовом анализе маркетинговых данных. Мы рассмотрели лишь те из них, которые используются чаще других.

В заключение раздела подчеркнем следующее. Как уже отмечалось, основной материал для отчета о маркетинговом исследовании дают таблицы частотных распределений и кросстабуляции. Структура этих таблиц может быть намечена заранее в той мере, в которой она связана с задачами исследования и выбранными подходами к их решению, т.е. исследователь сам назначает интересующие его группы респондентов и располагает их в столбцах таблиц сопряженности.

Однако нередко форма некоторых отчетных таблиц может быть окончательно установлена лишь на стадии углубленного анализа данных. Так, лишь на этой стадии можно провести сегментирование исследуемой совокупности и найти сегменты, наиболее резко отличающиеся друг от друга по реакции их представителей на маркетинговые действия фирмы. Построив затем соответствующие таблицы кросс-табуляции, можно детально изучить особенности каждого из сегментов, что позволит разработать набор эффективных маркетинговых комплексов.

Есть много методов углубленного анализа данных. Основное назначение большинства из них - подсказать исследователю, какой принцип сегментирования окажется наиболее удачным в том смысле, что построенные затем таблицы кросс-табуляции продемонстрируют наиболее яркие контрасты. Интересно, что многие исследователи, стремясь добиться краткости и ясности изложения материалов, а также не спеша раскрывать секреты своего мастерства, оставляют за рамками отчета примененный ими способ отыскания этой наиболее удачной формы таблиц. Мы рассмотрим два метода, дающих такие "подсказки", - методы кластерного и факторного анализов. Эти методы приспособлены для работы с часто встречающимися в маркетинговых исследованиях бинарными и метрическими шкалами.

Есть в арсенале исследователей и методы, позволяющие выяснить, как отнесутся потребители к тому или иному сочетанию свойств товара, насколько они ценят то или иное свойство товара. Это дает менеджерам рынка богатую пищу для размышлений при разработке маркетингового комплекса. Один из таких методов - совместный анализ (conjoint analysis ) - тоже будет рассмотрен нами в дальнейшем.

Определение. Точечной называют оценку, которая определяется одним числом.

Пусть требуется изучить количественный признак генеральной совокупности. Предположим из теоретических соображений мы установили, какое распределение имеет этот признак. Наша задача – оценить параметры, которыми определяется это распределение.

Например, если известно, что изучаемый признак распределён в генеральной совокупности по нормальному закону, то необходимо оценить математическое ожидание и среднеквадратическое отклонение, так как эти два параметра полностью определяют нормальное распределение.

Обычно имеются лишь данные выборки. Через эти данные и выражаются оцениваемые параметры.

Для того, чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определённым требованиям:

1) статистическая оценка должна быть несмещённой,

2) статистическая оценка должна быть эффективной,

3) статистическая оценка должна быть состоятельной.

Определение. Статистическая оценкапараметраназываетсянесмещённой , если её математическое ожидание равно оцениваемому параметру
. В противном случае оценка называется смещённой.

Определение. эффективной , если она имеет наименьшую дисперсию среди всех возможных при заданном объёме выборки.

Определение. Статистическая оценка называетсясостоятельной , если при выборке большого объёма
статистическая оценка стремится по вероятности к оцениваемому параметру.

Приведём некоторые теоремы об оценках:

Теорема. Выборочная доля
- есть несмещенная, эффективная и состоятельная оценка генеральной доли
.

Теорема. Выборочная средняя - есть несмещенная, эффективная и состоятельная оценка генеральной средней .

Теорема. Выборочная дисперсия
- есть смещённая и состоятельная оценка генеральной дисперсии
.

То есть математическое ожидание выборочной дисперсии не равно оцениваемой генеральной дисперсии, а равно
.

Поэтому, чтобы «исправить» выборочную дисперсию до несмещённой оценки достаточно умножить
на дробь. Сделав это, получим исправленную дисперсию, которую обозначают через
.

Определение. Исправленной выборочной дисперсией
называется величина

.

- исправленное среднеквадратическое отклонение .

Исправленная дисперсия является несмещенной оценкой генеральной дисперсии, так как .

Если
, то
, то есть
.

Следовательно, выборочная и исправленная дисперсия приблизительно равны
.

1. Интервальная оценка параметров

Определение. Интервальной называют оценку, которая определяется двумя числами – концами интервала.

Интервальные оценки позволяют установить точность и надёжность оценок. Пусть найденная по результатам выборки статистическая характеристика служит оценкой неизвестного параметра. Ясно, что чем меньше
, тем точнее оценка. Другими словами, если
(
), то чем меньше, тем оценка точнее. Таким образомхарактеризует точность оценки. Однако, мы не можем категорически утверждать, что оценкаудовлетворяет неравенству
. Мы можем лишь говорить о вероятности, с которой это неравенство осуществляется.

Определение. Надёжностью (доверительной вероятностью ) оценки параметрапоназывается вероятность, с которой осуществляется неравенство
.

Обычно надёжность задаётся наперед, причём чаще всего близка к единице.

Например, =.

Пусть вероятность того, что
равна:

или

Данное соотношение понимают так: вероятность того, что интервал
заключает в себе (покрывает) неизвестный параметр, равна.

Интервал
называетсядоверительным .

Величина доверительного интервала существенно зависит от объёма выборки (уменьшается с ростом) и от значения доверительной вероятности(увеличивается с приближениемк единице).

Определение. Наибольшее отклонениевыборочной средней (или выборочной доли) от генеральной средней (или генеральной доли), которое возможно с заданной доверительной вероятностью, называетсяпредельной ошибкой выборки (точность оценки ).

Эту ошибку называют случайной ошибкой репрезентативности .Систематическая ошибка репрезентативности появляется в результате нарушения принципа случайности при отборе элементов в выборку.

Пусть требуется оценить долю тех объектов заданной генеральной совокупности, которые удовлетворяют некоторому условию – генеральную долю . Для этого из генеральной совокупности выделяют выборку, и по результатам её обследования находят долю тех объектов, которые удовлетворяют условию – выборочную долю . Очевидно, что , где – объем выборки, – число тех её объектов, которые удовлетворяют условию . Выборочная доля в данном случае является той величиной, с помощью которой мы получим информацию о неизвестном значении генеральной доли.

Таким образом, выборочная доля является оценкой генеральной доли .

Пример. – доля бракованных деталей генеральной совокупности, – доля бракованных деталей в выборке. Условие (событие) – деталь, взятая наудачу из генеральной совокупности – бракована.

Простейший способ оценивания – точечное оценивание – подразумевает использование приближенного равенства .

Как и всякая оценка, выборочная доля является случайной величиной. Действительно, выборка из генеральной совокупности выделяется случайным образом. Соответственно то значение, которое примет выборочная доля, будет случайным.

Следующие теоремы характеризуют выборочную долю как случайную величину.

Теорема 1. Математическое ожидание выборочной доли равно генеральной доле:

Среднее квадратическое отклонение () выборочной доли вычисляется по формулам

– в случае повторной выборки и

– в случае бесповторной выборки, где – объем генеральной совокупности.

Напомним, что по определению среднего квадратического отклонения в случае повторной выборки имеем (аналогично в случае бесповторной выборки).

Замечание. При применении формул Теоремы 1 полагают

Теорема 2. Закон распределения выборочной доли неограниченно приближается к нормальному закону при неограниченном увеличении объема выборки.

Подобно тому, как мы это сделали в предыдущем параграфе, как следствие Теоремы 2, получаем формулу доверительной вероятности :

– в случае повторной выборки. Заменяя в последнем равенстве на , получаем формулу доверительной вероятности в случае бесповторной выборки.

По определению, величина , фигурирующая в формуле доверительной вероятности, называется предельной ошибкой выборки . Интервал называется доверительным интервалом.

Выше было указано, в чем состоит точечная оценка генеральной доли. Интервальное оценивание сводится, например, к вычислению значения доверительной вероятности при заданной предельной ошибке выборки.

Теорема 3. В случае повторной выборки выборочная доля является несмещенной и состоятельной оценкой генеральной доли.

Пример. Выборочные данные о надое молока для 100 коров из 1000 представлены таблицей:

1. Найти вероятность того, что доля всех коров с надоем молока более 40 ц отличается от такой доли в выборке не более чем на 0,05 (по абсолютной величине), для случая повторной и бесповторной выборок.

2. Найти границы, в которых с вероятностью 0,9596 заключена доля всех коров с надоем более 40 ц.

3. Сколько коров надо обследовать, чтобы с вероятностью 0,9786 для генеральной доли коров с надоем более 40 ц можно было гарантировать те же границы что и в п.2.

Решение. Число коров с надоем более 40 ц равно 34 (, см. заданный вариационный ряд). Тогда .

Для нахождения доверительной вероятности п. 1 задания воспользуемся одноименной формулой при .

Пусть рассматриваемая выборка – повторная. Тогда по формуле Теоремы 1, учитывая Замечание, получаем

.

Следовательно

Аналогично, в случае бесповторной выборки:

Доверительным в данном случае является интервал . Таким образом, неизвестное значение доли всех коров с надоем более 40 ц (0,29;0,39) с вероятностью 0,7109 в случае повторной выборки и с вероятностью 0,733

В п. 2 задания при заданном значении доверительной вероятности искомым является доверительный интервал. Поскольку значение выборочной доли известно, остается найти предельную ошибку выборки .

Пусть выборка – повторная. По условию, принимая во внимание формулу доверительной вероятности, имеем

.

По таблице значений функции Лапласа найдем такое , что : . Тогда и, используя найденное выше значение , получаем

Соответственно, доверительным будет интервал:

Пусть выборка – бесповторная. Аналогично предыдущему, получаем предельную ошибку выборки

и доверительный интервал:

Таким образом, доля всех коров с надоем молока более 40 ц с вероятностью 0,9596 накрывается доверительным интервалом (0,243; 0,437) в случае повторной выборки и интервалом (0,248; 0,432) в случае бесповторной выборки.

В п. 3 по заданным значениям доверительной вероятности и предельной ошибки выборки найдем необходимый объем выборки. Из начла решения заимствуем значение выборочной доли , найденное по исходному вариационному ряду.

То, какие величины можно применять для оценки средних параметров, а какие нельзя, зависит от типа шкалы. В самом деле, среднее арифметическое значение пола вряд ли будет иметь смысл. Тем не менее, оценить средние параметры имеет смысл для любой шкалы. Оценку средних параметров еще называют измерением центральной тенденции . Эта задача, наряду с оценкой разброса значений, входит в раздел описательной статистики и является одним из первых шагов при обработке социологического опроса.

При номинальной шкале измерения мы можем лишь указать наиболее популярный ответ. Наиболее популярный ответ называется модой . Моду можно вычислить и при любой шкале. Однако это будет иметь смысл делать только тогда, когда число опрошенных значительно больше, чем число вариантов ответов. Действительно, если например, измерять рост в миллиметрах, то у всех 100-200 опрошенных окажутся разные значения роста. Модами тогда окажутся все эти варианты (они же будут максимально популярными!).

Имейте в виду, что мода – это вариант ответа, а не число человек, которые выбрали этот вариант. Также имейте в виду, что мод может быть несколько (как в предыдущем примере).

Если шкала порядковая , то помимо моды можно вычислить также медиану . Поясним смысл медианы. При порядковой шкале все варианты ответов можно расположить в порядке возрастания некоторого признака. Если это сделать, то какой-то ответ окажется в середине этого списка. Этот ответ и будет медианой. Другими словами, медиана – это ответ, стоящий в середине упорядоченной выборки. Медиана – это вариант ответа, а не то, сколько раз этот ответ встречается в выборке. Медиану можно вычислить и при интервальных шкалах, поскольку эти шкалы также позволяют расположить ответы в порядке возрастания. Для номинальной шкалы вычислить медиану нельзя! О способах вычисления медианы будет более подробно рассказано ниже на примерах.

Для интервальных (метрических) шкал оценкой средних параметров является среднее арифметическое значение . Оно равно сумме всех значений, деленной на число этих значений:

Среднее арифметическое более точно отражает средние параметры выборки, чем медиана, поскольку медиана не учитывает величины отклонений отдельных измерений от средних показателей. Ни для порядковой шкалы, ни для номинальной шкалы среднее арифметическое значение вычислить нельзя. Ведь сумма значений для этих шкал не имеет смысла, даже если ее можно формально вычислить, просуммировав коды ответов.

Для дихотомической шкалы в качестве меры средней тенденции возможно использовать только моду – какой из ответов более популярен.