Группировка данных и построение ряда распределения. Пример решения типовых задач Вариационные ряды и методы их статистической обработки
Вариационными называют ряды распределения, построенные по количественному признаку. Значения количественных признаков у отдельных единиц совокупности непостоянны, более или менее различаются между собой.
Вариация - колеблемость, изменяемость величины признака у единиц совокупности. Отдельные числовые значения признака, встречающиеся в изучаемой совокупности, называют вариантами значений. Недостаточность средней величины для полной характеристики совокупности заставляет дополнять средние величины показателями, позволяющими оценить типичность этих средних путем измерения колеблемости (вариации) изучаемого признака.
Наличие вариации обусловлено влиянием большого числа факторов на формирование уровня признака. Эти факторы действуют с неодинаковой силой и в разных направлениях. Для описания меры изменчивости признаков используют показатели вариации.
Задачи статистического изучения вариации:
- 1) изучение характера и степени вариации признаков у отдельных единиц совокупности;
- 2) определение роли отдельных факторов или их групп в вариации тех или иных признаков совокупности.
В статистике применяются специальные методы исследования вариации, основанные на использовании системы показателей, с помощью которых измеряется вариация.
Исследование вариаций имеет важное значение. Измерение вариаций необходимо при проведении выборочного наблюдения, корреляционном и дисперсионном анализе и т. д. Ермолаев О.Ю. Математическая статистика для психологов: Учебник [Текст]/ О.Ю. Ермолаев. - М.: Изд-во Флинта Московского психолого-социального института, 2012. - 335с.
По степени вариации можно судить об однородности совокупности, об устойчивости отдельных значений признаков и типичности средней. На их основе разрабатываются показатели тесноты связи между признаками, показатели оценки точности выборочного наблюдения.
Различают вариацию в пространстве и вариацию во времени.
Под вариацией в пространстве понимают колеблемость значений признака у единиц совокупности, представляющих отдельные территории. Под вариацией во времени подразумевают изменение значений признака в различные периоды времени.
Для изучения вариации в рядах распределения проводят расположение всех вариантов значений признака в возрастающем или убывающем порядке. Этот процесс называют ранжированием ряда.
Самыми простыми признаками вариации являются минимум и максимум - самое наименьшее и наибольшее значение признака в совокупности. Число повторений отдельных вариантов значений признаков называют частотой повторения (fi). Частоты удобно заменять частостями - wi. Частость - относительный показатель частоты, который может быть выражен в долях единицы или процентах и позволяет сопоставлять вариационные ряды с различным числом наблюдений. Выражается формулой:
где Хmax, Хmin - максимальное и минимальное значения признака в совокупности; n - число групп.
Для измерения вариации признака применяются различные абсолютные и относительные показатели. К абсолютным показателям вариации относятся размах вариации, среднее линейное отклонение, дисперсия, среднее квадратическое отклонение. К относительным показателям колеблемости относят коэффициент осцилляции, относительное линейное отклонение, коэффициент вариации.
Пример нахождения вариационного ряда
Задание. По данной выборке:
- а) Найти вариационный ряд;
- б) Построить функцию распределения;
№=42. Элементы выборки:
1 5 1 8 1 3 9 4 7 3 7 8 7 3 2 3 5 3 8 3 5 2 8 3 7 9 5 8 8 1 2 2 5 1 6 1 7 6 7 7 6 2
Решение.
- а) построение ранжированного вариационного ряда:
- 1 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 3 3 4 5 5 5 5 5 6 6 6 7 7 7 7 7 7 7 8 8 8 8 8 8 9 9
- б) построение дискретного вариационного ряда.
Вычислим число групп в вариационном ряду пользуясь формулой Стерджесса:
Примем число групп равным 7.
Зная число групп, рассчитаем величину интервала:
Для удобства построения таблицы примем число групп равным 8, интервал составит 1.
Рис. 1 Объем продаж магазином товара за определенный промежуток времени
Статистический ряд распределения – это упорядоченное распределение единиц совокупности на группы по определённому варьирующему признаку.В зависимости от признака, положенного в основу образования ряда распределения, различают атрибутивные и вариационные ряды распределения .
Наличие общего признака является основой для образования статистической совокупности, которая представляет собой результаты описания или измерения общих признаков объектов исследования.
Предметом изучения в статистике являются изменяющиеся (варьирующие) признаки или статистические признаками.
Виды статистических признаков .
Атрибутивными называют ряды распределения
, построенные по качественным признакам. Атрибутивный
– это признак, имеющий наименование, (например профессия: швея, учитель и т.д.).
Ряд распределения принято оформлять в виде таблиц. В табл. 2.8 приведён атрибутивный ряд распределения.
Таблица 2.8 - Распределение видов юридической помощи, оказанной адвокатами гражданам одного из регионов РФ.
Вариационными рядами называют ряды распределения , построенные по количественному признаку. Любой вариационный ряд состоит из двух элементов: вариантов и частот.
Вариантами считаются отдельные значения признака, которые он принимает в вариационном ряду.
Частоты – это численности отдельных вариантов или каждой группы вариационного ряда, т.е. это числа, показывающие, как часто встречаются те или иные варианты в ряду распределения. Сумма всех частот определяет численность всей совокупности, её объём.
Частостями называются частоты, выраженные в долях единицы или в процентах к итогу. Соответственно сумма частостей равна 1 или 100 %. Вариационный ряд позволяет по фактическим данным оценить форму закона распределения.
В зависимости от характера вариации признака различают дискретные и интервальные вариационные ряды
.
Пример дискретного вариационного ряда приведен в табл. 2.9.
Таблица 2.9 - Распределение семей по числу занимаемых комнат в отдельных квартирах в 1989 г. в РФ.
Вариационный ряд
В генеральной совокупности исследуется некоторый количественный признак. Из нее случайным образом извлекается выборка объема n , то есть число элементов выборки равно n . На первом этапе статистической обработки производят ранжирование выборки, т.е. упорядочивание чисел x 1 , x 2 , …, x n по возрастанию. Каждое наблюдаемое значение x i называется вариантой . Частота m i – это число наблюдений значения x i в выборке. Относительная частота (частость) w i – это отношение частоты m i к объему выборкиn : .При изучении вариационного ряда также используют понятия накопленной частоты и накопленной частости. Пусть x некоторое число. Тогда количество вариантов, значения которых меньше x , называется накопленной частотой: для x i
Признак называется дискретно варьируемым, если его отдельные значения (варианты) отличаются друг от друга на некоторую конечную величину (обычно целое число). Вариационный ряд такого признака называется дискретным вариационным рядом.
Таблица 1. Общий вид дискретного вариационного ряда частот
| Значения признака | x i | x 1 | x 2 | … | x n |
| Частоты | m i | m 1 | m 2 | … | m n |
Признак называется непрерывно варьирующим, если его значения отличаются друг от друга на сколь угодно малую величину, т.е. признак может принимать любые значения в некотором интервале. Непрерывный вариационный ряд для такого признака называется интервальным.
Таблица 2. Общий вид интервального вариационного ряда частот
Таблица 3. Графические изображения вариационного ряда
| Ряд | Полигон или гистограмма | Эмпирическая функция распределения | |
| Дискретный |  |  |  |
| Интервальный |  |  |  |
Для графического изображения вариационных рядов наиболее часто используются полигон, гистограмма, кумулятивная кривая и эмпирическая функция распределения.
В табл. 2.3 (Группировка населения России по размеру среднедушевого дохода в апреле 1994г.) представлен интервальный вариационный ряд
.
Удобно ряды распределения анализировать при помощи графического изображения, позволяющего судить и о форме распределения. Наглядное представление о характере изменения частот вариационного ряда дают полигон и гистограмма
.
Полигон используется при изображении дискретных вариационных рядов
.
Изобразим, например графически распределение жилого фонда по типу квартир, (табл. 2.10).
Таблица 2.10 - Распределение жилого фонда городского района по типу квартир (цифры условные).
Рис. Полигон распределения жилого фонда
На оси ординат могут наноситься не только значения частот, но и частостей вариационного ряда.
Гистограмма принимается для изображения интервального вариационного ряда . При построении гистограммы на оси абсцисс откладываются величины интервалов, а частоты изображаются прямоугольниками, построенными на соответствующих интервалах. Высота столбиков в случае равных интервалов должна быть пропорциональна частотам. Гистограмма – график, на котором ряд изображен в виде смежных друг с другом столбиков.
Изобразим графически интервальный ряд распределения, приведённый в табл. 2.11.
Таблица 2.11 - Распределение семей по размеру жилой площади, приходящейся на одного человека (цифры условные).
| N п/п | Группы семей по размеру жилой площади, приходящейся на одного человека | Число семей с данным размером жилой площади | Накопленное число семей |
| 1 | 3 – 5 | 10 | 10 |
| 2 | 5 – 7 | 20 | 30 |
| 3 | 7 – 9 | 40 | 70 |
| 4 | 9 – 11 | 30 | 100 |
| 5 | 11 – 13 | 15 | 115 |
| ВСЕГО | 115 | ---- | |
Рис. 2.2. Гистограмма распределения семей по размеру жилой площади, приходящейся на одного человека
Используя данные накопленного ряда (табл. 2.11), построим кумуляту распределения.
Рис. 2.3. Кумулята распределения семей по размеру жилой площади, приходящейся на одного человека
Изображение вариационного ряда в виде кумуляты особенно эффективно для вариационных рядов, частоты которых выражены в долях или процентах к сумме частот ряда.
Если при графическом изображении вариационного ряда в виде кумуляты оси поменять, то мы получим огиву . На рис. 2.4 приведена огива, построенная на основе данных табл. 2.11.
Гистограмма может быть преобразована в полигон распределения, если найти середины сторон прямоугольников и затем эти точки соединить прямыми линиями. Полученный полигон распределения изображён на рис. 2.2 пунктирной линией.
При построении гистограммы распределения вариационного ряда с неравными интервалами по оси ординат наносят не частоты, а плотность распределения признака в соответствующих интервалах.
Плотность распределения – это частота, рассчитанная на единицу ширины интервала, т.е. сколько единиц в каждой группе приходится на единицу величины интервала. Пример расчета плотности распределения представлен в табл. 2.12.
Таблица 2.12 - Распределение предприятий по числу занятых (цифры условные)
| N п/п | Группы предприятий по числу занятых, чел. | Число предприятий | Величина интервала, чел. | Плотность распределения |
| А | 1 | 2 | 3=1/2 | |
| 1 | До 20 | 15 | 20 | 0,75 |
| 2 | 20 – 80 | 27 | 60 | 0,25 |
| 3 | 80 – 150 | 35 | 70 | 0,5 |
| 4 | 150 – 300 | 60 | 150 | 0,4 |
| 5 | 300 – 500 | 10 | 200 | 0,05 |
| ВСЕГО | 147 | ---- | ---- |
Для графического изображения вариационных рядов может также использоваться кумулятивная кривая . При помощи кумуляты (кривой сумм) изображается ряд накопленных частот. Накопленные частоты определяются путём последовательно суммирования частот по группам и показывают, сколько единиц совокупности имеют значения признака не больше, чем рассматриваемое значение.
Рис. 2.4. Огива распределения семей по размеру жилой площади, приходящейся на одного человека
При построении кумуляты интервального вариационного ряда по оси абсцисс откладываются варианты ряда, а по оси ординат накопленные частоты.
Непрерывный вариационный ряд
Непрерывный вариационный ряд - ряд, построенный на основе количественного статистического признака . Пример . Средняя продолжительность заболеваний осужденных (дней на одного человека) в осенне-зимний период в текущем год составила:| 7,0 | 6,0 | 5,9 | 9,4 | 6,5 | 7,3 | 7,6 | 9,3 | 5,8 | 7,2 |
| 7,1 | 8,3 | 7,5 | 6,8 | 7,1 | 9,2 | 6,1 | 8,5 | 7,4 | 7,8 |
| 10,2 | 9,4 | 8,8 | 8,3 | 7,9 | 9,2 | 8,9 | 9,0 | 8,7 | 8,5 |
При обработке больших массивов информации, что особенно актуально при проведении современных научных разработок, перед исследователем стоит серьезная задача правильной группировки исходных данных. Если данные имеют дискретный характер, то проблем, как мы видели, не возникает – необходимо просто подсчитать частотукаждого признака. Если же исследуемый признак имеет непрерывный характер (что имеет большее распространение на практике), то выбор оптимального числа интервалов группировки признака является отнюдь не тривиальной задачей.
Для группировки непрерывных случайных величин весь вариационный размах признакаразбивают на некоторое количество интервалов к.
Сгруппированным интервальным (непрерывным ) вариационным рядом называют ранжированные по значению признака интервалы (), гдеуказанные вместе с соответствующими частотами () числа наблюдений, попавших в г"-й интервал, или относительными частотами ():
|
Интервалы значений признака |
||||||
|
Частота mi |
Гистограмма и кумулята {огива), уже подробно рассмотренные нами, являются прекрасным средством визуализации данных, позволяющим получить первичное представление о структуре данных. Такие графики (рис. 1.15) строятся для непрерывных данных так же, как и для дискретных, только с учетом того, что непрерывные данные сплошь заполняют область своих возможных значений, принимая любые значения.
Рис. 1.15.
Поэтому столбцы на гистограмме и кумуляте должны соприкасаться, не иметь участков, куда не попадают значения признака в пределах всех возможных (т.е. гистограмма и кумулята не должны иметь "дырок" по оси абсцисс, в которые не попадают значения изучаемой переменной, как на рис. 1.16). Высота столбика соответствует частоте– числу наблюдений, попавших в данный интервал, или относительной частоте– доле наблюдений. Интервалы не должны пересекаться и имеют, как правило, одинаковую ширину.
Рис. 1.16.
Гистограмма и полигон являются аппроксимациями кривой плотности вероятности (дифференциальной функции) f(x) теоретического распределения, рассматриваемой в курсе теории вероятностей . Поэтому их построение имеет такое важное значение при первичной статистической обработке количественных непрерывных данных – по их виду можно судить о гипотетическом законе распределения.
Кумулята – кривая накопленных частот (частостей) интервального вариационного ряда. С кумулятой сопоставляется график интегральной функции распределения F(x) , также рассматриваемой в курсе теории вероятностей.
В основном понятия гистограммы и кумуляты связывают именно с непрерывными данными и их интервальными вариационными рядами, так как их графики являются эмпирическими оценками функции плотности вероятности и функции распределения соответственно.
Построение интервального вариационного ряда начинают с определения числа интервалов k. И эта задача, пожалуй, является самой сложной, важной и неоднозначной в изучаемом вопросе.
Число интервалов не должно быть слишком малым, так как при этом гистограмма получается слишком сглаженной (oversmoothed), теряет все особенности изменчивости исходных данных – на рис. 1.17 можно увидеть, как те же данные, по которым построены графики рис. 1.15, использованы для построения гистограммы с меньшим числом интервалов (левый график).
В то же время число интервалов не должно быть слишком велико – иначе мы не сможем оценить плотность распределения изучаемых данных по числовой оси: гистограмма получится недосглажепная (undersmoothed), с незаполненными интервалами, неравномерная (см. рис. 1.17, правый график).
Рис. 1.17.
Как же определить наиболее предпочтительное число интервалов?
Еще в 1926 г. Герберт Стерджес (Herbert Sturges) предложил формулу для вычисления количества интервалов, на которые необходимо разбить исходное множество значений изучаемого признака . Эта формула поистине стала сверхпопулярной – большинство статистических учебников предлагают именно ее, по умолчанию ее используют и множество статистических пакетов. Насколько это оправдано и во всех ли случаях – является весьма серьезным вопросом.
Итак, на чем основана формула Стерджеса?
Рассмотрим биномиальное распределение }
