Репрезентативность телефонных опросов

Продолжая Грушина. Февраль 2014.

Репрезентативность телефонных опросов

Тимур ОсмановФОМ

Продолжая Грушина. Февраль 2014. 2

В данной презентации под термином телефонный опрос понимается опрос населения России, проведенный на основе случайной (RDD) двухосновной пересекающейся выборке мобильных и стационарных номеров телефонов. Случайная генерация телефонных номеров опирается на информацию о задействованных диапазонах телефонной связи в России, размещенную на официальном сайте Россвязи.

Репрезентативность – это свойство выборки воспроизводить характеристики исследуемой совокупности.


Общая теория ошибок (total error framework)

КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ

НАБОРДАННЫХ

ЦЕЛЕВАЯГРУППА

ОСНОВАВЫБОРКИ

СПРОЕКТИРОВАННАЯ ВЫБОРКА

РЕАЛИЗОВАННАЯ ВЫБОРКА

ВЫВОДЫ, ЗАКЛЮЧЕНИЯ,

РЕКОМЕНДАЦИИ

[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения Ошибки репрезентации

Ошибки спецификации

Ошибки измерения

Ошибки регистрации

Ошибки вывода

Ошибки покрытия

Ошибки выборки

Ошибки неответов

Ошибки редактирования



КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ








[Lavrakas, P.J, 2013, P. 835]











Величина ошибки покрытия обусловлена долей покрытия и отличиями между охваченной и неохваченной частями совокупности.

𝑌 𝑐−𝑌 𝑇=(𝑁𝑁𝐶

𝑁 ) [𝑌 𝑐−𝑌 𝑁𝐶 ]

измеренная оценка величины Y, - оценка величины Y с учетом ошибки покрытия, - доля покрытия, - оценка величины Y для неохваченной части совокупности.




По данным ФОМ* уровень телефонизации населения России составляет 95%.

Только 5% населения России не имеют ни мобильного, ни домашнего стационарного телефона.

По данным Pew Research Center** мобильный телефон есть у 94% населения.

*Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п. У 90% населения есть мобильный телефон, у 53% населения есть стационарный телефон.

**Выборка 996 респондентов, опрос ftf проводился 5-21 марта 2013 года, погрешность не превышает 3,6 п.п. [http://www.pewglobal.org/2014/02/13/emerging-nations-embrace-internet-mobile-technology/]



Вопрос о наличии стационарного либо мобильного телефона задается в опросах ФОМ с 2011 года.

Мы знаем, что люди без телефона значительно отличаются от людей с каким-либо телефоном (мобильным либо стационарным домашним).

Однако ошибка покрытия не превышает 1 п.п. Анализировались распределения ответов на вопросы, которые были в одной анкете с вопросом о наличии телефонов.



КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ








[Lavrakas, P.J, 2013, P. 835]












Вероятность респондентов попасть в выборку зависит от их практик пользования телефонами. Например:• пожилые чаще пользуются стационарными

телефонами, молодежь – мобильными; • в селе люди часто используют мобильный

телефон в качестве домашнего;• чаще других несколькими сим-картами

пользуются жители крупных городов, люди с высшим образованием.


Ошибки выборкиСколько человек 18 лет и старше, включая Вас, проживает вместе с Вами в Вашей семье?

Есть ли у Вас личный мобильный телефон?

Скажите, пожалуйста, вы всегда один (одна) пользуетесь этим мобильным телефоном, или им пользуется несколько человек? Если несколько, то сколько именно?

Сейчас вы лично постоянно (не реже раза в неделю) для разговора пользуетесь одним номером мобильного телефона, сим-картой или несколькими? Если несколькими, то сколькими именно?

Есть ли у Вас стационарный домашний телефон?

Размер домохозяйства

Стац.

Моб.

Пользователи моб.

Количество моб.


Ошибки выборкиВероятность отбора=Моб .×

Количество моб .Пользователи моб .

+Стац .×1

Размердомохозяйства

Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью.Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п.

Опрос ftf

Телефонный опросвыравнивается

вероятность отбора

Телефонный опросбез взвешивания

50.5129112133003

47.2

38.8

44.4287230279448

45.5

58

5.05836575875486

7.4

3.2

только мобильный мобильный и стационарный только стационарный



КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ








[Lavrakas, P.J, 2013, P. 835]











Величина ошибки неответов обусловлена величиной достижимости и отличиями между опрошенной и недостигнутой частями совокупности.



Логика работы интервьюеровОшибки неответов

Дозвонились (взяли трубку)

• Техническая достижимость

Согласие на опрос

• Результат контакта с отобранным респондентом

Завершенное интервью

• Доведение интервью до конца



Технический результат дозвона:Результат дозвона*: Стац. Моб.

Дозвонились 18% 17%

Занято 10% 4%

Неверный номер 35% 34%

Нет ответа 31% 36%

Ошибка при звонке 6% 8%

Анализ телефонных опросов ФОМ, проведенных в период с августа 2013 года по февраль 2014 года. Всего 680000 телефонных номеров, задействованных в различных проектах.* Под результатом дозвона понимается результат последнего звонка на телефонный номер.


Ошибки неответовУстойчивость результата дозвона по одному и тому же номеру телефона в различных опросах

Мобильный телефонЗвонок 2

Случаев:Дозвонились Занято

Неверный номер

Нет ответаОшибка при

звонке

Звонок 1

Дозвонились 53% 3% 6% 37% 2%6205

Занято 9% 18% 36% 31% 6%1528

Неверный номер 2% 4% 59% 31% 4%12277

Нет ответа 14% 4% 26% 51% 5%12607

Ошибка при звонке 24% 3% 11% 31% 31%1522

Устойчивость 52%

Стационарный телефонЗвонок 2

Случаев:Дозвонились Занято

Неверный номер

Нет ответаОшибка при

звонке

Звонок 1

Дозвонились 71% 2% 3% 23% 1%1908

Занято 4% 65% 11% 17% 2%1695

Неверный номер 2% 4% 79% 12% 3%2850

Нет ответа 17% 6% 13% 60% 4%3107

Ошибка при звонке 7% 15% 31% 27% 20%424




Результат взаимодействия с респондентом:

Моб. Стац.полное интервью 27% 18%отказ 42% 48%моложе 18 лет 4% 4%прерванное интервью 7% 4%вне целевой группы 7% 12%другое 13% 16%

Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью



Мобильный телефон

Звонок 2

Случаев:полное интервью отказ моложе 18

летпрерв.

интервьювне целевой

группы другое

Звонок 1

полное интервью 37% 34% 2% 4% 4% 18% 1489

отказ 13% 62% 2% 4% 7% 12% 2153

моложе 18 лет 9% 24% 48% 3% 6% 10% 185

прерванное интервью 18% 49% 3% 5% 8% 17% 237

вне целевой группы 15% 40% 3% 4% 26% 12% 388

другое 24% 44% 1% 5% 6% 19% 572


Стационарный телефон

Звонок 2

Случаев:полное интервью отказ моложе 18

летпрерв.

интервьювне целевой

группы другое

Звонок 1

полное интервью 25% 44% 4% 4% 5% 19% 879

отказ 9% 65% 3% 2% 7% 13% 1887

моложе 18 лет 14% 34% 26% 3% 5% 17% 149

прерванное интервью 13% 60% 4% 9% 5% 9% 128

вне целевой группы 7% 26% 2% 1% 58% 6% 410

другое 19% 46% 3% 3% 6% 23% 593


Устойчивость результата взаимодействия с респондентом по одному и тому же номеру телефона в различных опросах



Отличия между опрошенной и недостигнутой частями совокупности:1. Мини-интервью при отказе от основного

опроса.2. Анализ прерванных интервью.


Ошибки неответовОтказникам задается несколько вопросов.

Вы проживает в городе или селе?

33% отказников ответили на этот вопрос.

В 67% случаев мы не знаем тип населенного пункта отказников.

Тип населенного пункта

Результат взаимодействия с респондентом

Отказ Полное интервью

город, пгт 81% 80%село 19% 20%респондентов 1675 3059

Анализ 3 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в январе-феврале 2014 года.


Ошибки неответовОтказникам задается несколько вопросов. Сколько полных лет Вам исполнилось?

36% отказников ответили на этот вопрос.

В 64% случаев мы не знаем возраст отказников.

Зависимость коэффициента кооперации (COOP3) от пола и возраста респондента, типа телефона.

Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью.

<= 24,00 25,00 - 28,00 29,00 - 33,00 34,00 - 38,00 39,00 - 44,00 45,00 - 50,00 51,00 - 55,00 56,00 - 61,00 62,00 - 70,00 71,00+0.3

0.4

0.5

0.6

0.7

Муж. Стац. Жен. Стац. Муж. Моб. Жен. Моб.


Ошибки неответовАнализ прерванных интервью.По подавляющему большинству вопросов значимых отличий между полными и прерванными интервью не наблюдается. Но есть и исключения. Более склонны прерывать интервью:

• пожилые люди (65+ вне зависимости от пола)• с низким доходом• без мобильного телефона• без стационарного телефона• никогда не пользовались интернетом, НЕ суточная

аудитория интернета

Анализ 22 волн телефонного опроса ФОМ ОМ, проведенных в период с апреля 2013 года по январь 2014 года. Различия в ответах на открытые вопросы не анализировались. Средняя продолжительность опросов не превышала 15 минут



КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ








[Lavrakas, P.J, 2013, P. 835]











Общая теория ошибок

Наибольший потенциал к появлению систематических смещений находится на стадии ошибок неответов.При этом ошибки неответов изучены значительно хуже других типов ошибок.Величина достижимости, а порой и сам факт её наличия, игнорируются в подавляющем большинстве проводимых в России опросов.


Тимур Османов,Фонд «Общественное мнение»,[email protected]

Спасибо за внимание!

mailto:[email protected]

Репрезентативность телефонных опросов

Marketing