20127 ответов в этой теме

[lange97]

Куратор довозила нас до района или города/посёлка/н.п. Из багажника доставала пачку анкет.

Опрос про великих людей в истории России проводился, как пишет Левада, так:

Опрос был проведен 7–10 апреля 2017 года среди 1,6 тысячи человек в возрасте 18 лет и старше в 137 населенных пунктах 48 регионов страны.

Это в среднем по 12 человек на наспункт. Это громадная пачка анкет для группы, в которой "должно было быть 15 человек"? Чё за ужастик?

[egor]

Чё за ужастик?

А в Леваде должны были написать о проведении опросов так, как участница описывала?

[egor]

"Власти Москвы отказали партии ПАРНАС в согласовании акции «За свободный интернет» 9 июля в связи с проведением Кубка конфедераций в столице."

Не совсем понял. В Москве проводят какой то свой Кубок? Вообще то завтра финальный матч и за третье место.

[Sasha]

А в Леваде должны были написать о проведении опросов так, как участница описывала?

Истина, как всегда, где-то посередине. Но даже при честно проведенном опросе они обязаны делать поправку на то, что он был проведён в группе людей, готовых отвечать на дурацкие вопросы. Вот вы готовы, неизвестно кому, для каких целей и особенно если их много? Один из способов вносить поправку - это как-то замаскировать целевые вопросы.
Лет 15 назад мне прислали толстый журнал-опросник, предлагая оценить кучу торговых сетей и продуктов разных производителей (большинством я даже не пользовался; помню, что там было офигенное количество сортов разных чипсов). Я его выкинул. Потом они мне снова его прислали и предложили за ответы какой-то подарок. Потом прислали снова - подарок стал лучше. Сломался я, когда они предложили мужские и женские часы (неплохие, мы ими потом довольно долго пользовались). Причём, отвечал я, естественно, очень халявно - страниц в опроснике было очень много, и как оценить по десятибалльной шкале то, чем не пользуешься (вариант "затрудняюсь ответить" был далеко не всегда). Так вот вопрос в том, а что они хотели получить в этом опросе? Выбирали те продукты и магазины, на которые я ответил уверенно (при наличии ответа "затрудняюсь ответить")? Или на самом деле они изучали, кто сломается на каком уровне оплаты за ответы в зависимости от возраста, образования и тп?

[Mara]

забавный инсайд на все эти опросы

Там в тексте в самом конце

P.S.
1) сколько лет вы живёте на одном месте?
2) сколько раз к вам приходили с анкетами из Левады?
3) сколько раз они приходили к вашим родственникам - друзьям - знакомым?
Свидетели Иеговы неоднократно стучались, цыгане регулярно, а вот из Левады - ни разу.

Вот и у меня так - 30 лет живу на одном и том же месте, кто только не бродил по нашему дому за это время и не звонил во все квартиры на площадке - и поговорить о боге, и куча разных торговцев со всякими пылесосами, миксерами и утюгами, а вот Левады не было ни разу. И ни у кого из знакомых не было. Поэтому верю этой участнице.

[Sasha]

а вот Левады не было ни разу.

Ну если Левада делает свои опросы по "12 человек на наспункт", то в этом нет ничего удивительного.
А не от Левады, а от другого статистического центра неужели к тебе с опросами ни разу не приходили и не звонили?

Для опросов по всей стране крупные центры иногда нанимают мелкие, а потом дополнительно обрабатывают их информацию и проверяют - в частности, звонят по указанным телефонам (не по всем, естественно, а наугад).

Но даже при честно проведенном опросе они обязаны делать поправку на то, что он был проведён в группе людей, готовых отвечать на дурацкие вопросы.

Я почти уверен, что даже если опрос проводится нормально (в чём я не очень уверен), такая поправка не делается.

[Mara]

А не от Левады, а от другого статистического центра неужели к тебе с опросами ни разу не приходили и не звонили?

В том-то и дело, что звонят часто. И какой-то соцопрос приходил очень давно, не от Левады, а от чего-то местного. Но по телефону я отказываюсь сразу, а открывать тем более не стала бы, но кто звонит в дверь, интересуюсь.
Согласна что могла не попасть, но хоть кто-то из знакомых смог бы? Я прочитала, что Левада придерживается исключительно бумажного опроса - не по телефону.

[Mara]

Для опросов по всей стране крупные центры иногда нанимают мелкие, а потом дополнительно обрабатывают их информацию и проверяют - в частности, звонят по указанным телефонам (не по всем, естественно, а наугад).

и тем не менее, назваться же они должны?

[Sasha]

Согласна что могла не попасть, но хоть кто-то из знакомых смог бы?

При описанном ими единичном охвате (12 человек на город) вероятность очень мала.

и тем не менее, назваться же они должны?

понятия не имею - думаю, что вполне достаточно назваться тем, кто проводит опрос по поручению Левады

[Mara]

понятия не имею - думаю, что вполне достаточно назваться тем, кто проводит опрос по поручению Левады

Но не было никого. Сказала уже - поговорить о боге, продавцы всякой ненужной хрени, картошки, меда, сахара, приглашающие на ярмарку и т.д. И никаких квартирных опросов. Я вот не уверена, что им вообще удается проводить опросы с живыми людьми, обходя квартиры. Народ не очень торопится двери распахивать перед такими сейчас. Скорее, дома потом сами заполняют анкеты.

[Sasha]

Но не было никого.

как это никого?

В том-то и дело, что звонят часто. И какой-то соцопрос приходил очень давно, не от Левады, а от чего-то местного

[Mara]

А опросы по телефону - там сразу представляются и называют предмет - чаще всего это либо какие-то косметические фирмы или операторы связи.

[Sasha]

Я там выше написал про такой опрос. По-настоящему серьёзная социологическая фирма спрашивает про косметику или телефоны, а на самом деле делает выводы о чём-то другом - например, о финансовом благосостоянии населения.

[Mara]

По-настоящему серьёзная социологическая фирма спрашивает про косметику или телефоны, а на самом деле делает выводы о чём-то другом - например, о финансовом благосостоянии населения.

Ну это известно.

как это никого?

"Очень давно" - это в прошлом веке. Так что есть все основания полагать, что не ходят они по квартирам, а заполняют анкетки сами.

Сообщение изменено: Mara (01 Jul 2017 - 12:42)

[Sasha]

Так что есть все основания полагать, что не ходят они по квартирам

Или опрашивают по телефону.
Ты про вообще или про Леваду конкретно? Если про Леваду, то 12 опрошенных человек на многомиллионный город ты среди своих знакомых скорее всего не заметишь, даже если они каждый день опросы делать будут. Что, правда, не говорит о достоверности их опросов - ни в положительную, ни в отрицательную сторону. Я лично им не очень доверяю, но тот рассказ, гуляющий по ФБ, считаю вбросом, сделанным для каких-то определённых целей (что, опять же, не означает, что та история не похожа на правду безотносительно какого-то конкретного опроса или проводящей его фирмы - очень похожа!)

[lange97]

Я лично им не очень доверяю, но тот рассказ, гуляющий по ФБ, считаю вбросом, сделанным для каких-то определённых целей

https://twitter.com/levada_ru/status/880397037358940160

[Mara]

Или опрашивают по телефону

Не опрашивают они по телефону.

– У Левада-центра есть специфика по сравнению с ВЦИОМом или ФОМом? Они больше или меньше пользуются современными технологиями?

– К сожалению, Левада-центр по сравнению с ФОМом и ВЦИОМом отстает. Лев Гудков (директор Левада-центра. – Republic) занял ретроградскую позицию в этом вопросе. Он искренне верит, что поквартирные бумажные опросы позволяют получать более искренние ответы. Мы много полемизировали с ним и его командой, но у него есть свои доводы. Они основаны не на методических экспериментальных планах, а на его личных убеждениях. В методических кругах с удивлением обсуждается, что один из игроков большой тройки опросных компаний часто использует устаревшие технологии, да еще их активно защищает.

Отсюда https://republic.ru/posts/84417

[Mara]

https://twitter.com/...397037358940160

Оттуда же из комментов

Незавидная у вас судьба, то одни мочат, то другие)))

Вечно обиженные и недооцененные какие-то)

[Sasha]

В методических кругах с удивлением обсуждается, что один из игроков большой тройки опросных компаний часто использует устаревшие технологии, да еще их активно защищает.

Думаю, что он прекрасно понимает, что устаревшая технология при опросе небольшого количества людей (12 на город) надёжнее суперсовременной технологии с большой выборкой, если она будет проводиться примерно так, как описано в том "инсайде" (а риск этого крайне велик)

[Mara]

Думаю, что он прекрасно понимает, что устаревшая технология при опросе небольшого количества людей (12 на город) надёжнее суперсовременной технологии с большой выборкой, если она будет проводиться примерно так, как описано в том "инсайде" (а риск этого крайне велик)

В результате наблюдений и реализации экспериментальных планов мы получили устойчивую цифру: около 40% анкет, собираемых на бумаге, фабрикуются интервьюерами. Независимо от компании. Это классические поквартирные опросы, которые делаются для социально политических исследований Левада-центром, ФОМом и ВЦИОМом и крупными маркетинговыми компаниями, которые тоже занимаются социальными опросами.
...
А когда перешли на планшеты, обнаружили, что и там фабрикаций хватает. Они просто становятся другими. Но их меньше. Если на бумаге это около 40% фабрикации, что очень много, то на планшетах это уже около 10–15%, что уже более-менее. А если компания проводит нормальный методический аудит и хорошо налажен оперативный контроль, эту цифру можно снизить до 2–4%. Но и телефонные опросы постепенно теснятся новыми технологиями. Лет через пять-десять, полагаю, они будут вытеснены онлайн-технологиями.

[egor]

Вечно обиженные и недооцененные какие-то

В смысле властью обиженные и недооцененные?

[Mara]

Ну и про "тот инсайд", конечно, есть.

- Вы читали пост бывшей опросчицы о том, как она рисовала цифры? Что вы о нем думаете?

– На мой взгляд, автор поста в разы преувеличил и раскрасил полевую ситуацию, и на деле получилось выпячивание частного случая. Например, фразы вроде «все и всегда говорили», обобщения, что анкеты заполняются дома всеми, – это явные преувеличения. Интервьюеры в таких полях редко общаются друг с другом и не могут судить обо всех. Супервайзеров не называют кураторами, такое деление на группы выглядит очень странным, а смещение выборки не может быть таким большим, чтобы 98% были людьми от 60 лет. Любой долго работающий в отрасли человек видит подлог в таком тексте.

Но отстраняться от него, делать вид, что это никчемная, постановочная провокация, тоже не следует.

К сожалению, дальше не видно, подписка на издание нужна. Наверняка появится где-то текст целиком, если уже не появился.

В смысле властью обиженные и недооцененные?

Всеми, "то одни мочат, то другие.."

[Sasha]

В результате наблюдений и реализации экспериментальных планов мы получили устойчивую цифру: около 40% анкет, собираемых на бумаге, фабрикуются интервьюерами.

Наблюдения проводились сторонней организацией или той же, что собирает данные, то есть примерно с такими же подтасовками, что и сам сбор данных?

[lange97]

Не опрашивают они по телефону.

Что заказывают, так и проводят, телефонные опросы в том числе. Смотри виды исследований на их сайте.

[lange97]

Борис Овчинников
28 июня в 14:46 ·

Spoiler

..
Сегодня много репостят и лайкают пост Эльжбета Руммель (не знаю, кто это) о том, как она когда-то оказалась вовлечена в фальсификацию результатов опросов общественного мнения. Конкретно она пишет про опросы Левада-центра (сам пост она написала как объяснение того, откуда берутся фантастические результаты опросов вроде Сталина как гения всех времен и народов)
Поскольку тема проведения опросов и их качества мне не совсем чужда, и поскольку из истории непонятного уровня достоверности уже делаются далекие и категоричные выводы, не могу промолчать
1. В рассказе Руммель много деталей, которые заставляют сомневаться в его достоверности или как минимум в его точности. Например, выезды в пригородные точки опроса, в которых "по бумагам" участвовало до 15 человек - насколько я понимаю, на самом деле типичная практика это выезды по 2-3 человека. Или что якобы главное, что требовал бригадир - зафиксировать ФИО опрошенного. Хотя стандартно ФИО вообще не фиксируется - фиксируется телефон и имя. Или вот например девушка вообще не упоминает слово "квоты" - хотя любой интервьюер знает, какой это ужас и морока
2. Реакция автора рассказа на появившиеся вопросы только усиливают эти сомнения. Мне Эльжбета запретила комментирование в своих постах после того, как я всего лишь спросил про детали, вроде того, когда и где это происходило (судя по другим ее репликам, возможно речь про Поволжье). Всех сомневающихся она считает сотрудниками Левада-центра, которые набежали к ней в комменты спасать свою возможность пилить халявное бабло
3. Версия, что рисование анкет является универсальной и централизованно насаждаемой практикой, не выдерживает проверки логикой. Зачем Левада-центр тратит деньги на бригадиров и интервьюеров, если данные все равно рисуются? Зачем бригадир платит деньги интервьюерам - вместо того, чтобы самой заполнить анкеты? Что-то не сходится
4. При этом ситуация с качеством работы полевых интервьюеров действительно печальная. Я за последние 20 лет имел неоднократную возможность анализировать исходные данные ("массивы") общероссийских опросов, притом проводившихся разными компаниями. И всякий раз детальный анализ приводил к выводу, что в части "точек" (точка - населенный пункт) доля нарисованных анкет и нарисованных ответов столь велика, что ловится статистически. По последним массивам, которые я видел, доля таких "левых" точек - 20-40% (моя субъективная оценка)
5. Проблема с честностью интервьюеров - это не проблема Левада-центра. Это проблема всех "поллстеров". Надо учитывать, что (насколько я знаю и слышал от коллег) ни у кого нет собственной сети интервьюеров, которая бы покрывала всю страну - в большинстве регионов общероссийские поллстеры прибегают к услугам местных команд. Все - Левада, ВЦИОМ, ФОМ - вынуждены полагаться в конкретном регионе часто на одну и ту же бригаду. И у всех (конкретно про Левада-центр не скажу - их массивов никогда не видел) есть проблема с рисованными результатами по части точек
6. При этом мне непонятно, почему ту кривизну в результатах по отдельным точкам, которые могу я увидеть на данных одного опроса (а часто даже не на всем опросе, а на кусочке из нескольких вопросов), не замечают аналитики самих социологических служб - которым по каждой точке (бригаде, сотруднику) доступны данные не по 10-20 анкетам, а по сотням анкет, накопленных за разные опросы. Нежелание ворошить муравейник приводит к тому, что из года в год одни и те же люди из одних и тех же регионов гонят левые анкеты
7. Если действительно все было так, как рассказывает Руммель (упор на фиксацию ФИО, рисование совсем наобум, полное отсутствие контроля качества), то возникает вопрос - а действительно ли это были опросы Левада-центра? Случаи, когда опрашивающие выдают себя за представителей известной социологической службы, кажется не так уж и редки
8. Даже если все так, как описывает Руммель (опрашивают только 2 человек, и то не по полной анкете, а все остальное заполняют от балды), это не объясняет лидерства Сталина в вопросе о самых выдающихся людях всех времен и народов. Если Сталина часто указывали в "рисованных" анкетах, значит его достаточно часто называли и те реально опрошенные, ответы которых недобросовестные интервьюеры брали за пример. Может быть реальный результат и не 38% - но все равно Сталин явно среди лидеров
(извините за много букв)