Доцент факультета социологии Ксения Тенишева рассказала, можно ли доверять результатам социологических опросов, когда они не отражают реальную картину, можно ли проводить их через Госуслуги, чем плохи вопросы с двумя вариантами ответа и для чего изначально разрабатывались опросы общественного мнения.
Приводим текст интервью:
— Насколько вообще можно доверять социологическим опросам?
Доверять можно. Просто нужно понимать, что это за инструмент и как читать результаты.
Когда мы говорим об опросах общественного мнения, сомнения возникают, если в исследовании участвовала небольшая выборка людей. Например, мы видим, что опросили 1600 человек и теперь на этом основании делают выводы обо всей территории России.
Кажется, у нас такая большая страна — как можно по полутора тысячам человек судить о том, что в целом происходит? Но все в порядке. Просто нужно понимать, зачем нужны соцопросы и почему они такие. Как иногда пишут, задача опроса — сделать мгновенный снимок определенного мнения или состояния той или иной проблемы в стране. Но мы не можем «приближать» этот снимок и смотреть, как эта проблема отражается на отдельных группах людей, на регионах. Тем не менее исследователи продолжают получать информацию об общей ситуации в стране через небольшие опросы. Все дело в том, что проводить их можно быстро и недорого.
Крупнейшие центры — «Левада», ФОМ и ВЦИОМ — работают по одной и той же методологии и в целом за неделю опрашивают именно столько людей — 1600 человек. Если мы будем анкетировать 10 тысяч человек, это займет очень много времени, динамика смажется и результаты будет сложно анализировать.
В опросах ученые используют кластерную и стратифицированную выборку. Кластерная выборка — это когда сначала отбирают какую-то часть регионов, внутри них — часть муниципальных образований, потом — населенные пункты, а там — людей. Соответственно, в выборку входят далеко не все регионы и не все населенные пункты, ведь надо опросить всего 1600 человек.
Отдельных респондентов отбирают уже по стратифицированной выборке. Это значит, что исследователи учитывают некоторые показатели всей популяции в целом: какова доля мужчин и женщин в России, сколько людей какого возраста, какое у них образование. Эти итоговые 1600 человек представляют ту же половозрастную структуру населения страны старше 18 лет в целом. Также внутри этой группы доли людей с разным уровнем образования соответствуют распределению по стране в целом.
Все опросы общественного мнения в мире строятся на так называемом взвешивании. Сначала мы опрашиваем совокупность людей, которую можем, а потом, зная доли респондентов разного пола, возраста и так далее в генеральной совокупности в стране, можем данные скорректировать. Разные международные исследования показывают, что такой подход хорошо работает с опросами. Это касается и опросов общественного мнения, и экзитполов — когда люди выходят с избирательных участков и их спрашивают, за кого они голосовали.
Благодаря тому, что мы с вами знаем структуру общей совокупности, то есть структуру населения России, мы можем вносить коррективы и получать довольно надежный результат.
Чего мы не должны ожидать от таких опросов? Они нерепрезентативны по подгруппам и кластерам, то есть, например, отдельным регионам или типам населенных пунктов. Мы не можем сказать, что конкретно в Санкт-Петербурге люди думают так же, как, с точки зрения опроса, по всей России. Мы получаем общую, очень усредненную картину, которая может не воспроизводиться в определенных местах или социальных группах. В этом есть своеобразный трюк: человек смотрит на результаты исследования, видит общую ситуацию и применяет ее к себе. Но никто дополнительно не объясняет, что это так не работает.
— Что не могут показать результаты опросов?
Опросы — это скорее про тренды. Мы не должны зацикливаться на конкретных процентах: 13% или 16% — эти числа мало о чем говорят. Мы можем посмотреть, какие категории людей больше склоняются к какому-либо мнению, без количественных уточнений. Не стоит сопоставлять разницу между условными группами «за» и «против» и думать, что это что-то значит.
Тем более что с точки зрения статистики исследователи часто не показывают необходимые параметры, чтобы мы могли быть уверены, есть там разница или нет. Когда мы сопоставляем группы, смотрим как минимум на «стандартную ошибку» — величину, которая характеризует случайную ошибку выборки. Ее никогда не показывают в результатах опросов общественного мнения, поэтому мы не можем ничего сопоставлять с уверенностью.
Кроме того, некоторые группы людей могут целиком выпадать из поля зрения исследователей. И возможно, мы об этом даже не узнаем, потому что агентства, которые проводят опросы общественного мнения, контролируют респондентов только по полу, возрасту и образованию. В итоге в число респондентов не включат, например, какие-то профессиональные группы. Или, что более очевидно, тех, кто не доверяет опросам общественного мнения и не хочет в них участвовать.
— Доверяют ли люди тем, кто их опрашивает?
Агентства нанимают вызывающих доверие интервьюеров, в основном женщин средних лет. Они ни у кого не вызывают напряжения, кажутся приятными собеседниками, не пугают, с ними более охотно разговаривают.
Главная проблема в том, что мы видим результаты только по тем респондентам, которые дошли до конца анкеты. Поэтому те, кто вообще не доверяет опросам как инструменту или опросам на определенную тему, скорее всего, не окажутся в этой истории. У нас нет никакого представления о тех людях, которые выпали из анкетирования.
На сайте ВЦИОМа указано, что доля респондентов, которые доходят до конца опроса, составляет 2% — это мало. Когда я училась, мы обсуждали опросы, которые проводят по городскому телефону: у них доходимость была не выше 10%. И уже тогда говорили о том, что это очень низкий процент.
Сейчас ВЦИОМ перешел на опросы, которые проводят по мобильному телефону. Мне кажется, это отчасти объясняет маленькую доходимость. Людям постоянно звонят мошенники — и вообще, если нам нужен человек, можно ему написать. А если это мошенник, то зачем с ним разговаривать? Даже если кто-то берет трубку, он должен еще поверить в то, что идет настоящий соцопрос и что это не закончится мошеннической схемой.
В итоге получается, что наша генеральная совокупность — это не население России старше 18 лет, а население России старше 18 лет, готовое участвовать в опросах. В идеале, когда мы смотрим на динамику результатов какого-то опроса, мы должны предполагать, что генеральная совокупность не изменилась — и в 2018 году это были те же люди, которые отвечают на вопросы в 2023. У меня есть большие сомнения по этому поводу. В том числе и потому, что тогда не было так распространено телефонное мошенничество.
— В каком случае можно сказать, что опрос не отражает реальную картину?
С точки зрения репрезентативности, как ни странно, проблемы на самом деле нет: совпадают доли образованных и необразованных, мужчин и женщин — и так далее. Другой вопрос — насколько результаты валидны. То есть действительно ли они характеризуют то, что мы хотим понять, задавая вопросы. Это история не совсем про проценты. У всех исследователей сейчас большие трудности с тем, чтобы добиваться от людей ответов: люди устают участвовать в опросах — таких исследований становится все больше и больше.
В целом, если методика соблюдается и не ломается где-то в середине, когда интервьюер уже просто хочет наконец-то добрать эти 30 человек, которых нам нужно доопросить, то ничего чудовищного не должно происходить. Исследователь ведь продолжает выбирать людей из того же списка, по той же технологии, просто далеко не все сразу соглашаются разговаривать.
В идеале нужно анализировать и тех, кто отказался от ответа. Но мы вряд ли узнаем, кто и почему не хочет участвовать в опросах.
Нельзя сказать, что 2% доходимости — это какая-то чудовищная характеристика, говорящая о низком качестве исследований. Это скорее история про условия работы и в целом проведения опросов. Сейчас тяжело добиться того, чтобы люди отвечали на наши вопросы, — это факт.
— Есть такое понятие, как «социально желаемые ответы». Как разработчики пытаются избежать их?
Социально желаемые ответы мы даем, если чувствуем давление. В обществе существует определенная норма. Например: мучить котят — плохо. И если вы среднестатистический человек, то приятной незнакомой женщине средних лет вы не скажете: «Я считаю, что мучить котят — это хорошо», — а дадите социально ожидаемый ответ.
Социально желаемые ответы чаще всего возникают в вопросах про ценности, когда человек должен озвучить, хорошо что-то или плохо. В идеале мы должны избегать формулировок, в которых понятно, что хорошо, а что плохо, и в принципе не должны задавать такие вопросы. Если очень хочется, то можно, но потом придется проводить сложную корректировку, которая будет учитывать, что у этого ответа был «правильный» вариант.
При этом в опросах общественного мнения сложно избежать градации правильности. Выход — задавать много категорий ответа. Потому что, если их будет всего две, вы заставите человека выбрать «правильный» ответ. Например, в опросах про доверие к органам власти всего два варианта: «скорее доверяю» и «скорее не доверяю». В опросах про оценку деятельности правительства — тоже: «скорее хорошо» и «скорее плохо». Здесь у нас в вариантах ответов содержатся напрямую слова «хорошо» и «плохо».
Поэтому лучше предлагать респондентам выбор из длинной шкалы: например, оцените работу правительства по шкале от 1 до 10. Если все считают, что правительство работает хорошо, мы увидим, что варианты 4, 3, 2, 1 никто не использовал. Но и в таком случае у нас будет градация — от 5 до 10. В ситуации, где у нас всего два варианта — «плохо» и «хорошо», — никакой вариативности мы не получим. Более того, заставим отвечать, что все хорошо, людей, которые недовольны работой правительства, но хотя бы немного сомневаются в том, что это именно «плохо». Все дело в том, что, если человек сомневается, он, скорее всего, выберет более мягкую категорию. Тот, кто говорит про «плохо», действительно в это верит.
В итоге вопросы про отношение к чему-либо всего с двумя вариантами ответов — это всегда не очень хорошо. Но таким формулировкам есть объяснение. В опросах, которые проводят по телефону, нужно давать максимально простые фразы. При этом попросить респондента оценить что-то по шкале от одного до десяти тоже не так сложно.
Бывают ситуации, когда мы заставляем людей выразить свое мнение, а его нет. Например, человек ничего не думает об интернете, но вынужден выбирать один из двух вариантов.
— Как часто результаты опросов влияют на принятие законов, на решение острых проблем?
Честно скажу, такой статистики у меня нет, и я не уверена, что она есть хоть у кого-то. Мы с коллегами много раз обсуждали, что данные опросов используют не для того, чтобы подвести базу под грядущие изменения, а для того, чтобы объяснить уже принятый закон.
Конечно, опросы общественного мнения было бы здорово проводить как раз перед тем, как принимать какое-то решение, заранее узнавать, примут ли люди то или иное изменение. Но исследования не стоит использовать отдельно от хорошей аналитики данных. Опросы общественного мнения — довольно ограниченный инструмент. Они дают очень общий срез того, что люди думают или чего хотят.
Тем более что сейчас у нас есть множество разных источников данных. Здесь тоже есть свои ограничения, но кажется, что если мы будем объединять разные источники и типы данных, то это должно дать самую прозрачную и обоснованную базу для принятия управленческих решений.
Вообще, опросы общественного мнения разрабатывались в том числе как база для принятия решений. Мы должны сначала узнать, что происходит в обществе, а потом что-то с этим обществом делать.
— Эффективны ли публикации петиций и сборы подписей под ними на сайтах вроде Change.org, влияют ли они на что-либо?
Change.org, кажется, не влияет: это не российская площадка, и в этом большая проблема. Пользователи платформы из нашей страны часто просто не знают, что нет никакого формального правила, согласно которому наши власти должны обращать внимание на такие петиции.
Но есть российские порталы, которые связаны с муниципальными властями. Это могут быть площадки, куда петербуржцы и москвичи выкладывают сообщения о проблемах с благоустройством и содержанием территории и так далее. Чиновники обязаны отрабатывать эти обращения.
С конца прошлого года все региональные органы власти должны были завести свои страницы во «Вконтакте». Там действительно что-то происходит: люди приходят, высказывают мнение. Можно отследить, что локальные органы власти, например депутаты, взаимодействуют с гражданами, пытаются работать с возражениями, учитывать интересы населения.
— Почему политики, медиа, коммерческие компании так любят ссылаться на исследования общественного мнения?
Последние сто лет у нас происходит большой поворот в сторону научного знания. И у людей есть представление о том, что наука — это хорошо. Она многое обосновывает, достаточно объективна. А соответственно, результаты, полученные научными методами, вызывают доверие.
Вроде бы это действительно так работает — с обеих сторон. Люди, которые пользуются этими результатами, чтобы что-то обосновать и продемонстрировать, считают, что их аудитория верит в научное знание. Когда она смотрит на результаты, полученные научным путем, тоже им в какой-то мере доверяет, потому что верит в науку. Проблема здесь, конечно, в том, что нас не учат читать эти результаты, интерпретировать их. Мы просто иногда смотрим как завороженные и думаем, что, если есть числа и проценты, значит, все действительно так: никто же не будет их брать с потолка.
Это в какой-то мере манипуляция, простой способ обосновать, что вы хотите донести до аудитории. Хотя цифры сами по себе ни о чем не говорят — а начинают говорить, когда вы придаете им какой-то смысл. Интерпретация — ключевой момент в представлении любых результатов. К сожалению, мы видим, что многие не умеют читать даже самые простые статистические результаты, графики. Могут даже неспециально ошибочно интерпретировать результаты: смотреть на таблицу и по-своему объяснять, о чем она говорит.
Этого довольно много — манипуляции могут быть как случайными, так и намеренными. Нужно очень аккуратно смотреть, что за проценты перед нами, откуда взялись цифры, которые нам показывают, кто их собрал, какие вопросы задавали. Каждый раз, когда вы видите статистику в качестве иллюстрации чего бы то ни было, нужно искать источник данных: какое агентство проводило исследование, какая компания его спонсировала. И только потом возвращаться к результатам опроса.
Порой журналисты используют результаты опросов, которые никак не соотносятся с темой статьи. Все потому, что цифры часто вводят нас в состояние абсолютного доверия.
— Как понять, что информации, которая опирается на опросы, можно верить?
Стоит проверить, упоминаются ли в материале сами вопросы, которые задавали респондентам. Если их нет, это сразу вызывает недоверие: теперь я должна идти искать первоисточник и узнавать, что же конкретно спрашивали. А почему вы мне не показали этого здесь? Статья без грамотного цитирования должна настораживать.
Проценты — это очень хорошо. Но если фокус делается именно на числах, возможно, тоже стоит с некоторым скепсисом отнестись такой информации. Если в материале, который вы читаете, размышляют о каких-то трендах на основе опросных данных, делают упор именно на небольших численных различиях, то стоит засомневаться, потому что различия в конкретных цифрах мало о чем говорят. Все-таки опросы общественного мнения больше про тренды.
Если в статье встречаются рассуждения о том, кого больше, кого меньше или как в динамике представителей какой-то группы становится больше или меньше, — это ок. Если же давят на числа, пишут, что эта разница составляет 2% и, соответственно, группа А согласна с чем-то в большей степени, чем группа Б, смотреть на это стоит очень осторожно.
Опять же, всегда есть вопрос интерпретации. Например, кто-то может сказать, что изменение в плюс 5% — это рост: например, доверие к институту здравоохранения выросло на 5%. А кто-то, в свою очередь, будет уверять, что доверие почти не изменилось, потому что 5% — это совсем немного. Все будет зависеть от источника информации и от заявления, которое хочет сделать этот источник.
По-хорошему, нужно знать, кто проводил исследование. Если это крупное опросное агентство, самой статистике можно спокойно доверять. Такие организации делают все по очень налаженной, отработанной годами схеме.
Также нужно быть аккуратными с графиками, которые нам любят показывать в дополнение к числам. Есть очень старая книга «Как лгать при помощи статистики». Там много примеров из газет, как можно манипулировать впечатлением читателя о результатах какого-то опроса с помощью графиков. Например, выбирать разную шкалу: сделать максимальным значением 100% и 30%. А изменения показателей кажутся более впечатляющим, если шкала имеет меньший максимум. График может заставить вас переоценить или недооценить какой-то факт. Авторы представляют что-то как рост, а что-то как отсутствие роста просто за счет того, как это выражено визуально.
— Смогут ли госуслуги проводить социологические опросы?
В обозримом будущем опросы останутся лучшим способом получения информации об общественном мнении. Сейчас поступают новые типы данных и новые источники, но они позволяют исследовать немного другую информацию об обществе. Это если мы говорим про те же данные из социальных сетей. Это не совсем про мнение. Мы не можем получить там ответ на вопрос, который в конкретный момент нас интересует.
Люди должны доверять госуслугам, если хотят поделиться мнением вместе со своими паспортными данными. Я бы сказала, что этот сервис мне не кажется перспективным: когда вас спрашивают о чем-то по телефону или на улице, вы хотя бы не сообщаете интервьюеру имя, фамилию и номер паспорта. На госуслугах человек полностью деанонимизирован, что еще сильнее подталкивает его давать социально желаемые ответы. Поэтому, если на госуслугах запустят опросы, я отнесусь к ним с большой долей недоверия.
В последние годы интернет начинают все чаще использовать для сбора информации об общественном мнении — и это тоже неплохой источник. Но есть свои ограничения.
Первое: люди должны иметь доступ к интернету и активно им пользоваться, чтобы участвовать в таких опросах. Это создает перекос в пользу более развитых регионов и молодых респондентов. Второе — проблема самоотбора: в опросе будут участвовать только те, у кого есть на это желание и время. Возможно, это какая-то специфическая группа людей, но мы не знаем ее характеристик. Третье: так как опросы анонимные, мы не можем контролировать респондентов по демографическим характеристикам — возрасту, образованию — и наша выборка вряд ли будет репрезентативной.
Для последней проблемы есть решение. Возможно, дальше оно будет активно использоваться и расти. Речь о специальных площадках, где пользователю платят за участие в разных активностях, включая опросы. В России, например, это «Яндекс-толока». Существуют и международные площадки. Там вы можете просматривать видео за небольшую плату, писать комментарии — и в том числе участвовать в опросах общественного мнения.
Мне кажется, дальше мы будем все активнее объединять разные источники данных: опросы в интернете, по телефону и на улице с какой-то информацией на основе больших данных.
— Как влияет вознаграждение, которое человек получает за прохождение опроса, на результаты?
Есть широкое поле исследований, как нужно вознаграждать за опросы: и материально, и нематериально. Агентства, которые изучают общественное мнение, обычно никак не поощряют респондентов — но задают всего пять вопросов, чтобы не отнимать у человека много времени. Поэтому тот сам не ждет какого-то вознаграждения.
Но социологические опросы могут быть очень большими. У ФОМа, например, есть омнибусы — огромные анкеты, в которых содержатся вопросы обо всем на свете. Целый талмуд, который нужно заполнить. Внутри разные вопросы: от доверия правительству до предпочитаемой марки стирального порошка. В таком случае человек потратит много времени, ему хочется получить подарок.
В этом плане есть два подхода: вознаграждать респондента до опроса или после него. Как ни странно, лучше, чтобы вознаграждение давали заранее. Представим ситуацию: к вам подошли на улице и дали воздушный шарик, но потом выясняется, что за него нужно заплатить. Начинает работать психологический эффект владения: вам уже что-то дали, вы не хотите с этим расставаться, поэтому нужно сделать что-то, чтобы оставить вещь себе.
Почти то же самое происходит с заполнением анкеты. Подарок больше порадует заранее, чем если бы вы сначала заполнили этот талмуд, а потом получили условный набор фломастеров или шоколадку. Ведь вы уже устали от этого опроса — и кажется, что вознаграждение могло бы быть больше. Если же что-то дали сразу, человек благодарен. Такой подход стирает ощущение несоизмеримости вознаграждения и вложенного труда.
Повторюсь, что есть сервисы вроде «Толоки», в которых ответы становятся трудом, за который платят. К такому подходу возникают методологические претензии. Если вы отвечаете на один опрос раз в полгода, или, как со многими случается, раз в несколько лет, то просто закончите и пойдете дальше. Но если вы таким образом зарабатываете, насколько искренне будете отвечать на эти вопросы? С какого момента начнете рутинно заполнять опросники?
У опросов вполне понятная структура, потому что они все основаны на одной методологии. И если человек занимается этим редко, он ее не прочувствует и будет отвечать так, как хотят социологи: искренне, правильно пользуясь шкалами. Но если он пройдет много таких опросов, то поймет, как устроена механика, и сможет хакнуть систему. Есть опасность, что люди, которые заполняют много анкет за деньги, в какой-то момент перестают быть ценными респондентами и становятся профессиональными отвечателями.