влажность: давление: ветер: | влажность: давление: ветер: | влажность: давление: ветер: |
Социология не сводится к рейтингам, но здесь мы говорим в основном о них. Написать эту статью авторов побудила полная неопределенность среди знакомых интеллектуалов в вопросе доверия цифрам опросов. Критерии качества социологии, дрейфующие в информационном пространстве, не отражают самую интересную сторону работы с данными – расследование обмана.
Наша задача состоит не в том, чтобы опровергнуть все существующие произвольные критерии качества. А в том, чтобы наглядно изложить сведения о практических проблемах и, тем самым, рассказать об инструментах самостоятельной оценки результатов опросов.
Наша задача состоит не в том, чтобы опровергнуть все существующие произвольные критерии качества. А в том, чтобы наглядно изложить сведения о практических проблемах и, тем самым, рассказать об инструментах самостоятельной оценки результатов опросов.
В статье приведены наши авторские обобщения разновидностей преднамеренного и скрытого искажения социологической информации. Полученные нами выводы основываются на частной практике, длящейся уже больше 10 лет. Выводы намерено приведены в общем виде без привязки к конкретным ситуациям и персоналиям.
Сложно оценить точно, сколько всего имеется в нашей стране реально действующих социологических фирм. По нашим представлениям количество «цельных» фирм, работающих круглый год примерно равно 30.
Оборот индустрии по данным ESOMAR* в 2013 составил 61 миллион долларов США (Global Market Research 2014, стр. 100). При этом отрасль изучения общественного мнения и конъюнктуры рынка ориентирована на внутренний спрос — 98% клиентов резиденты Украины (контракты с подрядчиками, исключая субподряды). 85% оборота отрасли составляли так называемые количественные методы. Чаще всего, репрезентативные массовые опросы (43% оборота — это личный опрос по месту жительства и 26% телефонный опрос). Глобальный оборот индустрии в том же 2013 году равен примерно 40 миллиардов долларов. Естественно эти деньги платятся не за количество проведенных интервью и потраченных усилий, а за знания о рынке/обществе/поведении полученные при помощи потраченной работы.
Наша основная работа — это социологический консалтинг. По роду деятельности мы должны перепроверять результаты исследований, организованных десятками разных подрядчиков. Для того, чтобы сделать выводы, нужно получить качественный первичный материал. Фактически, от качества первичного материала зависит всё.
*ESOMAR (European Society of Marketing Research Professionals) одна из наиболее уважаемых профессиональных ассоциаций в которые стремятся вступать украинские социологические фирмы. Ежегодно ESOMAR проводят исследование в рамках, которого оценивают оборот всего рынка маркетинговых исследований в долларах США (оценивается объем прямых контрактов исключая субподряды для того, чтобы избежать двойного учёта) (Global Market Research 2014, «Methodology» стр. 98).
Чаще всего качество исследований в СМИ нам предлагают оценивать по трём критериям:
Наличие публикаций рейтингов в межвыборный период. Если основные заказы на политические опросы возникают перед выборами, то откуда берутся публикации в межвыборный период? Если принять без доказательств честность публикующего результаты опроса, то есть два источника – 1) редкий клиент, которому зачем-то понадобилось провести и опубликовать (!) рейтинг и 2) исследование, проведенное за собственные деньги социолога. Таким образом, это — показатель финансовых возможностей и наличия крупных заказчиков, а не качества работы. Но фальсификатору его можно легко обойти, ниже мы расскажем, как именно (см. фальсификация «на коленке»).
Членство в ассоциации. Предполагается, что членство в профессиональных ассоциациях влечет за собой строгий контроль и санкции за нарушения со стороны ассоциации. Интересный вопрос: как именно ассоциации проверяют социологических подрядчиков? За всю практику мы ни разу не столкнулись со свидетельствами таких проверок или их критериями. Но это не значит, что их нет. Поэтому услышав этот аргумент, всегда возникает вопрос: «нельзя ли взглянуть на результаты этих проверок?», «какую часть из ваших исследований ассоциация запрашивала на аудит в прошлом году?», «особенно интересны результаты проверки исследований результаты, которых были публично представлены в прессе».
Если перед вами лежат результаты «закрытого» исследования (заказчик не хочет им делиться с третьими сторонами), то его никому кроме узкого круга лиц не показывают и точно не будут передавать третьим сторонам. В этом случае говорить о контроле со стороны ассоциаций нет смысла. О том, что дает членство в каждой конкретной ассоциации, можно узнать, ознакомившись с ее уставом и пр. документами. Но в большинстве случаев, это всего лишь декларация намерений о приверженности профессиональным стандартам работы.
Интересный вопрос: как именно ассоциации проверяют социологических подрядчиков? За всю практику мы ни разу не столкнулись со свидетельствами таких проверок или их критериями.
Известность бренда точно говорит о давнишнем присутствии его в СМИ и, возможно, о хорошем финансовом обороте фирмы. Может ли известный бренд провести плохое исследование? Может. Точно также, как и неизвестный бренд может провести качественное исследование.
Эти критерии являются прекрасным методом определения фирм, первыми получивших и удержавших существенную долю рынка. И всё это — критерии не качества, а размера фирмы. Или если зайти с другой стороны, метод отсечения новых фирм и компаний с более скромными финансовыми возможностями.
Для проверки качества конкретного исследования, которое поступило «из полей» эти критерии совершенно бесполезны.
Неопределенность очень вредит отрасли, поэтому мы хотим предложить описание ситуаций, которые нужно искать в данных опроса для обнаружения фальсификации. Наверняка, этими способами фальсификации тема не исчерпывается, но значительная часть нашего опыта борьбы с подделками и манипуляциями может быть сведена к этому списку. Для того, чтобы осуществить интеллектуальный поиск фальсификаций, нужно знать какие модели поведения фальсификатора ищешь. Мы предлагаем краткое описание ситуаций, чтобы расследователи знали, что искать при помощи быстрого аналитического контроля, а не традиционным сочетанием физического перебора или логического контроля (последние способы «опытные профессионалы» давно научились обходить, зная как и что будут искать заказчики, у которых очень ограничено время сдачи проекта).
Неопределенность очень вредит отрасли, поэтому мы хотим предложить описание ситуаций, которые нужно искать в данных опроса для обнаружения фальсификации.
Первичные документы обычно отсутствуют, формулировки параметров исследования в стиле «тудой-сюдой, сделано с душой и от чистого сердца».
Спонтанная проверка на такую фальсификацию – любые свидетельства нечувствительности к резким переменам, т.к. составленные таким образом рейтинги показывают стабильное прошлое. Тем, кто с горячностью отрицал подтвердившийся резкий рост рейтинга некоторых политиков, стоит задуматься о качестве работы своих полевиков.
Ещё раз, для этой фальсификации нужно многократно растиражировать свои собственные или чужие анкеты (или исходники ответов реальных людей) из прошлых опросов. Или сначала провести реальный мини опрос на интересующем заказчика объекте, а затем растиражировать результаты так, как будто была выполнена большая выборка. В итоге берется 120 анкет и из них делается 1000, 2000, 3000. Техническое задание конечного результата может быть сконструировано по схеме, указанной в предыдущем абзаце. Если фальсификатор хочет сработать «чисто», проводится минимально репрезентативный мини-опрос, а его результаты выдаются за крупномасштабное исследование. Основная цель — сократить себестоимость и время выполнения работ для коммерческого заказчика и, тем самым, выиграть у конкурентов по цене и заработать, показав цену ниже себестоимости. Первичные документы, скорее всего, будут в 50% случаев такой подделки (вероятнее, не будет маршрутных листов). Объяснение проведенной работы будет относительно профессиональное в 70-80% случаев. Объяснение очень похожих ответов разных людей от авторов фальсификации: «а почему такого не может быть? мнения же типичные».
Меры камуфляжа: выехать на место проведения и фальсифицировать (дорисовывать), находясь в полях. Не нумеровать анкеты, а после ввода перемешать. Удалить из базы данных всю техническую информацию (номера цепочек, коды интервьюеров и бригад и т.п.). Потерять выборку и маршрутные листы\дневники интервьюеров. Склонить заказчика к проведению уличного опроса, который совершенно напрасно считается нереальным для контроля и верификации. Вносить случайный «шум» в шаблоны для предотвращения зеркального копирования.
Тонкое манипулирование с заданием выборки и набором вариантов ответа.
Эти методы позволяют относительно честно получить выгодный результат, оставаясь в рамках приличий.
Комбинируя приведенные методы, можно как из конструктора сложить любой результат из шаблонов реальных интервью, но не оставить следов невозможно. Любое исследование может быть сфальсифицировано. Но любое исследование можно проверить на фальсификации с соблюдением конфиденциальности респондента и без передачи его личных данных третьим сторонам.
Фальсификаторы пользуются уязвимостью наших методов контроля, в значительной степени сводящихся к выборочным повторным контактам (отбираются интервью и по ним осуществляется короткий «контрольный опрос» по ключевым показателям). Используя современные возможности работы с данными и накопленные многомиллионные массивы интервью, есть все возможности сделать контроль точным и неочевидным для фальсификатора. Но нужно знать, что искать. И на наш взгляд нужны честные качественные описания методов подделки.
Авторі: Иван Колодий, Юлия Саратова; VoxUkraine
Публикуем пятую, заключительную, часть обзора основных достижений украинского оборонно-промышленного комплекса за 2017 год. Исследователи изучили результаты производственной...