РЕЙТИНГИ, «СОЛОМЕННЫЕ ОПРОСЫ» И ДЕЙСТВИТЕЛЬНАЯ ПОВЕСТКА ДНЯ
Иван Климов, доцент ГУ ВШЭ, кандидат социологических наук, исследователь Медиа Лаборатории РИА Новости
Лидерство в любом рейтинге становится предметом гордости победителя, а уступившие первенство всегда ищут способ показать, что рейтинг несовершенен. Даже если такой рейтинг создаётся авторитетной и хорошо зарекомендовавшей себя командой. Эпизодическая ажитация по поводу рейтингов – электоральных, социально-политических, медийных и т.д. – естественно вписана в смысловые реалии времени и стала привычным контекстом деятельности всех исследовательских служб. Это ни хорошо, ни плохо, если бы не традиционная проблема – мало кто понимает, как нужно работать с рейтингами, что они означают. И зачастую сами исследователи оказываются вольной или невольной причиной «неадекватных» реакций публики. Один из последних примеров – рейтинги СМИ за 2011 год, представленные компанией «Медиалогия» (цитируемость интернет-ресурсов и цитируемость федеральных СМИ).
Что произошло? При публикации результатов работы не была обнародована методика расчёта, а те пояснения, которые можно найти на сайте, лишь усиливают непонимание относительно содержания рейтинга – с чем же все-таки имеешь дело? Поэтому неудивительно, что рейтинг немедленно вызвал критическую реакцию. Однако, мне думается, что сейчас важно обсуждать не столько проблемы методики и специфики подхода «Медиалогии» к измерениям (коих все равно нет), сколько на этом фоне поговорить о более общих вопросах. Это важно обсуждать, потому что не всякие данные и не всякие опросы являются исследованиями. Первый и самый важный способ отличить одно от другого – описаны теоретическая модель (замысел) исследования и его методика или нет. Прежде чем знакомиться с содержанием исследования, необходимо понять, как это знание было получено. Если в некоем «отчёте» нет раздела «источник данных», лучше сразу воспользоваться клавишей «Delete». Я – за гигиену интеллектуальной деятельности.
Теоретическая модель и логическая структура индекса
Любой рейтинг рассчитывается на основе некоторой теоретической модели, в которой определяются базовые понятия – теоретические концепты. Что такое «доверие» и «голосование», что такое «цитирование», что такое «аудитория». Это нужно для двух вещей.
Во-первых, для того, чтобы прописать связь между различными параметрами модели, подобрать адекватные индикаторы и быть уверенным, что конструируя инструмент, мы измеряем именно те параметры, которые хотим. Например, «цитирование». Важно понимать, что есть «цитата», что есть «ссылка» и как, по каким признакам их идентифицировать. В научной публикации есть прямые цитаты, косвенное цитирование (парафраз), внутренняя библиография. Все хорошо различимо по форме, и поддаётся обсчёту. Но в сети встречаются ситуации, когда упоминание источника есть, но из-за отсутствия в URL необходимых маркеров, такая «ссылка» не ловится. И это создаёт «погрешности измерения». Другой пример: у Яндекса в расчёте «тематического индекса цитирования» заявлен параметр – «авторитетность» ресурса, на котором висит ссылка на первоисточник. «Авторитетность» определяется как «тематическая близость ресурса». Не густо, но базовая идея понятна. Дальнейшие вопросы связаны с тем, насколько хорошо подобраны индикаторы «авторитетности» или «значимости публикации», присутствует в ли конструкции индекса в каком-то виде экспертная оценка и т.д.
Во-вторых, теоретическая модель непременно содержит в себе образ изучаемого объекта, опирается на знания и представления о структуре и базовых свойствах нашего объекта. Например, что такое «аудитория интернета»? Все, кто имеет доступ к сети? Или те, кто пользуется ею не реже, чем раз в неделю, в месяц, в полгода? А если человек пользуется только интернет-телевидением, а компьютером – нет, он «аудитория интернета»? В случае с рейтингами «Медиалогии» такой вопрос закономерно возникает, когда видишь понятие «самоцитирование». Что это такое, и как распознается самоцитирование относительно публикаций федеральных СМИ и интернет-ресурсов? В. Гатов предполагает, что самоцитирование – это эффект, характерный для «конвергентных СМИ», т.е. таких, которые появляются не только в печатном виде, но также существуют как интернет-издание, имеют радио- и телевещательные возможности. Так ли это с точки зрения «Медиалогии» – не ясно, опять-таки из-за отсутствия описания методики. Однако здесь проблема серьезнее, чем просто «разговор о понятиях». Очевидно, что в модель заложено некое представление о сложной структуре изучаемого объекта. Но, похоже, эта самая «сложность» представлялась одномерной, тогда как есть как минимум два сочетаемых параметра: наличие «конвергентных» СМИ, и холдинговая организация СМИ. Удовлетворительных решений для комбинации этих параметров в модели (как она выглядит сейчас) найдено не было.
Сказанное подводит нас ко второй принципиально важной части любого исследования. К выборке.
«Соломенные» исследования
Любой рейтинг, модель, индекс производят описание определенной совокупности объектов, и важно понимать – какова позиция исследователя по отношению к ней: доступны ли объекты для сплошного изучения, или же нужно конструировать выборку? Требования к выборке «просты» – каждый элемент из обследуемой совокупности должен иметь не нулевую вероятность попасть в выборку, т.е. в ту часть, по которой исследователь и будет судить обо всех подобных объектах. Другое принципиальное требование – должна быть возможность посчитать эту самую вероятность, для чего необходимо представлять себе «генеральную совокупность», знать какие-то принципиальные ее параметры, на которые необходимо ориентироваться при проектировании выборки. Теория выборки имеет строгое математическое доказательство, не менее строгое, чем доказательство иных математических теорем, и обеспечивает исследователей необходимой надежностью для индуктивного вывода – от частных наблюдений — к обобщенным эмпирическим закономерностям. Соответственно, тут есть несколько задач:
Первая: определить основу выборки – что является наблюдаемой единицей, и на основании чего мы можем получить доступ к максимально полному и систематическому описанию генеральной совокупности. Хорошо известна «ошибка Literary Digest» – журнала, в 20-30-х годах прошлого века готовившего свои прогнозы президентских выборов в США на основании почтовой рассылки по адресам владельцев автомобилей и телефонных аппаратов. Это были так называемые «соломенные опросы»: мы «подкидываем» ворох соломы вверх, и смотрим, куда дует ветер. Но при такой методе есть проблема: если исследователь не имеет возможности осознать, что он находится в аэродинамической трубе, соответственно они не сможет заметить, что в другом месте, на море – штиль, а в пустыне – смерч. Главный вопрос применительно к рейтингам цитирования СМИ – в какой мере исследователям доступен для анализа тот массив текстов, который содержит искомые ссылки и цитаты? Имелся ли доступ ко всем необходимым первоисточникам (текстам), и если нет, можно ли оценить природу и величину такого «систематического смещения»?
Вторая задача: сконструировать выборку так, чтобы она репрезентировала нужную генеральную совокупность. Здесь нужно знать и разбираться в структуре этой генсовокупности – для того, чтобы определить – какой тип выборки адекватен задаче и доступнее для реализации. Когда генеральная совокупность маленькая, возможно сплошное обследование, если не маленькая, но известная целиком и как-либо описанная – тогда классическая случайная выборка. Если объект конструктивно сложен и труден в доступе для обследования, тогда приходится конструировать стратифицированную выборку, учитывающую внутреннюю неоднородность совокупности – территориальную, функциональную, организационную и т.п. Все эти вопросы непосредственно касаются темы медиарейтингов. Выше я уже говорил, что сочетание таких параметров, как «конвергентные» СМИ, и холдинговая структура сегодняшних СМИ, видимо, не было корректно учтено при конструировании выборки. Но есть и еще вопросы: по какому принципу создавались классификации интернет-ресурсов и федеральных СМИ? Почему в списках нет определенных медиа-брендов, да и в целом – какова принятая концепция «медиа-бренда» (назовем это так)? Как будет отражаться на принципах расчета рейтинга возможные изменения в холдинговой структуре сегодняшних СМИ и как это повлияет на сопоставимость обследований в динамике?
И третья задача при работе с выборкой – собственно, как реализовать выборочную процедуру, как на основе теоретически сконструированной выборки сделать практическую выборку, на элементах которой и будет проводиться обследование, измерение, подсчет. Возможно, для обсуждаемого вида исследований данная задача неактуальна. Но все равно остаются вопросы – насколько продумано применение принципа «исключить самоцитирование» для различных медиа-брендов рейтинга.
Повторимся – есть требование к способности исследователя обеспечить для каждого из обследуемых элементов ненулевую вероятность попасть в выборку. Для чего все это нужно – для простой вещи, для обоснованной экстраполяции результатов выборочного обследования на более широкий класс объектов. В противном случае полученные результаты трудно называть «рейтингом федеральных СМИ» – если из обследования изначально были исключены принципиально важные медиа-бренды (без явных обоснований). И здесь появляется третья проблемная область: а каков смысл всех проведенных обследований, индексов и рейтингов? О чем они говорят и свидетельствуют?
Социальное конструирование реальности
Индустрия медиа остро нуждается в новых способах самоописания. Технологические и институциональные изменения, появление «новых медиа» и рождение «социальных медиа» буквально за несколько лет сделали нефункциональными прежние методы мониторинга и оценки. Нефункциональными – не значит недостоверными: методология традиционных медиаизмерений вполне валидна. Просто существующие, хорошо методически выстроенные и методологически обоснованные технологии не охватывают всего круга феноменов и явлений в медийной сфере, и сейчас рождаются первые попытки обсуждать методологию исследований в ситуации многоуровневых трансформаций института медиа-коммуникаций. От рейтингов никуда не уйти, они будут считаться и критиковаться до тех пор, пока будет запрос на «кто выше, дальше, сильнее». Новые метрики необходимы. Но еще более необходима методическая и методологическая работа – нужно понять, зачем нужна та информация, которую мы сегодня получаем с помощью «старых» и «новых» метрик? О чем она свидетельствует? Можно ли ориентироваться на нее при разработке долгосрочных стратегий? Один из эффектов происходящей сегодня коммуникативной революции состоит в том, что значительное число «исследований» и «опросов», производимых на многочисленных медиа-платформах и ресурсах, не имеют ничего (мало) общего с исследовательскими процедурами. Опросами сегодня занимаются все, кому не лень. Нам предлагают голосовать во время радиопередач, свои данные публикуют Superjob и HeadHunter, различные новостные сайты, вроде gazeta.ru и rbc.ru, предлагают рубрику «Опрос». Это лишь интерактив (по большей части), избегающий разговоров о правилах обоснованного (научного) вывода, о природе и величине смещений и погрешностей. К сожалению, обилие «почти социологических исследований» создает фантомы, добронамеренные фальсификации. И это даже не вина авторов подобных «исследований». Всегда найдется тот, кто скажет: «Ну, есть же данные, и они хоть о чем-то свидетельствуют?» Один мой уважаемый коллега с такими оговорками как-то попросил меня прокомментировать «динамику мнений россиян» по интересующей его теме. В «динамике», собранной за 10 лет, цифры ФОМа сменялись данными «Эха Москвы», Superjob’а, потом шел ВЦИОМ, сайт Газета.ру, а следом – опрос в сети «ВКонтакте». Не уверен, что мне удалось убедить его не пользоваться и не интерпретировать цифры. Смыслы, произведенные и легитимированные экспертами с именем, с хорошей репутацией, поддержанные социальной актуализированностью затрудняют разговор о методических основах исходных данных.
Какими могут быть альтернативы?
Альтернатив рейтингам нет – в том смысле, что они все равно будут появляться. Безусловно, нужны новые идеи метрик, которые использовали апробированные инструменты и опирались бы на выстроенную валидную методологию. Вряд ли прямо сейчас кто-то сможет предложить требуемый инструмент в полном объеме. Поэтому общие требования, с точки зрения методологии науки, очевидны:
а) метрики должны быть публичными, доступными специалистам для обсуждения,
б) в них должны возникать конвенциональные сегменты – как в зависимости от задачи, специфики объекта применять те или иные методы обследования и стратегии расчета,
в) необходимо коллективными усилиями создавать описание познавательных возможностей и ограничений тех или иных методических решений.
И кроме перечисленного – хорошо бы научиться извлекать смыслы из различных систем измерения и подсчета рейтингов, научиться понимать – а что за ними скрывается, какие процессы, феномены, проблемы. Пока что с извлечением смыслов туго. Главным образом потому, что отсутствует питательная среда систематических исследований, проведенных в самых разных исследовательских традициях под самые разные темы и задачи. Собственно в этом и есть альтернатива. Среди предложений, которые сегодня формулируются в рамках проекта «Новые метрики для новых медиа» в Медиа Лаборатории РИА Новости, такие пункты:
1. Не зацикливаться только на рейтигнах и подсчетах, а формировать самую исследовательскую повестку. Одно из возможных направлений – исследовать (и накапливать наблюдения) сообщества в интернете. Оттачивать методический инструментарий, искать сильные индикаторы и различения, решать описательные задачи и формировать примеры исследовательских логик (стратификация, границы, ресурсы, идентичность, онлайн-офлайн и индивидульная-совместная активности и т.д.). Надеюсь, что именно из такого «антропологического» подхода могут вырасти сильные программы исследования аудиторий «новых медиа» и «социальных медиа».
2. Еще одно направление – исследование конкретных феноменов, например, таких как вирусное распространение информации («вирусных редактор»), краудсорсинг, распространение новаций и в целом – интернет-моды. Сюда же можно отнести «исследование случая» – социальная мобилизация в связи с 4 декабря, пожары летом 2010 года, практики родительского контроля или даже олбанский язык. Такие феномены имеют более-менее осязаемые границы, в их отношении возможны множественные исследования с разными проблематизациями и подходами и главное – сочетание онлайновых и оффлайновых методов и стратегий. На таком материале (опять же) хорошо отрабатывать стратегии комплексного описания и изучения феноменов, проводить выверку методик.
3. Совершенно другое и, с моей точки зрения, очень интересное направление – реализация экспериментальных планов в исследованиях. Требования к эксперименту принципиально иные, чем к (квази)статистическим обследованиям: требуется хорошо проработанный уровень проблематизации, сформулированных гипотез, проработанности плана действий, подготовка контрольной и экспериментальной групп. В такой работе не оперируют большими выборками, и она не даст ответа на вопрос «у кого больше». И.Ф. Девятко указывает, что далеко не всегда стратегическая цель исследования (будучи хорошо продуманной и проблематизированной) требует применения именно выборочного обследования. Экспериментальные планы позволяют оценить причинные связи между определенными параметрами, реализовывать многофакторные эксперименты для изучения установок, стереотипов, повседневного восприятия, «обыденных логик» и т.д. – то есть дают возможность зафиксировать закономерности при одновременном обсуждении погрешностей и граничных условий. Вообще, онлайн-исследования активно развиваются, обсуждаются возможности и ограничения онлайн-панелей, специфика поведения респондентов – в особенности в условиях добровольного саморекрутирования, методика применения онлайн фокус-групп, эффекты от вординга, интерактивности и дизайна вопросов и многое другое.
На сегодняшний день промежуточные итоги малоутешительны. Сравнительно неспешное (по сравнению с темпами изменений в индустрии новых медиа) подключение методологов и исследователей-методистов к развитию технологий сбора и оценки социальной информации в сети приводит к снижению познавательных возможностей, предоставляемых интернет-пространством, к снижению статуса методологии и методической работы. Одновременно с этим, появление информационного шума, выносимого из наблюдений за жизнью в сети, стимулирует инфляцию валидных исследовательских данных в принципе (и в особенности – у потенциальных заказчиков и интересантов). И как следствие – появляются препятствия для разработки новых методов исследования новых пространств социальной коммуникации.
Creative Commons 3.0 – attribute to Ivan Klimov and RIA Novosti Media Laboratory
Статья Ивана Климова публикуется в рамках дискуссии о природе, форме и методах исследования метрик «новых медиа» в рамках соответствующего проекта Медиа Лаборатории РИА Новости. Приглашаем специалистов медиаотрасли, компаний-измерителей, рекламного бизнеса к разговору о новой системе метрик.



