Агрегаторы контента. Часть 1: бизнес и мораль

В медийном пространстве появилась Медуза. Так  решили назвать своё новое издание выходцы из Lenta.ru, недавно попавшей в руки российских властей.  На первый взгляд ещё один агрегатор контента, а точнее, то, что я называю копирующим фильтр-агрегатором.  Как раз об этом направлении развития агрегаторов я  недавно начал разговор тремя своими постами в Фейсбук. Вокруг первого и третьего из них прошли небольшие, но достаточно энергичные  дискуссии. Там же предупредил, что готовлю статью на эту тему. Появившаяся на горизонте «Медуза» ускорила процесс подготовки. Ведь новое издание не только и даже не столько является типичным агрегатором (фильтр-агрегатором), как это утверждают некоторые эксперты. На самом же деле создатели проекта, как мне показалось, замахнулись на нечто большее. Но к этому я вернусь дальше. А пока только скажу, что многие положения данной статьи (в особенности, её первой части) мне удалось окончательно  сформулировать в результате плодотворного разговора с @Сергеем Базановым и @Дмитрием Равкиным, проведённого в указанных дискуссиях, за что моим собеседникам очень благодарен …и Медузе тоже спасибо:). Терминология, используемая в статье, приведена в Приложении. Могу порекомендовать его только тем, кто хочет лучше представить себе место, которое занимают копирующие фильтр-агрегаторы на медийном рынке, вообще, и рынке агрегаторов, в частности. Остальные читатели это приложение  при желании можно пропустить. Всё, что нужно для понимания этой статьи, вы найдёте в самой статье.

Копирующими фильтр-агрегаторами (КФА) в последнее время занимают всё большее место среди изданий регулярного веб-медиа. Некоторые (тот же Сергей Базанов, например) утверждают, что в количественном отношении доля КФА-изданий составляет уже чуть ли не 90% от всех веб-изданий. Только среди моих фб-друзей я знаю четверых, выпускающих подобные издания.

 Копирующие фильтр-агрегаторы. Издательская технология

 Копирующие фильтр-агрегаторы (КФА), как и любые другие агрегаторы, собирают контент со всего Интернета или некоторой его части, и аналогично другим фильтр-агрегаторам отфильтровывает его по определённым критериям.  Однако, если все остальные агрегаторы (Google News. например) подают информацию об отобранном контенте в виде некоторым образом организованной информационной ленты, содержащей ссылки на оригиналы, то КФА помещает на свои «страницы» прямые копии отобранных оригиналов.  При этом делает это так искусно, что мало кто из читателей сразу определит, имеет ли он дело с обычным изданием, основу которого составляют оригинальный авторский контент, или это очередной КФА. Даже я, имеющий определённое отношение к медиа, не всегда, первый раз столкнувшийся к конкретным изданием смогу отличить одно от другого.

 Редакции некоторых КФА-изданий пытаются тем или иным способом придать своим детищам хоть сколько-нибудь оригинальный вид. В других же случаях даже это не делается, а если и делается, то лишь для того, чтобы обмануть поисковики, повысить свой рейтинг там и/или для решения других SEO-задач. Отсюда и всё отличие одного КФА-издания от другого зачастую сводится лишь к чисто внешнему оформлению. Хотя и тут поле для манёвра у редакции достаточно узкое. Ведь, как правило, КФА-издание строится на базе общедоступного и открытого CMS-движка: платного типа Netcat или даже бесплатного типа WordPress (конкретные названия движков приведены только для примера).  Так что, ни о каком «лице с не общим выражением» здесь говорить вообще не приходится.

Технология сбора информации тоже обычно  не блещут большой оригинальностью.  Этим «творческим» делом занимается редакция. Её сотрудники просматривают ранее отобранное и периодически обновляемое  множество веб-ресурсов. Делают они это либо «вручную»,  либо, так или иначе, автоматизируя процесс агрегации. В последнем случае  с использованием различных инструментальные средства. Возможно и комбинированное использование речных и автоматизированных методов агрегации.

Ресурсы для просмотра отбираются из регулярного медиа (в том числе это могут быть другие КФА-издания) и блогосферы. Сюда же, в частности, могут относиться новостные ссылочные агрегаторы типа Google News , а также социальные коммутаторы типа Фейсбук. Используемые инструменты могут быть более или менее развиты, обеспечивая при этом разный уровень автоматизации процесса агрегации.

Среди типовых инструментов –  программы парсинга (parsing) для автоматического разбора текста  закодированного контента в различных веб-ресурсов. Для  получения копий используются и другие методы скрейпинга(scraping), включая метод обычного копипейст (copy-past).  Иногда даже используются программы кроулинга (crawling), обеспечивающие на автомате периодическое сканирование ресурсов всего Интернета, или выделенного его подмножества, как это делают поисковики.

И ручная и автоматическая агрегация в качестве технологического инструмента может использовать RSS-механизмы. Напомню, что RSS-механизмы позволяют веб-изданиям быстро и эффективно посылать своим читателям (зрителям, слушателям) информацию обо всех изменениях своего информационного наполнения, а читателям так же быстро и эффективно с помощью, так называемых, RSS-читалок(readers) эту информацию воспринимать. Фактически, здесь мы имеем дело с некоторой форме «медийного вещания», что особенно важно для различного рода новостных изданий. Сейчас об RSS  них меньше говорят, так как сегодня они уже не столь популярны у конечного пользователя, как это ещё было совсем недавно. Однако как инструмент для фильтр-агрегации эти механизмы по-прежнему остаются достаточно востребованными, в особенности, при автоматической агрегации.  При этом RSS-вещание может использоваться не только  для зрительного восприятия (через «читалки»), но и для автоматизации процесса извлечения нужного контента (парсинг) с мест его нахождения. Ведь, как правило, в RSS-потоки издатели по понятным причинам помещают только аннотированные ссылки на оригинальный материал.

Таким образом, для работы редакции КФА-издания достаточно 2-3 человек, которые, в основном занимаются поиском нужной информации, возможно, легким ее причесыванием и оформлением под стиль издания или, скорее всего, его базового движка. И почти никакого аутсоринга тоже не требуется. Невысокие затраты на инструментарий для КФА-проекта и низкие эксплуатационные расходы — все это делает запуск и сопровождение КФА-издания потенциально рентабельным бизнесом и порождает соблазн с головой броситься в это дело — заняться столь престижными медийными проектами.

 Новости: Что, Где, Когда …и Почему?

 Уже из того, что я сказал выше, читатель не может не заметить моё несколько критическое отношение к КФА. Да, в целом, это так, и я дальше попытаюсь объяснить свою позицию. Но предварительно скажу, что эта моя позиция больше относится к так или иначе политизированным КФА-изданиям и/или работающим на b2c- медиа-рынке и оперирующим  с более или менее крупногабаритным контентом. Меньше моя позиция распространяется на отраслевые или узкоспециализированные издания, в особенности, если они являются справочно-информационными и работает с малоформатным «фактажным» контентом,  как, например, kinopoisk.ru.

Отчего я выше подчеркнул «фактажность» вместо того, чтобы просто сказать о новостной информации? Дело в том, что если вы спросите о любом КФА-издании его главного редактора или издателя, то услышите, что оно является новостными, и весь его контент  можно охарактеризовать триадой «Что, Где, Когда», а само «Когда» относится к текущему времени.  А, мол, у новости-факта нет, и не может быть хозяина. Спорная истина, но даже если с ней и согласиться, то всё оказывается не так просто.

Как только вы начнёте  «листать» любое КФА-издание, то быстро поймёте, что в большинстве случаев наряду с сугубо «фактажным» контентом, кратко описывающим суть конкретного события, это издание содержит много аналитического  материала   с различного рода попытками прокомментировать,  исследовать и объяснить конкретные события или некоторые цепочку событий.  А уж такой материал, наверняка, имеет своего хозяина – автора и/или издателя.

Например, публикация последнего  интервью с Навальным или любой другой знаковой фигурой является таким же новостным фактом, как и информация о недавней авиакатастрофе во Внуково. И соответствующие «новости», наверняка, появятся (появились) во многих КФА-изданиях, причём в некоторых из них в виде полной копии указанного интервью.

Другими словам, к нашей фактажной новостной триаде нужно добавить четвёртый элемент «Почему», а сами элементы триады вполне могут говорить, например, о факте появления новой статьи, Кстати, в отношении к этому самому «Почему», прежде всего,  и заложена идеологическая ориентация КФА-издания, его издателя  (главного редактор).  Здесь же проявляется один из основных критериев фильтрации.  Фактажные новости, конечно, можно тоже отфильтровывать в нужном направлении, но лицо почти любого регулярного издания – это всё-таки аналитика.

 О собственности на контент, которая перестала быть священной коровой

 Возвращаясь к «Где и «Когда» при копировании, скажем, статьи, замечу, что при этом иногда  ничего не говорится о том, где и когда эта статья впервые была опубликована, не говоря уже о прямой ссылке на оригинал статьи.  Отсутствие ссылки на источник или такая ссылка в мало кому заметном месте является далеко не единственным недостатком КДА-изданий.

Проиллюстрирую сказанное одним характерным примером. Возьмём последнюю статью Андрея Илларионова «Точка не возврата»,  впервые опубликованную в его блоге (она о том, как российские либералы относятся к аннексии Крыма, но предупреждаю, что к теме данной статьи это никакого отношения не имеет).  Рассматриваемая в статье проблема суперактуальна, поэтому, естественно, она моментально разошлась по Интернету.  Я прочёл статью, наткнувшись на её копию в блоге «Эхо Москвы». Понятно, что это не совсем агрегатирующее издание, вернее, совсем таковым не является. Хотя, как я теперь понял, методами агрегации оно тоже балуется, причём нигде напрямую об этом не объявляя. Умалчивание об использовании метода агрегации, к слову,  является характерной особенностью почти всех КФА-изданий, что тоже, мне кажется, не есть хорошо с точки зрения морали.

Но о морали позже, а пока только скажу, что, с точки зрения ссылок на первоисточник статьи Илларионова, «Эхо Москвы» выглядит совсем не плохо. Чего не скажешь о многих других изданиях, скопировавших эту же статью. А их я насчитал (с помощью Гугл), как минимум, пару десятков. Посмотрите, например, ещё одну такую копию здесь. В этом КФА-издании вы вообще не увидите никаких ссылок на первоисточник, а в угоду SEO изменён даже заголовок статьи. А ведь такие действия редакции, кроме всего прочего, по мнению издателя,повышает и рейтинг издания в глазах читателя. Мол, подумай только, какие известные авторы с изданием сотрудничают! Почему бы тогда не подписаться на него (включить в свою RSS-ленту, например)? Это опять к вопросу о морали, но теперь уже по отношению к читателю, а не к стороннему издателю.

Я уже не говорю о том, что в некоторых случаях прямо нарушаются авторские права, а в других – нарушаются даже значительно более мягкие, чем копирайт, требования  соответствующей лицензии Creative Commons.  Вообще не говорю о чисто юридических аспектах проблемы. Речь идёт о моральной стороне вопроса.

 О телеге и лошади, или Рентабельна ли мораль?

 О какой морали ты всё время говоришь? Так и слышу, как это сейчас произносят некоторые читатели. Мол, бизнес и мораль вообще не совместимые между собой понятия. Никак не могу согласиться с этим. Более того уверен, что это совсем не так. Может быть, я и несколько старомодный бизнесмен, но для меня, например, абсолютно очевидно, что бизнес, если он, конечно, легальный, по определению не может быть долго успешным, если не следует отраслевым принципам бизнеса, стандартам и традициям. Временно такой не совсем, скажем так, моральный бизнес ещё может продержаться на плаву, но его крах неизбежен. А если говорить о b2c-бизнесе, то это уж точно.

И, мне кажется, создатели «Медуза» хорошо осознают прямую корреляцию между бизнесом и моралью. Кстати, одной из причин, почему я обратил внимание на новый проект, является то, что мне сразу бросилось в глаза очень корректное отношение к первоисточнику. Уже на первой странице, где перечислено содержание выпуска, чётко указано, что здесь своё, а что чужое и откуда это чужое пришло. Все ссылки на первоисточник повторяются и на странице с копией контента. Специально выделяются даже заимствованные изображения, опять-таки со ссылкой на оригинальное месторасположение. Читателю также предоставляется возможность прочитать статью в оригинале. Все, кто хотя бы как-то знаком с SEO, хорошо понимает, что всё это значит для первоисточника.

Однако ладно всё о морали и о морали.  Ведь, что морально, а что таковым не является, увы, но это каждый понимает по-своему.  Поговорим лучше о сугубо практических материях, которые неизбежно превращают не совсем моральный в своей основе бизнес в бизнес совсем убыточный.  Недавно прочёл показательную  статью. В ней автор рассказывает о развитии одного КФА-проекта,  приводит интересную статистику, анализирует её и делает выводы. Это история о том, «как взрывоподобный рост посещаемости не привел к увеличению популярности сайта среди читателей и увеличению его лояльной аудитории». При этом автор уверен, что «бесплатный (для читателя) контент и технологии получения трафика вне зависимости от качества содержания будут множить такие истории… ведь с точки зрения бизнеса, эта модель (СМИ, зависящие от трафикогенераторов, а не от аудитории) достаточно рентабельна».

Вот в верности последнего утверждении автора (рентабельность) я как раз и сомневаюсь.  Да, сегодня трафик в медиа-индустрии – это существенный элемент бизнес-модели многих изданий. Кто с этим спорит? Но, мне кажется, сторонники направления КФА «ставят телегу впереди лошади». А это самой «лошадью» в бизнесе регулярных медиа-изданий была и остаётся лояльная аудитория – постоянной читательский контингент.  Ведь именно под регулярные издания всеми правдами и неправдами «косит» каждое КФА, в особенности, если оно работает с крупноформатным контентом.  Любой рекламодатель регулярного издания (не путать со ссылочными агрегаторами!)  тоже заинтересован в постоянной лояльной  аудитории, которую он знает и на потребности которой ориентирует свою рекламу.  Читатель (зритель, слушатель), который сюда случайно зашёл по ссылке, прочитал (посмотрел, послушал) и ушёл, чтобы неизвестно когда там ещё раз появиться, вряд ли надолго рекламодателя заинтересует. Ведь, как сам же автор вышеуказанной статьи чётко и однозначно признался, у рассматриваемого КФА-издания нет и не предвидится постоянной аудитории.

Только одно из соображений в подтверждение последнего моего тезиса. Сегодня трудно представить себе издания без элементов социализации. Несмотря на то, что социализация всё больше концентрируется в универсальных социальных коммутаторах типа Фейсбук, были и, наверное, ещё долго, если не всегда, будут существовать ресурсы с локализированной социализаций (по интересам). Во всяком случае, почти любое современное веб-издание должно предоставить читателю возможность прокомментировать статью, обменяться мнением в кругу единомышленников, а может быть, даже (о чём я не перестаю мечтать:)  поговорить с автором. А о каких единомышленниках или хотя бы просто виртуальных знакомых и, тем более, о каком авторе может идти речь в издании, построенной по методу КФА? Даже, если формально это издание предоставляет возможности социализации.  Да и регистрироваться в издании с переменной аудиторией  вряд ли кто-нибудь захочет. А ведь такая регистрация, как правило, требуется для того, чтобы участвовать в дискуссиях.

 Фаст-фуд из контента.

 Сторонники  КФА-технологии любят сравнивать свои издания  с  фаст-фуд или с «Жуками» Фольксвагена. Мол,  пусть цветут сто цветов, а у каждого цвета всегда найдутся свои потребители и поклонники. При этом они забывают, что для того, чтобы появились потребители любого продукта,  у него должен быть свой специфический «вкус»  и/или этот продукт должен быть оптимальным с точки зрения соотношения качества и стоимости по отношеню к прямым конкурентам. Может быть, некий специфический «привкус» не сложно добавить к КФА-изданию, например, с жёлтым налётом. Но мы договорились здесь говорить только о КФА, претендующих на рынок  серьёзных изданиях.

И вот как раз здесь, сожалению, нужно констатировать, что КФА-издания не могут похвастаться ни тем, ни другим, ни «вкусом», ни качеством. Бесплатных качественных изданий с оригинальными авторами сегодня в Интернете предостаточно. А их издатели не хуже, чем КФА-издатели, знают, что такое трафик-генерация и что такое SEO, а также хорошо умеют  продвигать свои издания через  новостные агрегаторы и социальное медиа. Конечному же читателю вполне достаточно ссылочных фильтр-агрегаторов, в том числе, в составе социальных коммутаторов типа Фейсбук.

Отсюда следует один простой вывод, чтобы удержаться на рынке и быть рентабельным, КФА-издатели должны придать своему изданию специфический привкус. В рассматриваемый нами сейчас тип медийной продукции никакого своего «вкуса» не имеет. Это издания-пустоцветы, скорее, контрабанда, где товары чужого производства (контент) заворачиваются в  собственную обёртку с другой лейблочкой. Правда, и оригинальная лейблочка внутри иногда остаётся, но это суть дела не меняет.

Некий «привкус» изданию можно придать только путём добавления к заимствованному контенту  чего-то своего. Не могу сказать, что издатели этого не понимают. Уже сейчас мы встречаем такие издания, где есть возможность опросов и голосования по злободневным вопросам, некоторые издания активно занимаются переводами (своими, а не копиями чужих!), встречаются издания с встроенными классификаторами типа «ищу-предлагаю» и тому подобное. Но, мне кажется, этого явно недостаточно. Об этом мы и поговорим во 2-й части данной статьи, после чего (в 3-й части) перейдём  к рассмотрению совсем другого подхода к построению КФА, при котором издание создаётся не «дядей» (редакцией), а самим читателем…. и не для кого-нибудь, а лично для себя.

 Продолжение следует….

 ————————

Приложение

Терминология

Многие приведённые здесь термины и, в особенности, их определения сугубо мои рабочие, которые я уже давно использую, в том числе, в блоге.

 Веб-медиа (в контексте этой статья просто – медиа) = {регулярное медиа, социальное медиа, ресурсы-агрегаторы}

Социальное медиа = {блогосфера, социальные коммутаторы}

Социальный коммутатор = {Facebook, Google+, LinkedIn, …}

Веб-ресурс (ресурс) – элемент веб, имеющий свой доменный адрес некоторого уровня.

Веб-издание (издание) – любой медийный  (веб-)ресурс

Регулярное (веб-) издание – издание регулярного медиа. Часто под веб-изданием только и понимается регулярное веб-издание.

Веб-агрегатор (агрегатор) = {ресурс-агрегатор, встроенный агрегатор}

Ресурс-агрегатор  –  любой веб-ресурс осуществляющий по  критериям, определённым пользователем и/или кем-то другим, поиск в Интернете или в некотором его пространстве нужной информации, её фильтрацию, упорядочение и выдачу всем заинтересованным пользователям или конкретному пользователю. Если веб-поисковики ищут информацию только по ключевым словам и только, когда это заказано пользователем, то агрегаторы имеют дело с менее форматизированными критериям и зачастую могут осуществлять периодическое сканирование.  Например, новостные агрегаторы ищут новости, хотя, что такое новости каждый из них понимает по-своему.

Встроенный агрегатор = {RSS-агрегатор, социальные агрегатор, любая другая агрегатирующая функция внутри медийного ресурса}. Такие агрегаторы обычно имеют дело с контентом только в пределах своего ресурса. RSS-агрегатор в результате формирует RSS-ленту/ленты (feed), социальный агрегатор – главную страницу ресурса – так называемую новостную ленту (news feed). Последнее не путать с новостным ресурс-агрегетором типа Google News..

Далее, если не оговаривается противное, под агрегатором будем понимать только ресурс-агрегатор.

Будем называть фильтр-агрегатором агрегатор с мощной фильтрующей системой, что резко сужает объём результирующей информации. Например, если результат работы новостного агрегатора Google News может содержать несколько тысяч элементов, то фильтр-агрегатор FlipBoard вряд ли когда-нибудь потянет и на тысячу таких элементов в каждом выпуске. Относительно небольшое количество элементов на выходе фильтр-агрегатора снимает остроту ранжирования (упорядочивания) контента.

Все остальные агрегаторы, не относящиеся к фильтр-агрегаторам, имеют на выходе список ссылок на отобранный контент. Каждая ссылка  обычно сопровождается  кратким тестом, так или иначе представляющим основной контент, а также во многих случаях сопровождается иллюстрацией, обычно позаимствованной из материала, на который сделана ссылка. Что касается фильтр-агрегаторов, то будем различать ссылочные фильтр-агрегаторы и копирующие фильтр-агрегаторы (КФА).

 Ссылочный фильтр- агрегатор(СФА) формирует на выходе список (ленту) так или иначе аннотированных ссылок на контент, возможно,  сопровождаемых иллюстрацией. СФА может быть как ресурс-агрегатором, так и встроенной (в некоторый медийный ресурс)агрегатором – функцией.  Например, во многих регулярных веб-издания с помощью такой внутренней/технологической функции формируется рубрика типа «Последние новости».

Копирующие фильтр-агрегаторы (КФА) формируют на выходе нечто похожее на обычное медийное веб-издание регулярного медиа. Именно такого рода фильтр-агрегаторам и посвящена данная статья. В ней будут рассмотрено два основных типа КФА: КФА – издание и КФА –  инструмент.

КФА-издание ничем не отличается от издание регулярного медиа не только по своему дизайну, но и по назначению. Это обычный рыночный продукт.  О них мы говорим в первых двух частях данной статьи.

 КФА-инструмент – это уже не издание, а инструментальный продукт, с помощью которого любой пользователь может сам создать для себя собственное издание. Примером КФА-инструмента является FlipBoard. Такие КФА, в общем случае, не являются рыночным продуктом. Именно их мы и рассмотрим в третьей части статьи.