Как анализировать семантику

Относится к знаниям по контекстной рекламе, но рекомендую к прочтению для общего развития.

Чтобы понять, как анализировать семантику, надо понять, как ее собирают.
Здесь - самая главная ошибка, какая только может быть.
Чтобы собрать полноценную семантику, которая охватывает все запросы пользователей, что нужно сделать? Если вы продаете пластиковые окна, вам нужно взять базисный запрос (маркер, маска и т.п. - кто как называет). Надо задать этот запрос к вордстату - у вас выйдет какой-то достаточно большой семантический хвост.

Как правило, собирают вордстат в один уровень - первые 40 страниц. Получают 2000 ключей и начинают думать, что с ними делать. Этот подход опять же неверный, потому что собираются наиболее частотные запросы.

Для начала: что вам нужно знать об анализе семантики?
Как вообще собирают семантику?

не бывает "волшебных ключей, которые нашел конкурент и собрал дешевые конверсии. Это - сказки для идиотов.

Что МОЖНО найти в результате анализа семантики конкурентов?

Правильная история - нужно собирать в 2 или в 3 уровня, в зависимости от частотности базисного запроса. Если мы говорим о пластиковых окнах, вполне достаточно собрать 2 уровня. Это будет не 2000 запросов, а около 80100 тысяч

Затем по этим запросам желательно собрать поисковые подсказки, чтобы менее частотными, более актуальными и свежими вещами это все дополнить.
Затем эти выборки объединить, пробить по ним частотность. Убрать запросы, где частотности нет. И уже работать - формировать минус-файл, делать кластеризацию для формирования рекламных объявлений и т.п. уже с этой выборкой какие-то задачи решать

Понятно, что пример очень грубый, в реальности таким методом по запросу пластиковых окон вы соберете хвост очень большой, который вряд ли сможете обработать. На практике мы имеем дело с конкретными ситуациями. Даже если это пластиковые окна, часто компания, которая с ними работает, продает только пластиковые окна определенной фирмы, или только деревянные, - всегда есть более узкая сущность, на которую можно опереться. Если это окна Рехау, соберите в русском, в английском написании ключи. И работайте с ними. Там будут довольно ограниченные выборки - 5-7 тысяч запросов.

Теперь, когда мы понимаем, как правильно собирать, как охватить действительно все, возникают 2 вопроса:

  1. Как это автоматизировать? Можно автоматизировать тем же Кейколлектором, правда придется немножко поработать. Можно пойти в МОАВ Tools, там все это автоматизировано
  2. Анализ конкурентов для поиска семантики заключается не в сборе конкретных запросов (конкретное ключевое слово, по которому необходимо рекламироваться)

А заключается в поиске новых масок - новых базисных маркерных запросов, которые вы ранее не учитывали.
Как это работает? В примере с пластиковыми окнами рехау все вроде бы просто. Бренд по-русски и по-английски. Но тут же возникают запросы «ПВХ рехау», «окна рехау» и т.п. много других базисов.
Когда речь идет о пластиковых окнах, это все выглядит просто. Классический пример, - подарочная тематика. Там есть подраздел «подарки начальнику». Это могут быть:

  • подарок начальнику
  • подарок боссу
  • подарок руководителю
  • подарок директору
  • подарок начальнице
  • все то же самое, но с презентом, сюрпризом, набор для руководителя, начальника и т.п.
  • вещи, связанные с военными (например, подарок полковнику, - условно)

Самих этих базисов только по подаркам начальству - масок, по которым можно собрать большой, длинный хвост с большой частотностью и большим охватом разных запросов, - их было несколько десятков. И это только одна подтема была в данном магазине. Там еще были всякие подарки детям, родственникам и т.п.

На практике, когда у вас есть большой проект, или специфические темы, реальной проблемой становится поиск этих маркеров - базисов. Сам сбор хвостов легко автоматизировать - либо Кейколлектор, либо Тулс, или еще другие сервисы есть. А вот поиск этих базисов, которые позволяют увеличить охват, количество людей, которые ищут то, что вам нужно продать, - это действительно проблема, потому что это можно осуществить только вручную. Для этого как раз лучше и эффективнее всего использовать сервисы анализа конкурентов.

Как вообще такие сервисы работают? Зачастую многие не понимают, как они устроены изнутри.

Наиболее эффективными в этой среде являются сервисы анализа видимости. Например, Serpstat, Spywords и Megaindex. У Адвсё и Similarweb немножко другой функционал.
Как они работают? У сервиса есть некая база запросов - миллион, 30, 50, 100 миллионов - не важно. Некая база запросов, к которой можно обращаться. Определенное количество фраз. По этим фразам раз в месяц они снимают поисковую выдачу. Что это значит? Что робот задает эти запросы в поиске Гугла, Яндекса, запоминает все ответы, которые ему отдают, все рекламные и органические ссылки. Сохраняет их себе в базу

Когда вы задаете конкретный домен вашего конкурента, осуществляется обратный поиск - вам выдаются все ключевые запросы, по которым этот домен в выдаче был найден. Работает это именно так

Какие тут могут быть погрешности? Мы не знаем, откуда сервисы берут свою базу. Откуда-то он ее берет, но источник этой базы нам не известен. Чаще всего это тот же присловутый вордстат. Насколько эта база полноценна конкретно для вашей тематики? Насколько она полноценна вообще? Как часто она обновляется, как она обновляется?
Условно, вот вышли новые айфоны, а сервисы еще не отпарсили семантику по новым айфонам, не добавили информацию в свою базу и соответственно не сняли информацию с выдачи по ней. Этот анализ будет неинформативен, если вы захотите проанализировать, что ваши конкуренты делают по этой тематике.

Где берется база, насколько часто она обновляется, насколько результат, который отдается роботу сервиса видимости отличается от реального среднего результата, который видят люди за счет персонализации. Надо понимать, что каждый конкретный человек обращаясь к поиску, и в рекламе, и в органике видит уже персонализированную выдачу, которая может сильно или не сильно отличаться. Есть какая-то средняя позиция, которая может плавать. Насколько то, что увидел робот при парсинге будет отличаться от реальной средней позиции, мы тоже не знаем. Здесь могут быть существенные отличия.

Какие выводы? Использовать сервисы видимости для прямого анализа - допустим, мой конкурент продвигается по таким-то ключам или у него видимость гораздо лучше, чем у меня. - это все очень большая условность. Позже опишем ситуацию, когда эти данные становятся на большом объеме более-менее точными, но прямое использование этих данных крайне не рекомендуется, т.к. они очень примерны и условны.

Как их можно использовать полезно?
Как нивелировать эту условность, которую мы получаем в сервисах выдачи?

Прежде всего составьте объективный список конкурентов. Через Spywords или Similarweb, на ваше усмотрение. Не суть. Будет примерно тот же список. В Spywords в узких тематиках он будет чуть получше

Каких-то конкурентов вы знаете сами. Как правило, люди всегда мониторят действия 5-7 своих конкурентов. Но не помешает добавить еще тех, кто на второй странице ранжируются, менее популярные, работают в смежных регионах и т.п. Как правило, 20 сайтов более чем достаточно. Это очень просто сделать: забиваете в Spywords ваш сайт, ранжируете по потенциальному трафику сайты, которые пересекаются с ним по ядру и отбираете те, которые действительно являются конкурентами, потому что там вы встретите агрегаторы - они вам не конкуренты, информационные сайты, магазины, с которыми вы не можете тягаться. Понятно, если вы продаете постельное белье, и ОЗОН продает постельное белье тоже, бессмысленно себя с ним сравнивать, даже если вы в одной с ним выдаче. Вы в любом случае ранжируетесь по разным паттернам, - что в по рекламе, что по органике

Отбирайте именно прямых конкурентов, семантика которых значительно пересекается с вашей. Составляете список и выкачиваете из него семантику, из того же Spywords или кому чем нравится

Экспортируем эту семантику, убираем дубли, в один файл это все заливаем. У нас получается большой список на 20-30 тысяч ключевых слов (условно).
Заливаем эту семантику в Кейколлектор. Там есть такой инструмент «анализ групп» (на вкладке «Данные») - туда заливаем. Группируем ее, разбиваем на группы за счет простого частотного словаря. (Выбираем анализировать «по фразам»). Вся эта семантика разбивается на группы. Если у вас идет речь о подарках начальнику, например, там есть группа «ручки», - «ручка в подарок начальнику», «ручка начальнику купить» и т.п. - все фразы со словом «ручка начальнику» будут разбиты по группам

На эти группы удобно смотреть и выдергивать из них потенциальные маркеры. Грубо говоря, какой-то из ваших конкурентов сделал посадочную страницу по ручкам в подарок начальнику, но назвал ее «Ручка в качестве сюрприза для начальника». Эта страница по каким-то ключам вылезла - вы видите эту группу ключей, по которым сервис видимости отследил наличие этого конкурента. Соответственно, вы из этой группы из запроса «ручка в подарок начальнику» можно выдернуть основу «подарок начальнику» - идея для нового базисного запроса

Когда работаешь с Кейколлектором, очень хорошо видны вот эти основы, их там действительно много и они непредсказуемы. Достаточно посмотреть только 20% этого частотного словаря, чтобы увидеть идеи для новых базисов. После того как вы увидели новые базисы, синонимы того же, что вы продаете, до которых вы раньше не догадывались, вы идете с ними в вордстат и в подсказки. И уже там собираете статистически достоверный, полный массив запросов, с которыми вы будете работать. Вот так это работает

Условность, которая лежит в основе механики самих сервисов видимости, не позволяет напрямую использовать эти данные. А если вы их используете, вы наверняка столкнетесь с разными проблемами:

  1. с неполнотой ядра (будут не все минус-слова учтены)
  2. не все кластеры будут подготовлены, соответственно под какие-то типы запросов у вас не будет релевантных объявлений, посадочных и т.п.

На данный момент в ру-сегменте наиболее полную статистику отдает Spywords, у него база в районе 100 миллионов. Сопоставимую базу сделали Букварикс. Это наиболее приоритетные продукты с точки зрения видимости в ру-сегменте, у них наиболее полная база, наибольший результат при работе со среднестатистическими магазинами, не очень большими, с трафиком между 200-2000 человек в день. Такие результаты они нормально отрабатывают, с известной погрешностью, - она ощутима и большая, реальное ядро этих магазинов может быть в 2-3 раза больше, но по крайней мере общее представление вы получите

Очень аккуратно, если у вас региональный проект. Региональных баз там нет! А известно, что региональные выдачи очень сильно различаются по коммерческим запросам. Насколько мне известно, у этих сервисов сейчас отрабатывает база РФ, Москва и Питер. Если у вас проект в Екатеринбурге, толку вам от анализа такого. У вас погрешность будет еще больше, если вы будете эти данные использовать напрямую. Если вы будете пытаться использовать эти данные так, как я рассказываю, тогда можете какой-то толк извлечь. Но в этом случае необходимо скорее московских конкурентов анализировать или какие-то федеральные проекты, потому что по вашим локальным проектам у них просто не будет данных. Сервисы не анализируют выдачу в Екатеринбурге. Это еще раз пробивать те же 100 миллионов - это никто не потянет

Какой инструмент по итогу использовать

У них несколько регионов - мск, спб и что-то еще. Но их недостаток - очень маленькая база, всего 12-15 миллионов. Какие-то более-менее вменяемые результаты он дает только на больших сайтах, которые просто больше попадают в выдачу. На проектах с трафиком до нескольких тысяч в сутки очень бедная выдача, очень мало запросов. Использовать это очень затруднительно

Для Serpstat ру-рынок вторичен, база очень маленькая. Мегаиндекс вообще не понятно как работает. Там существуют какие-то системные проблемы и с техподдержкой, и с функционалом, и со всем остальным. Их база - не фонтан

Similarweb не используют выдачу, не снимают данные как мы уже рассмотрели. Они покупают данные метрик, аналитикса (статистик сайтов), используют данные браузерных плагинов (своих и чужих). Для мелких сайтов там ловить нечего. Очень примерные данные будут. Если у вас и у коллег посещаемость хотя бы от 1000 уников в день, еще можно хоть как-то примерно сравнивать, а все, что меньше 1000 в сутки - это настолько примерные оценки, что с реальностью они могут быть вообще никак не связаны. Даже на большем трафике могут быть отдельные сегменты, где дефицит данных и это не очень похоже на правду. В среднем, чем больше трафик, тем больше похоже на правду

У меня по проектам, где трафик 20-30 тысяч уников в сутки, - там они угадывают с незначительной погрешностью. 10-20%. А когда я начинаю брать проекты по 1000-2000 в сутки, там разница может быть и 40-50% - это уже за гранью

Адвсё - самая бедная база семантики, очень мало результатов. Идут по той же модели, используют свой браузерный плагин. Но все мы знаем судьбу браузерных плагинов - их сейчас практически никто не ставит, они развиваются плохо

У всех этих инструментов есть существенные минусы, который определяется методикой съема позиций выдачи. Но среди них есть те, которые дают более правдоподобные результаты, которые можно с некоторыми погрешностями использовать. Просто надо знать, как что работает, у кого какая база и как часто она обновляется

Категорически не рекомендую строить кампанию на основе прямых выгрузок из сервисов видимости. В конкретных сегментах может быть очень большой дефицит запросов. Вы должны находить какие-то новые маркеры, базисы, новые поисковые маски. И уже по ним собирать достоверную семантику, которая охватит все возможные минуса и все возможные кластеры. Собирать из Вордстата и подсказок. Из Вордстата желательно работать с глубиной 2 или 3 (Кейколлектором можно настроить любую глубину). Можно к нам в МОАВ тулс пойти - у нас есть глубина 1 и 2

Плюс поисковые подсказки. Мы собрали 10000 запросов - желательно каждый из них прогнать по подсказкам и собрать расширения, проверить по ним частотность, чтобы статистически достоверное ядро получить.

Анализ объявлений конкурентов в эру трафаретов
В данный момент мы вынуждены говорить о том, что конкретной рекламной позиции по сути не существует. Ваш сайт может плавать по выдаче как угодно - в зависимости от того, как это сочтет нужным персонализация. Кому-то вас покажут, кому-то нет. Где-то вы будете на первом месте, где-то, на третьем, в зависимости от конкретного пользователя, конкретного запроса и конкретной ситуации

Семантика очень сильно разрастается, очень много микро-НЧ уникальных, которых ранее никто не задавал, по ним вообще невозможно предугадать выдачу.
Как работать с анализом объявлений? Мы начали составлять таблицу, в которой собираем всевозможные УТП конкурентов. Понятно, что все там не соберешь, - кого-то из конкурентов тебе просто не покажут. Но основные ключевые вещи можно собрать. Здесь у нас 10 текстовых полей:

Заголовок у нас будет всегда, подзаголовок будет почти всегда, описание будет всегда, а отображаемая ссылка - нет. Быстрые ссылки тоже кто-то заполняет, а кто-то нет. Расширения, адрес, метро, телефон - тоже.
Те же расширения, уточнения могут быть показаны в зависимости от конкретного запроса, а могут быть не показаны. Речь идет о том, чтобы распределить список УТП таким образом по объявлению... сначала собрать список УТП конкурентов, которые они используют в своих объявлениях. Составить список своих УТП

Кто не знает, УТП - это уникальное торговое предложение, то, чем вы можете «соблазнить» клиента, который желает у вас что-то приобрести

Собрать список УТП конкурентов - из выдачи, что они используют в своих объявлениях. Зачастую ничего особо уникального там нет - обычно есть 2-3 игрока в нише, которые действительно что-то интересное могут предложить. Остальные действуют по шаблону.

Добавить в этот список ваше УТП, которое вы можете клиенту предложить, - вы обязательно должны чем-то отличаться

Зачастую, общаешься с предпринимателями и спрашиваешь про их УТП, отвечают: «ну мы ставим межкомнатные двери, какие у нас УТП... ну доставка бесплатная, ну дешево, ну мастера квалифицированные». Неинтересная история. Если вы работаете с бизнесом, с них обязательно нужно требовать какое-то УТП. Если вы работаете с бизнесом и вам говорят, что у них УТП такое же как у всех, тогда надо говорить, что какое УТП, такой и результат. Почему у вас должны покупать, если вы точно такой же как и все? Будут покупать также - не особо. Надо заставлять бизнес думать. Придумывать УТП вместе или пусть сами придумывают. Это зависит от вашей финансовой модели, на которой вы работаете

Затем, когда совмещаются удачные решения конкурентов и уникальные для вас решения, эти УТП распределяются по наиболее вероятным для показа полям объявления. Если у вас там ключевое слово влезает в первый заголовок, то во второй заголовок можно поставить какое-то наиболее критичное, важное УТП засунуть.
Приоритет 2 - в описание.
В быстрые ссылки - с приоритетом 3.
В уточнения, расширения - какие-то уже менее приоритетные вещи, потому что они будут показаны не всегда - надо об этом помнить

Витальные запросы

Витальные запросы - это запросы, которые прямо указывают на тот или иной проект, сайт, организацию. Например, «Сбербанк».

По витальным запросам показываются расширенные объявления, где видны как быстрые ссылки, так и их описание. Т.е. это возможность не только посмотреть, какие описания к быстрым ссылкам показываются, т.к. не все эти описания заполняют в принципе. Не у всех есть витальные запросы. Для небольшого магазина таких запросов не будет.
Само по себе то, заполнено ли описание по быстрым ссылкам, говорит об уровне конкурента - насколько он вообще внимательно подходит работе

Во-вторых, это позволяет посмотреть расширенные, более продуманные версии УТП, если конкурент написал туда что-то интересное, а не шаблонные вещи. Какие-то идеи можно оттуда брать. Берете конкретного конкурента - забиваете его название в поиск. Если они заморочились, по этому запросу будет показано расширенное объявление, с описаниями и быстрыми ссылками. Смотрите, анализируете.

Проблема «разумной жертвы»
Вас везде будут учить, что все нужно делать максимально хорошо, качественно. Вот у вас 1000 объявлений, давайте к каждому подберем наиболее релевантные быстрые ссылки... звучит это, конечно, правильно. Но в реальности, когда у вас семантика 20-30 тысяч фраз (для московского интернет-магазина это нормальная ситуация, это не очень много), почистили, сформировали минус-файл. Осталось 10000 фраз, они превратились у вас в 700-1200 кластеров - т.е. объявлений

Подобрать релевантные быстрые ссылки для каждого объявления - очень долгий процесс

Да, для каждого кластера необходимо подбирать релевантную посадочную страницу. Это даже не обсуждается. Это можно частично автоматизировать, если у вас многостраничный сайт с хотя бы минимально проработанными заголовками. Но делать индивидуальные быстрые ссылки для каждого объявления на большом объеме - экономически неэффективно. Проще разработать 2-5 универсальных комплектов, в зависимости от ключевых слов. Например, сегмент для светодиодного освещения, для освещения из обычных ламп накаливания, для ретро-лампочек, и заливать их везде типовые - это экономит время, которое лучше оставить для аналитики, оптимизации, работу с отделом продаж, еще какие-то доп.активности. потому что семантики всегда больше, чем вас

Если у вас какая-то ультра-узкая ниша, где семантики практически нету, там можно 20-40 объявлений сделать вручную. Это экономически оправдано. А когда у вас большой ассортимент товаров, не стесняйтесь идти на разумные жертвы - жертвовать второстепенным ради экономии времени в пользу более важных вещей, как например оптимизация кампании после запуска, улучшение посадочных, конверсии. Старайтесь тратить время на наиболее приоритетные задачи, не тоните в перфекционизме - ни к чему хорошему это не приведет

Анализ сайта конкурентов

Рекламные выдачи могут делиться на несколько групп:

  1. Где почти всегда будет лендинг - бады, кредиты, мфо
  2. Смешанные - пластковые окна, услуги, натяжные потолки, двери, ремонт - вы увидите в выдаче как многостраничные сайты, так и лендинги
  3. Почти всегда многостраничник - товарка, e-commerce

Здесь не надо плыть против ветра. Если в вашей тематике в рекламной выдаче одни лендинги по всем сегментам ключевых фраз (просто руками потыкайте), не надо делать многостраничные сайты. Не нужно. Люди привыкли видеть лендинги. Они привыкли к определенной модели - зашел, там большая форма, надо что-то вбить и тебе скажут, дадут денег или нет)

Или вы заходите в какую-то нишу, где классический e-commerce с большим количеством посадочных. Вы видите, что там все разбито по посадочным - голландские, немецкие тюльпаны и т.п. - под каждую узкую сущность отдельная посадочная с отдельной группой товаров, отдельным заголовком и т.п., то не желательно в такую нишу заходить лендингом.
Если уж заходите, обязательно прорабатывайте текстовые подмены - это хоть как-то скомпенсирует.

Выдержка из доклада
Илья Исерсон, контекстное агентство MOAB