Внедряем IndexNow – что это такое и как добавить поддержку протокола на сайт

С 18 октября 2021 года Яндекс поддерживает IndexNow – простого в использовании протокола ускоренной индексации. Разберемся, что это такое, как использовать на своих сайтах, и зачем он нужен.

История появления Index Now

Первыми протокол IndexNow внедрили разработчики поисковой системы Bing (спонсором выступил Microsoft).

В 2021 Яндекс присоединился к этой инициативе, подписав договор о спонсорстве. И теперь в полной мере поддерживает данный алгоритм.

Где уже работает и где планируется поддержка

Поисковые системы

Логично было бы предположить, что вслед за Bing и Yandex технологию поддержат другие поисковые системы, особенно Google. Тем более что при отправке уведомления IndexNow в любую поисковую систему, его получают все участники договора.

Представители Гугл заявили, что их алгоритмы сканирования достаточно эффективны. Но обещали протестировать протокол Индекс Нау на устойчивость и оценить потенциальные преимущества. Сейчас уже ясно, что компания пока не готова поддержать данную инициативу.

А вот DuckDuckGo и Baidu тоже запустили прием оповещений по протоколу Index Now.

Зарубежные игроки

Многие крупные веб-сайты и сервисы (такие как eBay, LinkedIn, MSN, GitHub, Bizapedia и пр.) внедрили API-отправку своих страниц посредством API IndexNow. Поскольку такой контент автоматически получает преимущества перед конкурентами за счет более быстрой индексации.

Системы управления контентом (CMS)

Сегодня протокол Индекс Нау работает на многих движках (CMS):

  • MODX — плагинов для отправки запросов на индексацию не предусмотрено, но имеется возможность сделать это вручную за несколько минут.
  • Joomla — на данный момент не встречала программного модуля, решающего эту задачу. Проблем с отправкой нет, но вебмастера еще не написали отдельное расширение для интеграции.
  • Bitrix — с ним также совместим, но отправка запросов доступна тоже лишь в ручном режиме.
  • DataLife Engine (DLE) — оказался одним из самых продвинутых, наряду с WordPress. Все настройки по IndexNow осуществляются непосредственно в панели администратора.
  • WordPress — мой любимчик и на этот раз не подкачал. Для него уже доступны плагины с автоматической поддержкой Index Now, так как Microsoft Bing предоставил разработчикам этой CMS открытый исходный код с поддержкой Индекс Нау для внедрения.

Два конструктора сайтов (Wix и Duda) также интегрировали в свои программные продукты поддержку IndexNow.

Сети доставки контента (CDN)

Cloudflare – это глобальная сеть серверов по всему миру, к которой можно подключить свой сайт, чтобы увеличить скорость его загрузки и защититься от DDoS-атак.

Для корректной работы IndexNow были внесены изменения в функционал Crawler Hints (дословный перевод – «подсказка для краулеров»). Включить такую подсказку можно на вкладке «Cache» на панели инструментов Cloudflare.

Что такое IndexNow и зачем нужен

В современном интернет-пространстве, перегруженном огромным количеством информации, вебмастеру становится все сложнее привлечь на свой сайт поискового робота.

Иногда на выявление и индексацию новых URL-адресов, как и внесенных изменений на старых URL, уходит катастрофически много времени. Результат – потеря потенциального трафика, который мог бы привести новых посетителей, клиентов и поднять процент продаж.

IndexNow – это свежее и довольно простое решение для быстрой индексации контента, размещаемого на сайтах. Новый протокол с открытым исходным (по лицензии Attribution-ShareAlike Creative Commons) кодом позволяет владельцам различных интернет-ресурсов мгновенно и, что главное, напрямую уведомлять поисковые системы об изменениях всякий раз, когда на любом URL контент обновляется, удаляется или создается с нуля.

Проще говоря, это что-то вроде пинга, который немедленно уведомляет поисковые системы о том, что URL-адрес и его содержимое были добавлены, обновлены или удалены.

По принципу работы Index Now схож с sitemap (xml-картой сайта): ваш сервер передает поисковому боту только URL-адрес, а содержание робот уже сканирует сам.

Скорость индексации

С Индекс Нау не нужно ждать повторного обхода сайта индексирующими роботами! Получив уведомление через IndexNow API, Яндекс и Bing сразу сканируют обновленную страницу и вносят соответствующие изменения в свой индекс и результаты поиска практически моментально.

Причем уведомление об обновлении контента на странице все поисковики, поддерживающие технологию, получат автоматически.

Без IndexNow захода робота на вашу страницу придется ждать минимум 2-3 дня, а иногда намного дольше. Так как он поочередно посещает все сайты, находящиеся в поисковой базе.

Тонкости работы алгоритма

Работу IndexNow можно разбить на 3 шага:

  1. Сайт отправляет уведомление о появлении нового контента.
  2. Быстроробот сканирует обновленный или добавленный URL.
  3. Происходит мгновенное добавление страницы в индекс ПС, а также запускается процесс ранжирования.

Вебмастеру остается лишь создать API-ключ для своего сайта и настроить создание оповещений для ИндексНау вручную либо с помощью плагина.

Инструкция по настройке IndexNow вручную

Для самостоятельной ручной настройки вам понадобится сформировать API-ключ, разместить его на сервере и отправить запросы в поисковую систему.

1. Создаем API-ключ

Оказывается, боты Яндекса и Бинга в рамках технологии IndexNow отличают сайты один от другого не по URL, а по персональному ключу. При поступлении оповещения они смотрят сначала на ключ, а уже затем – на хост. Так и происходит подоменная сортировка.

Для каждого интернет-сайта должна быть сформирована своя ключевая комбинация. В случае совпадения с каким-нибудь другим ресурсом, вместо подтверждения получения уведомления вы получите соответствующее предупреждение. Но такие случаи единичны из-за большой допустимой длины ключа и его сложности.

Как составить такой ключ? При формировании индивидуального для каждого сайта API важно учитывать следующие ограничения:

  • Количество символов — от 8 до 128, без пробелов.
  • Наполнение — разрешены только маленькие и большие буквы на латинице и любые цифры.
  • Кодировка ключа — исключительно UTF-8.

Вы также можете сгенерировать ключ API на официальном сайте Bing:

generate indexnow api

2. Помещаем ключ в файл

Теперь вставьте сформированный ключ в текстовый файл (формат txt), проверьте кодировку (должна быть UTF-8).

3. Загружаем файл на сервер

Разместите файл с API-ключом для IndexNow в корневом каталоге своего сайта в формате txt с совпадающим названием. Это поможет ПС подтвердить право собственности на отправленные URL-адреса.

Загрузить файл можно одним из трех способов: через панель управления (ПУ) вашего сервера/хостинга, по FTP или с помощью плагина.

Через ПУ

Опишу алгоритм действий на примере хостинга Beget.

  1. Зайдите в аккаунт и кликните по иконке «Файловый менеджер». бегет файловый менеджер
  2. Затем перейдите в корневую папку вашего сайта (обычно это /public_html), после чего нажмите «Загрузить файл». бегет загрузка файла
  3. Очистите кэш на сайте.

По FTP

Другая возможность – создать FTP доступ:

  1. Кликните по иконке «FTP» в админке своего хостинга. бегет ftp
  2. Придумайте логин и пароль, нажмите кнопку «Добавить». добавить ftp
  3. Скачайте FTP-менеджер. Я рекомендую FileZilla – на данный момент лучшее бесплатное решение.
  4. После установки ФТП-клиента введите «Имя пользователя» (должно совпадать с заданным на хостинге логином), «Пароль» и «Хост» (адрес вашего сайта).filezilla ftp сайт

Обязательно проверьте кодировку после выгрузки txt-файла с ключом на сервер. Ваш хостер может автоматически ее поменять. Если это так, снова измените вручную на UTF-8.

Через плагины

Если нет желания лишний раз посещать админ-панель своего хостинга:

  1. В админке WordPress установите плагин File Manager (Файловый Менеджер): file manager
  2. После установки и активации в админке появится отдельная строка меню «Диспетчер файлов WP».
  3. В раскрывающемся меню нажмите на строку подменю с аналогичным названием. Откроется корневой каталог со списком всех файлов и папок вашего сайта. upload files
  4. Нажмите иконку «UploadFiles» (Загрузить файл) и загрузите txt-документ с ключом. загрузить ключ indexNow в формате txt

Очистите кэш и проверьте свой сайт на WordPress.

4. Отправляем запросы ботам поисковых систем вручную

Достаточно отправить запрос в поисковую систему Яндекс, так как Bing его тоже получит. Если со временем протокол IndexNow поддержат другие поисковые системы, они смогут автоматически подхватывать подобные оповещения.

Постранично

Чтобы отправить одно значение для одной страницы сайта, используйте GET-запрос для сервера Яндекса:

GET https://yandex.com/indexnow
? адрес_страницы=<String>
& код_верификации=<String>
& [keyLocation=<String>]

Значение keyLocation не является обязательным. Используйте его, только если поместили txt-файл с ключом не в корневую папку сайта.

Массово

Если у вас много страниц (URL), которые нужно отправить на немедленную индексацию, используйте POST:

POST /indexnow HTTP/1.1
Content-Type: application/json; charset=utf-8
Content-Length: 286
Host: yandex.com
{
"host": "www.example.com",
"key": "EdD8dkmdNLlxREi2LkhJjYOH2kyQbJqM3cBKT5fX",
"keyLocation": "https://www.example.com/myIndexNowKey63638.html",
"urlList": [
"https://www.example.com/url1",
"https://www.example.com/folder/url2",
"https://www.example.com/url3"
]
}

Расшифровка переменных этого запроса:

  • host — URL сайта;
  • key — код подтверждения (сформированный вами ранее ключ API для IndexNow);
  • keyLocation — для файла с ключом, если он размещен не в корне сайта;
  • urllist — список всех URL, которые требуется проиндексировать.

POST-запрос для массовой отправки страниц сайта на индексацию отсылается в JSON формате. Поэтому будьте особенно внимательны при его составлении. Тщательно перепроверьте каждую строчку.

IndexNow на WordPress с помощью плагина

На данный момент лучшим решением вопроса отправки урлов по Index Now для сайтов на WordPress является плагин Clearfy PRO от WPShop.

Его разработчики первыми создали автоматическую генерацию кода и добавили все необходимые опции в настройки обновленного плагина, в том числе историю обхода, которую пользователь всегда может увидеть в админ-панели WP.

clearfy indexnow

На новой вкладке всего 3 поля:

    1. Переключатель IndexNow. Во включенном положении окрашивается в зеленый.
    2. Поле для генерации ключа. При включении опции плагин самостоятельно создает ключ. Его также можно в любой момент заменить на свой или пересоздать автоматически, удалив предыдущий из этого поля.
    3. Таблица с историей постраничной отправки уведомлений и кодами ответов (столбец status).

IndexNow от Clearfy Pro работает в разы стабильнее, чем плагин «IndexNow для WP» от Михаила Кобзырева (mihdan).

К тому же при покупке плагина Clearfy Pro от WPShop вы получаете целый набор опций, просто необходимых для здоровья любого современного WordPress-сайта. А еще – бесплатную техподдержку сроком на 1 год.

Забирайте промокод: Скидка -15% на Clearfy Pro

Посмотрите видео о работе этой функции в Clearfy Pro от разработчика:

Коды ответа

Взгляните на таблицу с возможными кодами ответа IndexNow. Среди них только первые два (200 и 202) являются корректными. Остальные ошибочны.

Код ответа Расшифровка
200 Ключ был проверен и адреса переданы на индексацию.
202 Ключ ожидает проверки и еще не был добавлен в базу. Просто подождите.
403 Ключ либо не удалось загрузить совсем, либо он не соответствует отправленным в запросы урлам.
405 Используется метод, отличный от GET и POST.
422 Для таких ошибок может быть несколько причин:

  • Ошибка в атрибуте keyLocation (неверно прописан путь к файлу с ключом).
  • Некорректный адрес страницы в запросе.
  • Переданный ключ не соответствует сайту.
  • Ключ содержит менее 8 или более 128 символов либо содержит неподдерживаемые знаки.
  • Запрос был отправлен без параметра key.
  • В запросе пропущен параметр url (адрес страницы).
429 Превышено количество запросов с одного IP-адреса (в этом случае Яндекс может наложить ограничения).
Часто задаваемые вопросы (FAQ)
Какие страницы стоит отправлять, а какие - нет?
Чаще всего по протоколу IndexNow достаточно отсылать только записи. Как правило, статические страницы содержат служебную информацию («О сайте или компании», «Обратная связь», «Политика конфиденциальности»), не нуждаются в частых обновлениях. Их, а также страницы пагинации, отправлять на индексацию посредством ИндексНау не требуется.
Нужно ли отправлять старые URL, которые давно не обновлялись?
Нет, передавайте только те страницы, которые изменились с момента начала использования данного протокола.

Вся соль технологии IndexNow в ускоренной индексации свежих и обновленных материалов. Старый контент, как правило, уже проиндексирован, и его принудительная отправка ничего не изменит в индексе поисковых систем.
Есть ли лимит на количество запросов в сутки для одного сайта?
Нет. Но за откровенный спам техподдержка Яндекса может наложить ручные санкции и ограничения на отправку уведомлений.
Что делать, если сайт работает через CloudFlare?
Сейчас в Cloudflare уже есть бесплатная поддержка протокола IndexNow. Чтобы он заработал, достаточно включить Crawler Hints.

Протокол IndexNow поможет не только вебмастеру быстро проиндексировать свежий контент на своем сайте, но и всей интернет-отрасли, минимизировав нагрузку на поисковые системы.

Нажмите, пожалуйста, на одну из кнопок, чтобы узнать понравилась статья или нет.

Если Вам понравилась статья — поделитесь с друзьями
Ольга
По профессии инженер. Выпускница кафедры "Компьютерные технологии управления". Создаю сайты на WordPress с 2009 года.
Задать вопрос