С 18 октября 2021 года Яндекс поддерживает IndexNow – простого в использовании протокола ускоренной индексации. Разберемся, что это такое, как использовать на своих сайтах, и зачем он нужен.
История появления Index Now
Первыми протокол IndexNow внедрили разработчики поисковой системы Bing (спонсором выступил Microsoft).
В 2021 Яндекс присоединился к этой инициативе, подписав договор о спонсорстве. И теперь в полной мере поддерживает данный алгоритм.
Где уже работает и где планируется поддержка
Поисковые системы
Логично было бы предположить, что вслед за Bing и Yandex технологию поддержат другие поисковые системы, особенно Google. Тем более что при отправке уведомления IndexNow в любую поисковую систему, его получают все участники договора.
Представители Гугл заявили, что их алгоритмы сканирования достаточно эффективны. Но обещали протестировать протокол Индекс Нау на устойчивость и оценить потенциальные преимущества. Сейчас уже ясно, что компания пока не готова поддержать данную инициативу.
А вот DuckDuckGo и Baidu тоже запустили прием оповещений по протоколу Index Now.
Зарубежные игроки
Многие крупные веб-сайты и сервисы (такие как eBay, LinkedIn, MSN, GitHub, Bizapedia и пр.) внедрили API-отправку своих страниц посредством API IndexNow. Поскольку такой контент автоматически получает преимущества перед конкурентами за счет более быстрой индексации.
Системы управления контентом (CMS)
Сегодня протокол Индекс Нау работает на многих движках (CMS):
- MODX — плагинов для отправки запросов на индексацию не предусмотрено, но имеется возможность сделать это вручную за несколько минут.
- Joomla — на данный момент не встречала программного модуля, решающего эту задачу. Проблем с отправкой нет, но вебмастера еще не написали отдельное расширение для интеграции.
- Bitrix — с ним также совместим, но отправка запросов доступна тоже лишь в ручном режиме.
- DataLife Engine (DLE) — оказался одним из самых продвинутых, наряду с WordPress. Все настройки по IndexNow осуществляются непосредственно в панели администратора.
- WordPress — мой любимчик и на этот раз не подкачал. Для него уже доступны плагины с автоматической поддержкой Index Now, так как Microsoft Bing предоставил разработчикам этой CMS открытый исходный код с поддержкой Индекс Нау для внедрения.
Два конструктора сайтов (Wix и Duda) также интегрировали в свои программные продукты поддержку IndexNow.
Сети доставки контента (CDN)
Cloudflare – это глобальная сеть серверов по всему миру, к которой можно подключить свой сайт, чтобы увеличить скорость его загрузки и защититься от DDoS-атак.
Для корректной работы IndexNow были внесены изменения в функционал Crawler Hints (дословный перевод – «подсказка для краулеров»). Включить такую подсказку можно на вкладке «Cache» на панели инструментов Cloudflare.
Что такое IndexNow и зачем нужен
В современном интернет-пространстве, перегруженном огромным количеством информации, вебмастеру становится все сложнее привлечь на свой сайт поискового робота.
Иногда на выявление и индексацию новых URL-адресов, как и внесенных изменений на старых URL, уходит катастрофически много времени. Результат – потеря потенциального трафика, который мог бы привести новых посетителей, клиентов и поднять процент продаж.
IndexNow – это свежее и довольно простое решение для быстрой индексации контента, размещаемого на сайтах. Новый протокол с открытым исходным (по лицензии Attribution-ShareAlike Creative Commons) кодом позволяет владельцам различных интернет-ресурсов мгновенно и, что главное, напрямую уведомлять поисковые системы об изменениях всякий раз, когда на любом URL контент обновляется, удаляется или создается с нуля.
Проще говоря, это что-то вроде пинга, который немедленно уведомляет поисковые системы о том, что URL-адрес и его содержимое были добавлены, обновлены или удалены.
По принципу работы Index Now схож с sitemap (xml-картой сайта): ваш сервер передает поисковому боту только URL-адрес, а содержание робот уже сканирует сам.
Скорость индексации
С Индекс Нау не нужно ждать повторного обхода сайта индексирующими роботами! Получив уведомление через IndexNow API, Яндекс и Bing сразу сканируют обновленную страницу и вносят соответствующие изменения в свой индекс и результаты поиска практически моментально.
Причем уведомление об обновлении контента на странице все поисковики, поддерживающие технологию, получат автоматически.
Без IndexNow захода робота на вашу страницу придется ждать минимум 2-3 дня, а иногда намного дольше. Так как он поочередно посещает все сайты, находящиеся в поисковой базе.
Тонкости работы алгоритма
Работу IndexNow можно разбить на 3 шага:
- Сайт отправляет уведомление о появлении нового контента.
- Быстроробот сканирует обновленный или добавленный URL.
- Происходит мгновенное добавление страницы в индекс ПС, а также запускается процесс ранжирования.
Вебмастеру остается лишь создать API-ключ для своего сайта и настроить создание оповещений для ИндексНау вручную либо с помощью плагина.
Инструкция по настройке IndexNow вручную
Для самостоятельной ручной настройки вам понадобится сформировать API-ключ, разместить его на сервере и отправить запросы в поисковую систему.
1. Создаем API-ключ
Оказывается, боты Яндекса и Бинга в рамках технологии IndexNow отличают сайты один от другого не по URL, а по персональному ключу. При поступлении оповещения они смотрят сначала на ключ, а уже затем – на хост. Так и происходит подоменная сортировка.
Для каждого интернет-сайта должна быть сформирована своя ключевая комбинация. В случае совпадения с каким-нибудь другим ресурсом, вместо подтверждения получения уведомления вы получите соответствующее предупреждение. Но такие случаи единичны из-за большой допустимой длины ключа и его сложности.
Как составить такой ключ? При формировании индивидуального для каждого сайта API важно учитывать следующие ограничения:
- Количество символов — от 8 до 128, без пробелов.
- Наполнение — разрешены только маленькие и большие буквы на латинице и любые цифры.
- Кодировка ключа — исключительно UTF-8.
Вы также можете сгенерировать ключ API на официальном сайте Bing:
2. Помещаем ключ в файл
Теперь вставьте сформированный ключ в текстовый файл (формат txt), проверьте кодировку (должна быть UTF-8).
3. Загружаем файл на сервер
Разместите файл с API-ключом для IndexNow в корневом каталоге своего сайта в формате txt с совпадающим названием. Это поможет ПС подтвердить право собственности на отправленные URL-адреса.
Загрузить файл можно одним из трех способов: через панель управления (ПУ) вашего сервера/хостинга, по FTP или с помощью плагина.
Через ПУ
Опишу алгоритм действий на примере хостинга Beget.
- Зайдите в аккаунт и кликните по иконке «Файловый менеджер».
- Затем перейдите в корневую папку вашего сайта (обычно это
/public_html
), после чего нажмите «Загрузить файл». - Очистите кэш на сайте.
По FTP
Другая возможность – создать FTP доступ:
- Кликните по иконке «FTP» в админке своего хостинга.
- Придумайте логин и пароль, нажмите кнопку «Добавить».
- Скачайте FTP-менеджер. Я рекомендую FileZilla – на данный момент лучшее бесплатное решение.
- После установки ФТП-клиента введите «Имя пользователя» (должно совпадать с заданным на хостинге логином), «Пароль» и «Хост» (адрес вашего сайта).
Обязательно проверьте кодировку после выгрузки txt-файла с ключом на сервер. Ваш хостер может автоматически ее поменять. Если это так, снова измените вручную на UTF-8.
Через плагины
Если нет желания лишний раз посещать админ-панель своего хостинга:
- В админке WordPress установите плагин File Manager (Файловый Менеджер):
- После установки и активации в админке появится отдельная строка меню «Диспетчер файлов WP».
- В раскрывающемся меню нажмите на строку подменю с аналогичным названием. Откроется корневой каталог со списком всех файлов и папок вашего сайта.
- Нажмите иконку «UploadFiles» (Загрузить файл) и загрузите txt-документ с ключом.
Очистите кэш и проверьте свой сайт на WordPress.
4. Отправляем запросы ботам поисковых систем вручную
Достаточно отправить запрос в поисковую систему Яндекс, так как Bing его тоже получит. Если со временем протокол IndexNow поддержат другие поисковые системы, они смогут автоматически подхватывать подобные оповещения.
Постранично
Чтобы отправить одно значение для одной страницы сайта, используйте GET-запрос для сервера Яндекса:
GET https://yandex.com/indexnow
? адрес_страницы=<String>
& код_верификации=<String>
& [keyLocation=<String>]
Значение keyLocation
не является обязательным. Используйте его, только если поместили txt-файл с ключом не в корневую папку сайта.
Массово
Если у вас много страниц (URL), которые нужно отправить на немедленную индексацию, используйте POST:
POST /indexnow HTTP/1.1
Content-Type: application/json; charset=utf-8
Content-Length: 286
Host: yandex.com
{
"host": "www.example.com",
"key": "EdD8dkmdNLlxREi2LkhJjYOH2kyQbJqM3cBKT5fX",
"keyLocation": "https://www.example.com/myIndexNowKey63638.html",
"urlList": [
"https://www.example.com/url1",
"https://www.example.com/folder/url2",
"https://www.example.com/url3"
]
}
Расшифровка переменных этого запроса:
host
— URL сайта;key
— код подтверждения (сформированный вами ранее ключ API для IndexNow);keyLocation
— для файла с ключом, если он размещен не в корне сайта;urllist
— список всех URL, которые требуется проиндексировать.
POST-запрос для массовой отправки страниц сайта на индексацию отсылается в JSON формате. Поэтому будьте особенно внимательны при его составлении. Тщательно перепроверьте каждую строчку.
IndexNow на WordPress с помощью плагина
На данный момент лучшим решением вопроса отправки урлов по Index Now для сайтов на WordPress является плагин Clearfy PRO от WPShop.
Его разработчики первыми создали автоматическую генерацию кода и добавили все необходимые опции в настройки обновленного плагина, в том числе историю обхода, которую пользователь всегда может увидеть в админ-панели WP.
На новой вкладке всего 3 поля:
-
- Переключатель IndexNow. Во включенном положении окрашивается в зеленый.
- Поле для генерации ключа. При включении опции плагин самостоятельно создает ключ. Его также можно в любой момент заменить на свой или пересоздать автоматически, удалив предыдущий из этого поля.
- Таблица с историей постраничной отправки уведомлений и кодами ответов (столбец status).
IndexNow от Clearfy Pro работает в разы стабильнее, чем плагин «IndexNow для WP» от Михаила Кобзырева (mihdan).
К тому же при покупке плагина Clearfy Pro от WPShop вы получаете целый набор опций, просто необходимых для здоровья любого современного WordPress-сайта. А еще – бесплатную техподдержку сроком на 1 год.
Забирайте промокод: Скидка -15% на Clearfy Pro
Посмотрите видео о работе этой функции в Clearfy Pro от разработчика:
Коды ответа
Взгляните на таблицу с возможными кодами ответа IndexNow. Среди них только первые два (200 и 202) являются корректными. Остальные ошибочны.
Код ответа | Расшифровка |
---|---|
200 | Ключ был проверен и адреса переданы на индексацию. |
202 | Ключ ожидает проверки и еще не был добавлен в базу. Просто подождите. |
403 | Ключ либо не удалось загрузить совсем, либо он не соответствует отправленным в запросы урлам. |
405 | Используется метод, отличный от GET и POST. |
422 | Для таких ошибок может быть несколько причин:
|
429 | Превышено количество запросов с одного IP-адреса (в этом случае Яндекс может наложить ограничения). |
Протокол IndexNow поможет не только вебмастеру быстро проиндексировать свежий контент на своем сайте, но и всей интернет-отрасли, минимизировав нагрузку на поисковые системы.
Нажмите, пожалуйста, на одну из кнопок, чтобы узнать понравилась статья или нет.