В статье я расскажу как добавить сайт в поисковые системы Яндекс и Google. Сегодня есть множество как бесплатных, так и платных методов ускорения процесса индексации веб-ресурса. Чтобы получить желаемый результат, необходимо подходить к решению вопроса комплексно.
🪶 Что такое индексация
🪶 Почему не индексируется сайт
🪶 Как ускорить процесс индексации сайта
🪶 Как добавить сайт в Яндекс
🪶 Как добавить сайт в поиск Google
🪶 Что такое IndexNow и зачем нужен
Что такое индексация
Индексация сайта — это добавление его страниц в базу поисковых систем. Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.
В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче.
🪶 Совет. Поддерживайте качество сайта. Чем больше полезных для посетителей страниц робот находит и загружает в базу, тем больше вероятность, что они начнут отображаться в результатах поиска.
Почему страницы долго не появляются в поиске
Есть множество причин, почему сайт не индексируется, но важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Убедитесь, что:
-
страницы доступны для робота;
-
информация о страницах есть в файле Sitemap;
-
на страницы ведут доступные ссылки с ранее проиндексированных страниц сайта;
-
директивы Disallow, noindex, а также HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте, что не установлен запрет на обход сайта роботами в robots.txt, настройках хостинга или в метатегах robots.
Не индексируются одним из поисковиков
Когда либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.
Индексируются, но долго
Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.
Как ускорить индексацию страниц
Давайте разберем способы ускорения индексирования сайта поисковиками.
Создать карту сайта Sitemap
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента. Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. А для проектов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
После создания карты пропишите в robots.txt строку для указания роботу пути к файлу: Sitemap: https://site.ru/sitemap.xml
Укажите путь в панелях для вебмастеров:
- Яндекс Вебмастер – в разделе Инструменты → Анализ файлов Sitemap:
- Google Search Console – в разделе Индекс → Файлы Sitemap:
Добавить HTML карту сайта
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
🪶Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи, а XML-карта нужна только поисковикам.
Разрешения в robots.txt
В файле robots.txt прописаны рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и нет.
🪶Файл robots.txt — это всего лишь рекомендации, а не прямое указание.
Отправить страницу на переобход
Можно дополнительно обратить внимание поисковиков на конкретные URL. В вебмастерах отправьте нужные URL на индексацию. Яндекс Вебмастер: Индексирование → Переобход страниц. Google консоль: Инструмент проверки URL.
Ответы сервера
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт. Проверить ответ сервера можно в Яндекс Вебмастере в разделе Инструменты → Проверка ответа сервера.
Правильная структура и перелинковка
Если на страницу не ведут ссылки с других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Для того, чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц.
Также проверьте расположение страницы в структуре сайта и количество кликов до нее с главной. Чем оно меньше, тем важнее считается страница, и тем больший приоритет она получит с точки зрения бота. Идеальный вариант – не более трех кликов от главной.
Взять за правило обновлять контент
Поисковики любят «живые» сайты. Регулярно обновляющийся сайт бот будет чаще сканировать.
🪶Можно добавлять на страницу видео с Youtube, если больше нечего. Поведенческие улучшатся за счет просмотра видео, а на странице появится новый формат контента.
Публиковать ссылки в соцсетях и на других площадках
Найдите сторонние сайты по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Вы можете договориться о партнерстве с площадкой, близкой вам по тематике, и обмениваться ссылками. Главное, что размещения ссылок должны выглядеть естественными и подходить по теме. Ищите справочники, форумы, другие соцсети, отзовики, сервисы FAQ и другие площадки для размещения. Например, размещайте анонсы ваших новых материалов в социальных сетях.
Использовать почтовую рассылку
Рассылка также позволяет быстро индексировать сайт, если пользователи будут посещать сайт через ссылки в почте. Для этого рекомендую воспользоваться любым сервисом для ведения рассылок.
Как добавить сайт в Яндекс Вебмастер
Перейдите на страницу Яндекс Вебмастера → Нажмите «+» → Введите адрес сайта → Нажмите Добавить. Далее подтвердите права на сайт. Сделать это можно через: Метатег, HTML-файл или DNS-запись.
Как добавить сайт в поиск Google
Чтобы добавить сайт в поисковую систему Google, перейдите в Google Search Console → Введите адрес сайта в блоке Доменный ресурс → Нажмите Продолжить → Готово. Если права подтверждены корректно, вы увидите соответствующее уведомление.
Что такое IndexNow и зачем нужен
IndexNow – это свежее и довольно простое решение для быстрой индексации контента, размещаемого на сайтах. Это протокол, при помощи которого поисковая система сможет в режиме реального времени узнавать обо всех изменениях на сайте. Получив уведомление через IndexNow API, Яндекс и Bing сразу сканируют обновленную страницу и вносят соответствующие изменения в свой индекс и результаты поиска практически моментально.
Технически реализовать IndexNow можно при помощи API или плагинов для популярных CMS. Перед тем, как передавать URL, нужно будет сформировать и разместить на сайте специальный ключ, который подтвердит, что сайт принадлежит вам. Подробная инструкция по использованию протокола — в Справке Вебмастера.
