Индексация: почему страницы не попадают в поиск

Вы запустили сайт или добавили сотню новых товаров, подождали неделю, две, месяц, а в поиске их нет. Это одна из самых частых жалоб, с которой к нам приходят владельцы магазинов и корпоративных сайтов. Причин у проблемы много, и большинство из них можно найти и исправить самостоятельно. Рассказываем, как устроена индексация, где искать причину и в каком порядке действовать.

Как страница попадает в поиск

Чтобы страница появилась в результатах, она проходит несколько этапов, и на каждом может возникнуть затык.

1. Обнаружение. Робот узнаёт о существовании адреса: по ссылке с другой страницы, из карты сайта, из панели вебмастера или по сигналам со счётчиков.
2. Обход. Робот обращается к адресу, получает ответ сервера и загружает содержимое.
3. Анализ. Страница обрабатывается: определяется язык, тема, качество, наличие дублей, ссылки на другие страницы.
4. Решение о включении. Система решает, добавлять ли страницу в базу поиска и какой версии отдать предпочтение.
5. Ранжирование. Попавшая в базу страница начинает участвовать в выдаче по запросам.

Важно различать понятия «просканирована» и «проиндексирована». Робот мог зайти на страницу, прочитать её и решить не включать в поиск: из-за низкого качества, дублирования или технического запрета. Поэтому недостаточно увидеть в логах сервера визит робота.

Почему индексация не мгновенная

Поисковые системы распределяют ресурсы между миллиардами страниц. Для каждого сайта действует ограничение на количество обращений за единицу времени, которое зависит от скорости ответа сервера, популярности и частоты обновлений. Новый сайт с небольшой посещаемостью обходится реже, поэтому ожидание в несколько дней или даже недель — нормальная ситуация. Тревожиться стоит, если прошёл месяц, а страниц по-прежнему нет.

Первый шаг: выясняем масштаб проблемы

Прежде чем искать причину, определите, что именно не индексируется: весь сайт, целый раздел или отдельные страницы. От этого зависит направление поиска.

Как проверить

• В панели вебмастера откройте отчёт о страницах в поиске и сравните число загруженных и включённых адресов.
• Воспользуйтесь инструментом проверки отдельного адреса: он покажет, как робот видит страницу и почему она не включена.
• Введите в поиск оператор с названием сайта, чтобы оценить примерное число страниц в базе.
• Сопоставьте число страниц в карте сайта и в индексе: большая разница указывает на системную проблему.

Причина первая: запреты в robots.txt и мета-тегах

Это самая частая и самая обидная причина. На этапе разработки сайт закрывают от индексации, чтобы тестовая версия не попала в поиск. После запуска про запрет забывают.

Что проверить

• Откройте файл robots.txt и убедитесь, что в нём нет строки Disallow: / для всех роботов.
• Проверьте, не закрыт ли нужный раздел отдельным правилом, например Disallow: /catalog/.
• Посмотрите исходный код страницы на наличие <meta name="robots" content="noindex">.
• Проверьте HTTP-заголовки ответа: запрет может передаваться через X-Robots-Tag.
• В движке сайта найдите настройку «Не индексировать сайт» или аналогичную, которая часто стоит по умолчанию на тестовых стендах.

Причина вторая: технические проблемы сервера и ответов

Если сервер отвечает медленно, периодически падает или возвращает ошибки, робот сокращает обращения и откладывает обход. В тяжёлых случаях страницы выпадают из базы.

Признаки

• В отчётах вебмастера видны ошибки доступности и таймауты.
• Страницы открываются по несколько секунд, особенно в периоды нагрузки.
• В ответе вместо кода 200 приходит 500, 502, 503 или 429.
• Страницы возвращают 200, но по факту пустые: «мягкая» ошибка.
• Редирект ведёт в цикл или в цепочку из нескольких переходов.

Что делать

Проверьте нагрузку на хостинг и логи ошибок. Включите кеширование страниц, уберите тяжёлые запросы к базе, при необходимости перейдите на более мощный тариф. Убедитесь, что защита от ботов и межсетевой экран не блокируют поисковых роботов: иногда настройки безопасности принимают их за нежелательный трафик.

Причина третья: дубли и неправильные канонические адреса

Когда одно и то же содержимое доступно по нескольким адресам, система выбирает один и игнорирует остальные. Иногда выбор падает не на ту версию, которую хотите вы, а иногда исключаются все варианты как малоценные.

Типичные источники дублей

• Версии с разными зеркалами: с префиксом и без, с разными протоколами.
• Страницы с параметрами сортировки, фильтрации и меток отслеживания.
• Одинаковые описания у десятков похожих товаров.
• Неверно настроенный canonical, указывающий на другую страницу или на главную.
• Пагинация, на каждой странице которой выводится один и тот же текст.

Для уникальных страниц настройте canonical на самих себя, для технических вариантов укажите предпочтительный адрес, а ненужные закройте от индексации. Разберите повторяющиеся описания товаров: даже небольшие правки, добавляющие реальную информацию, повышают шансы на включение.

Причина четвёртая: низкое качество или малая ценность контента

Поисковые системы не обязаны индексировать всё. Если страница не добавляет ничего нового по сравнению с уже имеющимися, она может быть отброшена. В отчётах вебмастера это часто выглядит как статус «недостаточно качественная» или «обнаружена, но не проиндексирована».

Что считается малоценным

• Страницы с несколькими предложениями или только с картинкой.
• Скопированные описания с сайтов производителей или конкурентов.
• Автоматически сгенерированные страницы без содержательной части.
• Пустые категории, в которых нет товаров.
• Страницы услуг, различающиеся только названием города.

Как повысить ценность

Добавьте информацию, которой нет у других: реальные фотографии, размеры и характеристики, инструкции, отзывы, ответы на вопросы, условия доставки в конкретные регионы. Объединяйте слабые страницы в одну сильную. Пустые категории скрывайте или заполняйте. Для интернет-магазинов хорошо работают уникальные тексты для ключевых разделов и расширенные карточки основных товаров.

Причина пятая: плохая структура и отсутствие ссылок

Робот ходит по ссылкам. Если на страницу не ведёт ни одна внутренняя ссылка, она остаётся в тени, даже если указана в карте сайта. Аналогично страницы, лежащие слишком глубоко, обходятся редко.

Что улучшить

• Обеспечить доступность важных страниц за три-четыре клика от главной.
• Добавить ссылки на новые товары и статьи с главной и со страниц разделов.
• Использовать блоки «Похожие товары», «Популярное», «Новинки» обычными ссылками.
• Настроить хлебные крошки и перелинковку в текстах.
• Убедиться, что меню и фильтры работают без обязательного выполнения скриптов.

Отдельная проблема — сайты, где контент подгружается скриптом уже после открытия страницы. Робот может не дождаться загрузки или не выполнить код, и увидит пустой каркас. Проверьте через инструмент просмотра страницы, что основной текст и ссылки присутствуют в полученном роботом коде.

Причина шестая: санкции и фильтры

Если сайт ранее хорошо индексировался, а затем резко потерял страницы, возможно, он попал под ограничения. Это бывает при взломе, размещении вредоносного кода, обилии спама, манипуляциях с поведением или скрытом тексте.

Откройте разделы панели вебмастера, посвящённые безопасности и нарушениям. При наличии сообщения исправьте проблему и отправьте сайт на повторную проверку. Параллельно просканируйте файлы на предмет вредоносного кода и проверьте, не появились ли на сайте лишние страницы с чужим содержимым.

Как ускорить индексацию, когда всё исправлено

После устранения причин можно подтолкнуть робота к повторному обходу.

Что не работает

• Бесконечная отправка одних и тех же адресов на переобход: это не ускоряет процесс.
• Покупка сомнительных ссылок или «ускорителей индексации» от посторонних сервисов.
• Создание множества копий страниц в надежде, что хоть одна попадёт в поиск.

Регулярный контроль индексации

Индексацию нужно отслеживать постоянно, а не только когда что-то сломалось. Рекомендуем завести простой регламент.

• Раз в неделю смотреть отчёты о страницах в поиске и ошибках доступности.
• После каждого релиза проверять robots.txt, мета-теги и карту сайта.
• При добавлении крупной партии товаров следить за темпами включения в индекс.
• Раз в месяц сверять число страниц в карте сайта и в индексе.
• Хранить список ключевых страниц и проверять их выборочно.

Если сайт обслуживается на постоянной основе, такие проверки удобно вынести в регулярную работу. Мы включаем их в техническую поддержку и в SEO-сопровождение: так проблема обнаруживается за дни, а не за месяцы.

Итог

Если страницы не попадают в поиск, не стоит паниковать и тем более предпринимать хаотичные действия. Действуйте по порядку: определите масштаб, проверьте запреты, затем техническое состояние сервера, дубли, качество и структуру, и только потом ищите более редкие причины вроде фильтров. В большинстве случаев проблема находится на первых трёх шагах. Если разобраться самостоятельно не получается, напишите нам на [email protected]: проведём диагностику, найдём причину и подготовим план исправления.