Почему сайта нет в поиске: что проверить по порядку

Коротко. Сначала проверьте, есть ли сайт в индексе вообще (оператор site: и панели Вебмастера). Если страниц нет — ищите запрет: robots.txt, метатег noindex, защита хостинга. Если страницы есть, но их мало — причина в дублях и пустых страницах. Если всё в индексе, а вас не видно — это уже вопрос позиций, а не индексации.

Шаг 1. Знает ли поисковик о сайте

Наберите в поиске site:вашсайт.ru. Ноль результатов — повод проверить сайт в панели вебмастера: оператор site: не показывает полный и гарантированно точный список страниц. Точнее покажут Яндекс Вебмастер и Google Search Console: сколько страниц в индексе, сколько исключено и по какой причине. Если сайт в панели не подтверждён — это первое, что нужно сделать, и стоит это ничего.

Шаг 2. Проверьте запреты на обход и индексацию

Три места, где сайт закрывают случайно:

• robots.txt со строкой Disallow: /, оставшейся со времён разработки;
• метатег noindex в шаблоне — галочка «не индексировать» в настройках конструктора;
• закрытый паролем или тестовым доменом сайт, с которого забыли снять ограничение.

Шаг 3. Что на самом деле получает робот

Это случай, который не виден из браузера. На одном из разборов мы запросили одну и ту же страницу от имени разных роботов. Поисковые роботы получили страницу целиком — около 400 тысяч байт. Роботы нейросетей получили заглушку в 274 байта. В robots.txt их никто не запрещал: это был побочный эффект защиты хостинга от ботов, в белый список которой внесли поисковики и не внесли остальных. Владелец сайта об этом не знал.

Проверяется сравнением: что отдаётся Googlebot и что — остальным на том же адресе. Но есть оговорка, на которой мы сами ошиблись: код ошибки 503 в такой проверке ничего не доказывает. Хостинг справедливо режет тех, кто называет себя известным роботом с чужого адреса. Настоящий ответ дают только логи сервера.

Шаг 4. Кто приходит под именем робота

В логах собственного сайта за две недели мы насчитали 71 визит с подписью робота OpenAI. Из сетей, которые OpenAI публикует как свои, пришли 16. Остальные 55 — посторонние адреса, которые прикрываются известным именем; обычно это сканеры, ищущие забытые файлы с паролями. Вывод практический: строка в логах «приходил робот такой-то» ничего не значит, пока адрес не сверен с официальным списком сетей.

Шаг 5. Выясните, почему проиндексирована часть страниц

Если поисковик берёт десятую часть сайта, причина почти всегда в качестве массы страниц: дубли с параметрами в адресе, пустые карточки, страницы фильтров, одинаковые заголовки. Поисковик оценивает сайт целиком: тысяча пустых страниц тянет вниз сотню хороших. Поэтому большие сайты открывают волнами — сначала страницы, которым есть что показать.

Шаг 6. Всё в индексе, а вас не видно

Тогда это не индексация, а позиции. Проверьте, на каком вы месте на самом деле — глубже первой десятки и в регионе клиентов. Сороковое место и отсутствие в индексе из браузера выглядят одинаково, а работы требуют разной.

Хотите увидеть это на своём сайте? Бесплатная проверка — один разбор на выбор: три вопроса в одном ИИ-движке или доступность сайта для роботов. Ответ — в течение рабочего дня, без оплаты и обязательств.