Как проверить сайт на доступность роботов нейросетей

Чек лист проверки сайта на доступность для роботов нейросетей от Ольги

Круглый стол служб маркетинга металлургических и металлоторговых компаний 2025

Материалы Ольги Павленко

Чек лист: как проверить сайт на доступность роботов нейросетей

Какие бывают роботы нейросетей:

ChatGPT-User
GPTBot/1.0
PerplexityBot/1.0
Perplexity-User/1.0
Googlebot
Google-Extended
YandexBot
BingBot

Боты, которые сканируют и обучаются на сайтах / текстах, им по желанию можно запретить доступ к сайту:

GPTBot/1.0
PerplexityBot/1.0

Проверяем, видят ли ваш сайт роботы нейросетей.
К адресу сайта добавляем robots.txt через слеш (/):
например, site.ru/robots.txt
и проверяем, чтобы напротив перечисленных ботов не было записи “Disallow: /”
например:
User-agent: ChatGPT-User
Disallow: /
User-agent: YandexBot
Disallow: /
и т.д.
Если перечисленных ботов и таких записей в этом файле нет, значит, запрета нет.
Например, на сайте https://saitcraft.ru/robots.txt мы видим, что отдельные записи для каждого бота отсутствуют. Значит, для этих ботов установлены те же ограничения, что и для всех остальных, но полного запрета на сканирование нет. Они могут индексировать все страницы, кроме тех, которые перечислены в Disallow (которые не надо индексировать).

3. Проверяем нет ли блокировки на сервере HTTP Request User-Agent
Проверка осуществляется через программу Screaming Frog SEO Spider.
Эту программу можно скачать, в бесплатной версии она позволяет проверить 500 страниц сайта.
Есть “взломанные” ключи к этой программе ‒ их можно поискать в свободном доступе в интернете.
Для этой проверки хватит и бесплатной версии.
В верхней строке указываем адрес сайта, который будем проверять, но кнопку start пока не наживаем:

Переходим в Configuration → Crawl Config
Выбираем User-agent → Preset User Agents → Custom → в оставшихся двух полях вбиваем наименование бота, на доступность которого будем проверять:

Далее жмем ок и Старт

Если сканирование сайта выполняется, значит, сайт доступен для этого робота. Если сканирования не происходит, значит, сайт не доступен. Таким образом требуется проверить всех роботов.

Принесли клиентам 11 млрд ₽ за последние 5 лет

В течение 13 лет поработали с 45 компаниями в нише металлопроката и арматуры. За нас говорят результаты наших клиентов: