Какие бывают роботы нейросетей:

• ChatGPT-User
• GPTBot/1.0 
• PerplexityBot/1.0 
• Perplexity-User/1.0
• Googlebot
• Google-Extended
• YandexBot 
• BingBot

Боты, которые сканируют и обучаются на сайтах / текстах, им по желанию можно запретить доступ к сайту:

• GPTBot/1.0
• PerplexityBot/1.0

Проверяем, видят ли ваш сайт роботы нейросетей.
К адресу сайта добавляем robots.txt через слеш (/):
например, site.ru/robots.txt 
и проверяем, чтобы напротив перечисленных ботов не было записи “Disallow: /”
например: 
User-agent: ChatGPT-User
Disallow: /
User-agent: YandexBot
Disallow: /
и т.д.
Если перечисленных ботов и таких записей в этом файле нет, значит, запрета нет. 
Например, на сайте https://saitcraft.ru/robots.txt мы видим, что отдельные записи для каждого бота отсутствуют. Значит, для этих ботов установлены те же ограничения, что и для всех остальных, но полного запрета на сканирование нет. Они могут индексировать все страницы, кроме тех, которые перечислены в Disallow (которые не надо индексировать). 

3. Проверяем нет ли блокировки на сервере HTTP Request User-Agent
Проверка осуществляется через программу Screaming Frog SEO Spider.
Эту программу можно скачать, в бесплатной версии она позволяет проверить 500 страниц сайта. 
Есть “взломанные” ключи к этой программе ‒ их можно поискать в свободном доступе в интернете. 
Для этой проверки хватит и бесплатной версии. 
В верхней строке указываем адрес сайта, который будем проверять, но кнопку start пока не наживаем: