Начать с таблицы целей
Выпишите робота, его назначение по официальной справке и пути, которые должны быть доступны. У OpenAI OAI-SearchBot связан с поиском, а GPTBot — с возможным использованием материалов для обучения. Настройки этих роботов независимы. Для запросов, инициированных человеком, предусмотрен отдельный агент. У Perplexity тоже есть собственные правила. Не переносите автоматически политику одной системы на другую.
Учебный пример: редакция хочет разрешить поисковому роботу публичный блог и ограничить сбор материалов для обучения. Сначала определите правила для двух имён и проверьте, как они сочетаются с существующим общим блоком. Затем протестируйте адрес одной статьи и два пути, которые должны быть ограничены. Закрытые документы должны защищаться авторизацией или сетевыми правилами. Сам файл robots.txt доступен публично и не является контролем доступа.
Проверить реальный ответ сервера
Запросите robots.txt с того хоста и протокола, где открываются статьи. У сайта с отдельным блогом на поддомене может быть другой файл. Проверьте статус, отсутствие перенаправления на страницу входа и текущую версию в CDN. Отдельно проверьте целевую статью. Правило разрешения не поможет, если защита сайта отвечает 403 или браузер получает окно проверки.
При анализе журнала проверяйте адрес источника по официальным диапазонам IP там, где они опубликованы. Не добавляйте широкое исключение по User-Agent, который можно подставить вручную. Если нужного запроса пока нет, зафиксируйте этот результат как отсутствие наблюдения, а не как доказательство того, что робот заблокирован.
Сохранить изменение и повторить контроль
Запишите старую и новую версии правил, дату выпуска и примеры путей. После выкладки проверьте файл из обычной сети, затем наблюдайте ответы сервера на запросы роботов. В отчёте разделите «доступ разрешён правилом», «запрос подтверждён в журнале» и «ссылка найдена в ответе». Эти события не обязаны произойти в один день.
Для Google генеративные функции поиска связаны с Googlebot. Для управления представлением сниппетов используйте правила, описанные в документации Google. Если задача состоит в том, чтобы ограничить цитирование одного фрагмента, сначала проверьте, какие изменения затронут обычный поиск. После правки снимите контрольную выборку по публичной статье и по пути, который должен остаться закрытым.
Если блог доступен под двумя именами, проверьте файл для обоих и конечный адрес после редиректа. В журнал запишите, какое имя оказалось источником реальных запросов робота.
Документация: Роботы OpenAI, Роботы Perplexity, Google о контроле AI-функций.