Как сообщает OpenAI, компания начнёт соблюдать общий отраслевой сигнал в файле robots.txt, через который владельцы сайтов смогут выражать свою позицию по использованию контента для обучения базовых генеративных ИИ-моделей.
Robots.txt — это текстовый файл на сайте, где владелец задаёт правила для роботов, сканирующих страницы. Раньше операторам сайтов приходилось настраивать отдельные правила для робота каждого конкретного провайдера. Единый сигнал избавит от этой работы: одна настройка будет донести позицию сайта сразу до нескольких участвующих компаний.
OpenAI планирует внедрить поддержку сигнала в ближайшие месяцы и пообещала отдельно рассказать о деталях реализации. Нововведение не заменит существующие механизмы контроля через robots.txt — прежние правила для роботов OpenAI продолжат действовать и учитываться.
Инициатива опирается на работу рабочей группы AI Preferences в Internet Engineering Task Force (IETF) — организации, которая разрабатывает технические стандарты интернета. OpenAI присоединилась к другим участникам группы, объявившим о поддержке общего сигнала, и призвала остальные ИИ-компании также его соблюдать.
