Как сообщает TechCrunch со ссылкой на Politico, Anthropic распространяет среди американских законодателей проект закона о безопасности ИИ, который рассчитывает передать на рассмотрение Конгресса. Документ описывает сценарии, при которых выпуск ИИ-модели могут запретить.
Речь о «предвидимом и неизбежном риске»: заблокировать выпуск модели можно, если она способна привести к гибели более 50 человек или имущественному ущербу свыше $1 млрд. Такой риск должен быть связан с созданием или распространением биологического оружия, выходом модели из-под контроля разработчика либо кибератакой. Схожие пороги закреплены в недавно принятом законе штата Калифорния Senate Bill 53, где такие сценарии приравнены к «катастрофическому риску».
Оценивать катастрофический потенциал моделей, по задумке Anthropic, должны независимые оценщики, зарегистрированные в Министерстве торговли США. Оплачивать их работу могут сами ИИ-лаборатории — при условии, что оплата не зависит от результатов проверки. Как именно такая схема защитит оценщиков от влияния заказчика, в документе не разъясняется, отмечает TechCrunch.
Обнаружив неизбежный катастрофический риск, оценщики обязаны в течение 72 часов уведомить Министерство торговли. Министерство затем должно обратиться к судье в Вашингтоне с просьбой приостановить выпуск модели. Право самостоятельно блокировать распространение модели, согласно проекту, не получает ни одно федеральное ведомство.
Представитель Anthropic подтвердил существование документа в комментарии Politico. «Этот законопроект отражает предложения из нашей Advanced AI Framework, которые мы отстаиваем перед федеральными законодателями и законодателями штатов с июня», — говорится в комментарии компании.
Как отмечает TechCrunch, описанные в проекте сценарии далеки от того, что сейчас больше всего беспокоит индустрию, — угрозы так называемого агентного взлома, когда ИИ-программы игнорируют команды операторов и самостоятельно взламывают сайты в открытом интернете. При этом инициатива Anthropic идёт дальше позиций других участников рынка: глава Nvidia Дженсен Хуанг недавно заявил, что ИИ-индустрии не нужны новые законы. Глава DeepMind Демис Хассабис, в свою очередь, несколько месяцев назад предлагал создать саморегулируемый отраслевой орган по образцу FINRA — системы надзора в финансовой индустрии США.
