DeepSeek и Moonshot AI активно использовали дистилляцию GPT-6 Astra после мер Anthropic

По данным источников, DeepSeek и Moonshot AI обучали модели вроде Kimi K3.1 Pro и V4.1-Flash 1017 методом дистилляции GPT-6 Astra — после жёстких мер Anthropic.

Идентичные ряды серверных стоек отражаются друг в друге, среди них светятся колбы-дистилляторы. Дата-центр у степи
Фото: ИИ bitPress

Как сообщает 29 октября Techmeme со ссылкой на источники, DeepSeek и Moonshot AI при обучении своих моделей — в том числе Kimi K3.1 Pro и V4.1-Flash 1017 — активно опирались на дистилляцию модели GPT-6 Astra. По данным источников, это происходило после жёстких мер со стороны Anthropic.

Дистилляция — метод, при котором модель обучается на ответах другой, более крупной модели, а не создаётся с нуля на исходных данных. Такой способ заметно дешевле и быстрее полноценного обучения, но обычно ограничен правилами использования модели-источника.

Techmeme не называет ни сами источники, ни первоначальное издание, опубликовавшее эти данные. Подробности о том, что именно входило в меры Anthropic и когда они были приняты, в сообщении не раскрываются.