Как сообщает Techmeme, компания Thinking Machines Lab представила модель Inkling 2 Small. Модель построена по архитектуре MoE и насчитывает 594 млрд общих параметров, из которых при обработке запроса задействуются 17 млрд.
MoE (mixture of experts, «смесь экспертов») — архитектура нейросетей, при которой модель состоит из множества специализированных блоков, а для каждого запроса активируется только их часть. Такой подход позволяет хранить большой объём знаний при умеренных затратах на вычисления при каждом обращении к модели.
На следующей неделе Thinking Machines Lab планирует опубликовать веса модели — после завершения тестов на безопасность. Опубликованные веса дают компаниям и разработчикам возможность скачать модель и запустить её на собственном оборудовании, а не только через сервисы создателя.
Для бизнеса локальный запуск модели — это прежде всего контроль над данными и предсказуемые расходы на использование.
