Как сообщает TechCrunch, компания Block Джека Дорси выпустила голосовую модель Dessa, созданную в её исследовательской лаборатории. По словам Block, модель обучена полностью на человеческой речи с использованием одной видеокарты NVIDIA и может работать локально на потребительском компьютере уровня MacBook M4 Max или мощнее.
Dessa — полнодуплексная модель, то есть способная говорить и слушать одновременно, как GPT-Live от OpenAI, выпущенная ранее в этом году. Обычно речевые модели объединяют с большой языковой моделью ради доступа к знаниям, но в Block утверждают, что знания Dessa происходят из разговорных данных, на которых она обучалась. Джек Дорси назвал разработку «самой аутентичной полнодуплексной речевой моделью из когда-либо созданных».
В Block считают, что современные голосовые ИИ звучат неестественно из-за текста в конвейере: речь сначала превращается в текст и теряет интонацию, а эмоции моделей вроде ElevenLabs v4 или Fish Audio Drama 3 задаются специальными голосовыми тегами. «Самые мощные ИИ в мире не слышат, как вы себя чувствуете», — говорится в блоге компании. Block заявляет, что в Dessa эмоция встроена в саму модель, но, как отмечает TechCrunch, неясно, не управляется ли она какими-либо тегами.
Исследователи Block опубликовали примеры диалогов с разными голосами, темпом и эмоциями: в одном бот говорил, что устал от работы, и звучал уставшим, в другом — звучал взволнованно, почти срываясь на слёзы. Публичного доступа к Dessa пока нет: компания призвала исследователей безопасности протестировать модель. По предположению TechCrunch, речь в том числе о сценариях, где голосовой агент мог бы обмануть человека на другом конце линии.
Для бизнеса Block запуск может быть значим: компания работает в финансовой сфере и продаёт решения малому бизнесу, а её сервис Square уже применяет голосовой ИИ для приёма заказов. По оценке TechCrunch, собственная модель, работающая на устройстве, позволит Block создавать больше бизнес- и потребительских сервисов с меньшими издержками.
