Как сообщает TechCrunch, во вторник Google объявила, что TorchTPU — её версия фреймворка PyTorch — стала доступна как проект с открытым исходным кодом. Тем самым компания присоединилась к Amazon, которая днём ранее представила собственный аналог, в попытке ослабить доминирование Nvidia: большинство ИИ-приложений по умолчанию создаются под графические процессоры (GPU) этой компании.
PyTorch — открытый набор инструментов, с помощью которого разработчики и стартапы создают, обучают и запускают ИИ-модели; по некоторым оценкам, им пользуются 85% ИИ-приложений. Фреймворк создала Meta (тогда ещё Facebook) в 2016 году, задолго до бума больших языковых моделей, а в 2022 году передала его некоммерческой Linux Foundation, управляющей многими крупными открытыми проектами. К моменту появления PyTorch GPU Nvidia уже были стандартом в ИИ-исследованиях, поэтому многие функции фреймворка изначально создавались под них.
TorchTPU позволяет запускать ИИ-приложения на чипах Google — Tensor Processing Units (TPU). Перенести существующие PyTorch-приложения на TPU и в Google Cloud можно простой сменой конфигурации, без переписывания кода.
Похожий инструмент Amazon — TorchNeuron, представленный в понедельник, — переносит приложения на собственный ИИ-чип компании Trainium и в облако AWS также без переписывания. Amazon дополнительно отправляет в основной проект PyTorch код, который отвязывает функции фреймворка от чипов Nvidia и делает его по умолчанию совместимым с любым оборудованием.
Google заявляет, что работала над TorchTPU напрямую с Meta, Hugging Face, Inferact (разработчик vLLM), RadixArk (разработчик SGLang) и другими, чтобы функции и библиотеки кода работали с этими популярными инструментами разработки ИИ так же, как оригинальный PyTorch. Дополнительно запущен TPU agent suite — инструмент, помогающий переносить приложения на чипы и облако Google и исправлять ошибки в процессе. Также обновлён LiteRT — инструмент для запуска ИИ на телефонах, ноутбуках и встраиваемых устройствах, — чтобы он лучше работал с PyTorch-приложениями.
Сама по себе возможность легко перейти на альтернативные чипы и облака не означает, что разработчики массово откажутся от Nvidia. Но, как пишет TechCrunch, Amazon и Google явно работают над тем, чтобы лишить её этого преимущества.
