Google и Meta открыли исходный код TorchTPU на конференции PyTorch Conference North America 2026 в Сан-Хосе — это нативный бэкенд PyTorch для чипов Google Tensor Processing Units. Meta, создавшая PyTorch в 2016 году, планирует перевести на TPU более крупные LLM-нагрузки, о чем инженер Meta Цзунвэй Чжоу сказал в докладах 21 октября. Проект заменяет связку PyTorch/XLA 2020 года, требовавшую серьезных правок исходного кода. Для бизнеса это важно, поскольку второе семейство ускорителей становится доступно через стандартный код PyTorch.
Запуск TorchTPU и перенос одной строкой
Новый бэкенд сводит перенос модели к замене model. to("cuda") на model. to("tpu"). Google Cloud пишет, что TPU встают в один ряд с GPU и CPU как нативный вариант для PyTorch, в анонсе в соавторстве с вице-президентом по инжинирингу Core ML/AI Биллом Цзя. Цзя представил доклад "Workload Fungibility in the Agentic Era" вместе с Чжоу. Открыты четыре репозитория: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU и TorchTitan. Все это доступно уже сегодня, и, по словам Чжоу, это только начало.
Поскольку TorchTPU встроен в низкоуровневый диспетчер PyTorch, модели Hugging Face работают с ним без доработки, заявили спикеры. Инференс-движки vLLM и SGLang запускаются нативно, а TorchTitan поддерживает dense-модели, mixture-of-experts и диффузионные модели для обучения в большом масштабе. Ray и llm-d масштабируют нагрузки TPU между хостами в Kubernetes. Google также анонсировала набор TPU agent suite, уже в preview на GitHub, который подключается к средам кодирования и автоматизирует подключение, диагностику и настройку производительности. Одна строка запускает модель, но формы тензоров, шардинг и операции могут оставаться заточенными под архитектуру GPU.
Рамку спроса задали два выступления руководителей фондов. Исполнительный директор PyTorch Foundation Марк Колльер сказал, что инференс обогнал обучение как крупнейшая нагрузка дата-центров, создав высокий спрос на токены. Цель сообщества — открытое ПО для моделей, которые работают на любом чипе в любом облаке и подключаются к любому агенту. Слайды показали: DeepSeek Flash подешевел на 60% за 37 дней, а Kimi K3 ускорился на 68% на том же оборудовании за 33 дня. Глава Agentic AI Foundation Мазин Гилберт сообщил, что потребление токенов агентами обогнало человеческое 6 февраля 2026 года, затем выросло в 14 раз против 2,8 раза у людей, хотя публичные данные идут только от OpenRouter.
Что это меняет для покупателей ИИ-инфраструктуры
Для компаний, занимающихся инференсом или обучением LLM, TorchTPU расширяет набор поставщиков без переписывания фреймворка. Цзя показал почти линейное масштабирование beyond 8000 чипов TPU при примерно постоянной пропускной способности на чип по мере роста кластера. Опубликованный запуск Qwen3 235B mixture-of-experts задействовал 8192 чипа TPU v7x при 28% model FLOPs utilization. Небольшие команды получают более простой путь для Hugging Face, vLLM и SGLang на TPU, а крупные — способ распределять обучение и инференс по многим хостам. Практическая разница — меньше затрат на перенос в начале при сохранении затрат на настройку.
Ограничения и проверки остаются существенными перед решением о миграции. Google указывает, что пиковая производительность TPU требует дополнительной работы над формами, шардингом и ядрами, поэтому стоит заложить бюджет на этот этап и заранее подтвердить доступность мощностей TPU. AWS 20 октября вывела параллельный бэкенд TorchNeuron для Trainium в публичную бету с. to('neuron'), оба используют точку расширения PrivateUse1, но TorchNeuron пока не поддерживает динамические формы входа и пропускает около 22000 тестов PyTorch. Аналитик Блэр Хейс считает, что уровни оптимизации и поставок остаются под контролем вендоров. Обсуждение на Hacker News, набравшее 379 очков, сочетало облегчение от официальной поддержки с вопросами, где вообще купить TPU, и одним кейсом, где после оценки локальных TPU остались на Nvidia.
Маркером станет перевод Meta крупных LLM-нагрузок на TPU через TorchTPU в промышленной эксплуатации, а также новые отчеты о масштабировании и утилизации. Если накопятся данные о промышленной работе, надежности и инструментах настройки из TPU agent suite, TPU станут обычным вторым таргетом для команд на PyTorch. Записи сессий ожидаются на YouTube-канале PyTorch Foundation в течение двух недель после мероприятия.
