Google выпустил ML Drift — открытый движок GPU-вычислений для ИИ-инференса на устройствах, который уже работает на миллионах устройств внутри Chrome, YouTube Shorts, Photos и Meet. Движок распространяется под Apache 2.0 и скрывает различия GPU и низкоуровневых API, поддерживая OpenGL ES, OpenCL, Metal и WebGPU. На моделях Gemma заявлено снижение расхода памяти на 12% по сравнению с платформами включая llama. cpp и MLX LM, и это важно для компаний, переносящих генеративный ИИ за пределы дата-центров.
Что ML Drift меняет в стеке LiteRT
ML Drift — это базовый движок GPU-ускорения внутри LiteRT, среды Google для машинного обучения на устройствах. Открытие кода позволяет разработчикам строить собственные графические и инференс-среды для компьютерного зрения, аудио, обработки глубины и генеративного ИИ. Google прекратит обновлять прежний TensorFlow Lite GPU delegate и рекомендует для совместимости с существующими моделями переходить на ускоритель LiteRT ML Drift. Прикладные разработчики используют этот ускоритель, а GPU- и системные инженеры получают низкоуровневый C++ API для графов вычислений GpuModel и собственных шейдеров.
В движке применены унифицированные шейдеры через виртуализацию тензоров, расширяемые пользовательские операции и поддержка пятимерных тензоров. Такая архитектура отделяет логические тензоры от физического размещения в памяти, что, по оценке ИИ-инженера Pavithra Agraharam, должно заметно снизить фрагментацию памяти во время инференса. Встроенная поддержка 5D снимает обходные преобразования раскладки для пространственных и трансформерных моделей на мобильных GPU. Добавлены также оптимизации под чипы Arm, Intel и Qualcomm Technologies для более полного использования современных GPU.
Выпуск отвечает на фрагментацию архитектур GPU, версий драйверов и низкоуровневых API на периферийных устройствах, где целевое железо заранее неизвестно. Google называет ML Drift основой переносимости, сочетающей стабильность для классического машинного обучения и высокую скорость для генеративного ИИ. Настольная поддержка включает Windows и Linux через Dawn, реализацию WebGPU из Chromium, а на macOS сохранен нативный бэкенд Metal. Опора на аппаратную абстракцию WebGPU избавляет от прямой работы с DirectX и Vulkan и упрощает кроссплатформенное развертывание.
Что ускорение инференса дает бизнесу
Для продуктовых команд практический эффект — меньшие задержки и расход памяти для функций камеры, фото и видео без отправки данных на серверы. В YouTube Shorts эффекты сегментации работают со снижением средней задержки кадра до 40% на Android и iOS. В Google Photos конвейеры вычислительной фотографии и сегментации ускоряются до двух секунд. Snapchat сообщает о снижении задержки моделей на 30% для эффектов лица и стилизации на Android, что позволяет использовать более крупные диффузионные модели, а Adobe Lightroom и Photoshop получают прирост до 30% в функциях Select Subject, Select Sky и Adaptive Portrait.
При этом выпуск не закрывает все вопросы для закупок, и командам стоит проверять заявления на собственном парке устройств. Основатель Tensorust Matthew Charles Vladislav Busel спросил, как ML Drift соотносится с Core ML на новых iPhone по задержке и памяти, но сравнительных цифр Google не привел. Результаты для Shorts, Photos, Adobe и Snapchat относятся к отдельным конвейерам и не гарантируют тот же эффект на всех моделях. Перед внедрением стоит проверить поддержку драйверов, работу пользовательских операций и трудоемкость миграции со старого delegate TFLite.
Индикатором успеха станет переход со замороженного TensorFlow Lite GPU delegate на ускоритель LiteRT ML Drift в серийных приложениях. Если независимые разработчики подтвердят стабильную работу на GPU Arm, Intel и Qualcomm под Windows, Linux, macOS, Android и iOS, движок может стать стандартным путем для генеративных функций на устройствах. Отсутствие таких отчетов покажет, что переносимость по-прежнему требует настройки под каждую платформу.
