Вывод AI-моделей (inference) должен перестать быть премиальной возможностью и стать массовым, стандартизированным товаром, пишет Маршалл Чой, chief business officer полупроводниковой компании Rebellions Inc., в статье для SiliconANGLE. Он утверждает, что более дешёвый и доступный вывод моделей расширит рынок AI, а не сожмёт его, поскольку технологии, меняющие отрасли, редко остаются дефицитными. Для компаний, которые сегодня нормируют использование AI, это важно: масштаб внедрения будет определять экономика повседневной работы, а не лидерство в бенчмарках.
Кто именно выступает с аргументом
Автор — не сторонний комментатор. Маршалл Чой занимает должность chief business officer в полупроводниковой компании Rebellions Inc. и написал статью для SiliconANGLE. Именно эта позиция делает аргумент заметным: продавец AI-оборудования говорит, что будущее вывода моделей — не премиальные цены, а низкая удельная стоимость. Он сравнивает нынешнее состояние AI с люксовым товаром: отрасль сосредоточена на дефицитных ускорителях, дорогих системах и извлечении максимальной производительности из каждого доступного ресурса. По мнению Чоя, такой подход ограничивает внедрение, а не защищает ценность.
Механика, которую он описывает, уже видна внутри компаний. Инженерные команды нормируют расход токенов, ограничивают вызовы application programming interface и устанавливают лимиты на развёртывания, чтобы счета за облачные вычисления не выходили из-под контроля. Даже Microsoft Corp., по сообщениям, ограничивает использование AI, отмечает Чой. В результате организации относятся к AI как к ценному ресурсу и заранее считают, оправдана ли экономически ещё одна операция с моделью. Чтобы вывод моделей стал по-настоящему повсеместным, этот расчёт должен исчезнуть, пишет он: именно непрерывное использование превращает AI из проекта в часть повседневной работы.
Историческая параллель, к которой прибегает Чой, — электричество, широкополосный доступ, облачные вычисления и хранение данных. Каждое из этих направлений становилось дешевле, надёжнее и проще в развёртывании, и спрос в ответ не сокращался, а взрывался. Ту же логику он применяет к выводу моделей: следующая фаза AI будет определяться не сохранением высокой удельной экономики, а снижением стоимости вывода настолько, чтобы организации перестали нормировать его использование и начали встраивать AI во все процессы. Поставщики традиционного оборудования опасаются, что падение удельных затрат сожмёт весь рынок AI, но Чой возражает: низкая стоимость вывода создаёт новых клиентов, новые нагрузки и новые бизнес-модели.
Что это значит для бизнеса
Для компаний, внедряющих AI, практическое следствие — изменение того, какие проекты получают одобрение. Нагрузки, которые раньше не могли оправдать значительные развёртывания AI, внезапно могут это сделать, а уже работающие сервисы становятся прибыльнее, потому что каждый шаг в эффективности вывода снижает операционные затраты. Особенно заметна эта разница для малого и среднего бизнеса, который сегодня ограничивает использование, чтобы контролировать счета, и часто отказывается от сценариев до того, как они докажут ценность. Крупные организации могут позволить себе премиальные цены и всё равно запускать пилоты; небольшие ждут снижения стоимости, поэтому дешёвый вывод расширяет круг компаний, способных работать с AI постоянно, а не от случая к случаю.
Из аргумента следуют две оговорки. Стандартизация требует не только более дешёвого вывода: она требует смены того, как отрасль определяет производительность, — от пропускной способности и баллов в бенчмарках к доле выполненных задач, ускорению бизнеса и сэкономленному времени или деньгам. Сгенерированные строки кода и число запросов в секунду остаются полезными инженерными метриками, но это не бизнес-результат, а компании вкладываются в AI, чтобы успевать больше, а не чтобы генерировать больше токенов. Поэтому при выборе поставщика стоит спрашивать о стабильной и экономичной работе на масштабе, об интеграции в существующую серверную инфраструктуру и о том, достаточно ли система дешева для широкого развёртывания и достаточно эффективна для непрерывной работы.
Следить стоит за тем, начнут ли инфраструктуру AI оценивать по повседневной производительности, а не по самому впечатляющему результату бенчмарка в идеальных условиях. Чой сравнивает отрасль с автомобилями: топ-фьюэл драгстер показывает выдающиеся характеристики, но почти никто не ездит на нём на работу и ни одна логистическая компания не строит на нём свой парк, тогда как мировая экономика держится на надёжных массовых машинах. Если поставщики вывода моделей начнут публиковать метрики результата — долю выполненных задач и стоимость одной завершённой задачи — и покупатели станут требовать их в закупках, сдвиг от премиальной возможности к массовому товару подтвердится. До этого одно лишь снижение цен не докажет, что рынок изменился.
