Перемещение данных, а не скорость процессоров, стало главным ограничением инфраструктуры ИИ, и именно эту тему 13 октября обсудят на AI Data Pipeline Forum в Сан-Хосе, штат Калифорния. Мероприятие пройдет в рамках OCP Global Summit и соберет руководителей, занимающихся плотными кластерами ИИ и распределенным инференсом. Трансляцию проведет theCUBE, студия SiliconANGLE Media, ведущим выступит исполнительный аналитик Джон Ферриер. Для бизнеса это важно, потому что стоимость инференса теперь зависит от совместной работы хранения, памяти, сетей, энергоснабжения и охлаждения.
Программа форума и участники 13 октября
Ферриер проведет беседы с руководителями ScaleFlux, Cerebras, Cisco, Dell и других компаний в эфире theCUBE 13 октября. Обсуждение охватит хранение данных, память, высокоскоростные сети, жидкостное охлаждение и распределение энергии, а также роль открытых стандартов и модульных архитектур. Трансляция theCUBE будет доступна на сайте студии и на YouTube-канале, после прямого эфира записи можно будет смотреть по запросу. Компания SiliconANGLE Media, основанная Джоном Ферриером и Дэйвом Велланте, сообщает об аудитории своих медиа свыше 15 млн технологических специалистов. Указано, что theCUBE выступает платным медиапартнером форума, а спонсоры не влияют на редакционное содержание.
Техническая программа сосредоточена на бесперебойном снабжении чипов данными и соединении через высокоскоростные сети в пределах ограничений по энергии и охлаждению. ScaleFlux разрабатывает контроллеры хранения и памяти для снятия ограничений на движение данных при росте нагрузок ИИ, требовательных к памяти. В июле компания представила контроллер FC6116 для SSD с PCIe Gen6 и контроллер памяти MC600 с CXL, которые должны повысить пропускную способность и емкость памяти при контроле энергопотребления. Dell Technologies развивает архитектуры масштаба стойки под растущую плотность вычислений и эксплуатационные требования. Директор Сарат Кришнан описал модульную инфраструктуру масштаба стойки, которая адаптируется к верхнему и нижнему охлаждению и силовым кабелям разного сечения.
Форум проходит на фоне перехода проектирования инфраструктуры от настройки отдельных компонентов к координации целых систем, объединяющих вычисления, хранение и сети. Главный аналитик theCUBE Research Дэйв Велланте называет ограничения памяти, неэффективное перемещение данных и экономику инференса нарастающими проблемами, при этом хранение играет все более активную роль в конвейере ИИ. Сооснователь и генеральный директор ScaleFlux Хао Чжун представил FC6116 и MC600 как базовые блоки для более быстрых и гибких систем хранения и памяти эпохи PCIe Gen6. Поэтому в повестке связаны чипы, проектирование систем и физическая инфраструктура, а не только процессоры.
Что это значит для компаний, использующих ИИ
Для компаний, эксплуатирующих нагрузки ИИ, практическим следствием становится более широкий список критериев закупки, выходящий за рамки ускорителей и включающий пропускную способность, емкость памяти и эксплуатационные затраты. С расширением инференса эффективное движение данных через сложное оборудование превращается в прямой показатель производительности и контроля расходов. Выбор хранения, расширение памяти через такие подходы, как CXL, и пропускная способность сети определяют, будут ли дорогие вычисления загружены. Крупные операторы первыми ощущают это при проектировании кластеров и расчете энергобюджетов, а небольшие компании — через доступность облачных мощностей, задержки и цену приложений с интенсивным инференсом.
Тот же системный подход выдвигает новые критерии выбора, связанные с модульностью, стандартами и готовностью площадок. Модульные конструкции масштаба стойки и открытые стандарты представлены как способ поддерживать более плотные системы без новых узких мест в охлаждении и подаче энергии. Покупателям все равно нужно проверять совместимость контроллеров, модулей памяти, сетей и охлаждения с ограничениями своих центров обработки данных. Материалы форума сами по себе не обещают конкретных приростов производительности или снижения затрат, поэтому вопросы об измеренной пропускной способности, энергопотреблении, сроках внедрения и условиях поддержки остаются главными перед выбором поставщика.
Конкретным ориентиром станут сообщения участников после 13 октября об открытых стандартах и модульных конструкциях для плотных кластеров и распределенного инференса. Последующие интервью, выпуски Breaking Analysis и подкасты theCUBE Pod с Ферриером и Велланте покажут, перейдут ли решения для хранения, памяти CXL и инфраструктуры масштаба стойки от анонсов продуктов к задокументированным внедрениям. Если поставщики приведут совместные проекты и эксплуатационные данные, системный подход получит коммерческий вес для покупателей ИИ.
