NetApp представила архитектуру хранения Novus с совокупной пропускной способностью свыше 100TB/s, чтобы устранить узкие места в метаданных, которые сдерживают крупные кластеры GPU и агентов ИИ. Ее компонент Data Director масштабирует метаданные отдельно от хранимых данных, а AI Data Engine находит, классифицирует и векторизует корпоративные файлы. Это важно, потому что у многих компаний модели и приложения уже готовы, но отдача от инвестиций в ИИ пока отсутствует.
Как Novus перестраивает хранение для задач ИИ
Novus был представлен на конференции NetApp INSIGHT в интервью директора по продуктам Syam Nair и вице-президента по управлению продуктом Novus Gunna Marripudi ведущим theCUBE Research Christophe Bertrand и Rebecca Knight. Главная идея — единое хранение, охватывающее локальную и другую инфраструктуру, вместо фрагментированных систем с политиками управления, которые применяются вручную. NetApp рассматривает такой единый слой как условие для промышленного ИИ, где данные должны быть доступны, защищены и готовы к использованию.
Data Director — это ключевое техническое изменение внутри Novus. Он управляет метаданными отдельно от самих данных, поэтому каждый уровень масштабируется независимо, а параллельный доступ к метаданным поддерживает множество одновременных запросов при обучении и инференсе. Приложения получают единое представление файлов в нескольких кластерах хранения ONTAP без отдельного обращения к каждому кластеру. По словам Marripudi, параллельный доступ к метаданным образует основу архитектуры.
Одна лишь скорость считается необходимой, но недостаточной для работы агентов. AI Data Engine добавляет поиск, классификацию и векторизацию корпоративных данных, чтобы сократить подготовку, которая обычно занимает шесть-девять месяцев инженерной работы. Nair отметил, что быстрый доступ к неподготовленным или незащищенным данным дает скомпрометированные ответы вместо полезных действий агентов. Логика в том, что пропускная способность должна сочетаться с готовностью и защитой, прежде чем модели работают с бизнес-файлами.
Что Novus меняет для внедрения ИИ в компаниях
Для компаний, внедряющих модели и агентов, практический эффект заключается в более короткой подготовке данных и меньшем числе изолированных хранилищ. Команда с несколькими кластерами ONTAP сможет показывать файлы через единое представление, а задания GPU получат параллельный доступ без ожидания в одной очереди метаданных. Крупные организации с распределенной инфраструктурой выиграют больше от такой консолидации, а небольшие компании получат более простой способ связать существующее хранение с задачами ИИ.
Второе следствие касается риска интеграции и выбора поставщика. NetApp делает ставку на открытые стандарты и планируемое приобретение PEAK: AIO Ltd. ради технологии параллельной файловой системы на протоколе pNFS. Любое ядро Linux, выпущенное после 2018 года, уже содержит клиент pNFS, что снижает необходимость замены действующих систем. Покупателям все же следует проверить сроки сделки, поддерживаемые конфигурации, производительность на своем составе файлов, а также соответствие классификации и контроля доступа их правилам управления.
Индикатором станет завершение приобретения PEAK: AIO и подтверждение высокой параллельной пропускной способности Novus на реальных корпоративных данных, а не только в тестах. Опубликованные внедрения и данные о сокращении сроков подготовки покажут, превращается ли отдельное масштабирование метаданных в более быстрый запуск агентов. Если такие примеры появятся, единая инфраструктура данных станет более весомым критерием выбора проектов ИИ.
