Инженеры Netflix Прасанна Виджаянатан и Ренцо Санчес-Сильва описали переход от реактивного мониторинга к операционной онтологии на основе ИИ, которая обрабатывает более 38 млн телеметрических событий в секунду. Система объединяет логи, метрики, события и трейсы в запрашиваемый сквозной граф знаний, а агентные процессы построены вокруг Claude и графовых баз данных. Для бизнеса этот кейс важен потому, что показывает, как автоматический триаж и анализ первопричин заменяют многочасовую отладку с участием нескольких команд.
От 65 млн потоков к задаче инженерии данных
Масштаб проекта был показан через три цифры: 65 млн параллельных потоков во время боксерского поединка Джейка Пола и Майка Тайсона в конце 2024 года, более 2 млрд запросов в день от клиентских приложений к серверам и свыше 38 млн событий логирования в реальном времени каждую секунду. Такая нагрузка формируется телевизорами, телефонами и ноутбуками по всему миру, тысячами микросервисов, инфраструктурой доставки контента и тысячами параллельных A/B-экспериментов. На этом уровне связь между впечатлениями зрителя и работой бэкенда перестает быть задачей инструментов и становится задачей инженерии данных.
Предложенный ответ — сквозное представление, которое в реальном времени соединяет устройство, сети и шлюзовые сервисы с зависимостями бэкенда. Вместо наблюдения за отдельными сервисами и ожидания алертов концепция предусматривает обнаружение проблем за минуты по всему стеку, автоматическую приоритизацию по влиянию на пользователей и автоматический триаж ответственной команде. Следующие шаги — автоматическое определение первопричины, прогноз сбоев до их влияния на пользователей, а также предложение или выполнение корректирующих действий. Названные компоненты — общая операционная онтология, MELT-телеметрия в виде графа знаний и агентные процессы.
Причину перестройки проиллюстрировал разбор инцидента прошлого года длительностью около четырех часов. Алерт на клиентской платформе появился около 3:30, примерно два часа наблюдался, затем был передан другой команде, которая уже разбиралась с проблемой с 1:30. Около 6:30 причину отследили до сервиса, сократившего мощности, что вызвало обратное распространение ошибок, а исправление выпустили в течение часа. Докладчики назвали это средним случаем, хотя в нем участвовали девять вызванных команд, более 30 инженеров и три связанных инцидента, отмеченных параллельно.
Что автотриаж меняет для эксплуатации
Для компаний с цифровыми сервисами практический эффект — более короткий путь от симптома к владельцу. Когда телеметрия объединена, а не хранится в отдельных хранилищах с разной структурой, алерт содержит контекст о затронутых пользователях, зависимых сервисах и экспериментах. Это сокращает ручную работу по отслеживанию одной ошибки между командами и исключает дублирующие расследования, которые уже ведутся elsewhere. Крупные организации ощущают это как меньшее число параллельных разборов, а небольшие компании могут применить тот же принцип на более узком стеке с меньшим числом интеграций.
У подхода есть понятные ограничения, которые стоит проверить до копирования. Докладчики указали на разрозненные источники данных и несвязанные алерты, когда каждая команда настраивает мониторинг под свое хранилище без общего контекста и стандартов. Граф знаний помогает только при нормализации форматов логов, метрик, событий и трейсов и их обновлении по мере изменения сервисов и устройств. Поставщику стоит задать вопросы о поддержке онтологии, задержках запросов при пиковой нагрузке, ограничениях агентов на моделях типа Claude и проверке прогнозов до запуска самовосстановления.
Конкретный маркер — сообщения Netflix об обнаружении за минуты с автоматической приоритизацией по влиянию на пользователей и триажем без ручного перехода между сервисами. Публикация дальнейших данных о точности прогнозов и корректирующих действиях покажет, что граф вышел за рамки ускоренного расследования. Без таких подтверждений проект остается сильным развитием наблюдаемости, а не доказанной автономностью.
