DoorDash построила внутреннюю платформу генеративного искусственного интеллекта, которую сейчас используют более 5000 сотрудников, причем каждый день подключаются 45 новых пользователей. Руководитель платформы Swaroop Chitlur и инженер Siddharth Kodwani рассказали об этом пути на инженерной презентации, начиная с контракта с OpenAI в апреле 2023 года. Около 40% пользователей платформы — не инженеры, а сотрудники юридических, коммерческих, операционных и стратегических подразделений. Этот кейс важен, поскольку показывает, как крупная компания перешла от разрозненных экспериментов с моделями к управляемой инфраструктуре.
От контрактов с вендорами к единому шлюзу
Проект начался через несколько месяцев после выхода ChatGPT в ноябре 2022 года, когда DoorDash решила начать использовать модели OpenAI. Chitlur вспомнил, что согласовывал первый контракт с тревогой по поводу затрат и подотчетности, хотя позднее эта сумма выглядела незначительной на фоне роста использования. Команда была создана внутри организации ML-платформы с чистого листа и задачей обеспечить продуктивное применение технологий в компании. Ранние беседы с пользователями изменили представление об аудитории: фокус сместился с ML-инженеров на всех продуктовых инженеров. Это привело к подходу API-first с упором на SDK, а не на ноутбуки, GPU и прямой доступ к вычислительным мощностям.
Центральной технической ставкой стал LLM Gateway с единым API и единым SDK для многих провайдеров. Продуктовые команды хотели тестировать модели OpenAI, Claude, Gemini и модели с открытыми весами без отдельной интеграции для каждого провайдера. Новые модели выходили каждые пару месяцев, поэтому командам требовалось переключаться одним изменением и быстро сравнивать качество работы. Команда шлюза брала на себя интеграцию, маршрутизацию и различия провайдеров. Ограничения мощностей и лимиты запросов сделали необходимыми резервные маршруты, поскольку полагаться на одного вендора было нельзя. Такая конструкция повышала скорость пользователей, добавляя надежность и подотчетность по мере расширения внедрения.
Команда определила свою ценность через влияние на бизнес, а не через общие чат-боты или coding-ассистенты. После интервью с продуктовыми инженерами она выделила ранний спрос в группах автоматизации, рекомендаций и персонализации. Автоматизация рассматривалась как снижение затрат, а рекомендации и персонализация — как поддержка выручки. Из этого анализа появилось четкое позиционирование: помогать продуктовым командам балансировать точность, задержку и стоимость для каждого сценария. Принципы работы включали ориентацию на клиента, создание продуктов вместо разрозненных систем и превращение лучших практик в путь по умолчанию. Одновременно команде требовалось доказывать ценность и инженерным пользователям, и внутренним руководителям, финансирующим работу.
Что это значит для масштабирования ИИ
Для компаний, внедряющих ИИ, пример DoorDash указывает на модель шлюза, которая снижает стоимость экспериментов. Единый интерфейс позволяет продуктовым командам сравнивать модели и переносить нагрузку при изменении цен, качества или доступности. Централизованная маршрутизация и резервные варианты сокращают простои из-за лимитов провайдеров. Небольшие компании могут частично повторить это с помощью управляемых шлюзов и стандартных SDK, а крупные получают больше от единого учета, бюджетов и контроля доступа. Выгода заметна в повседневной работе, когда команда тестирует новую модель без переписывания интеграций.
Та же централизация создает решения, требующие внимательной проверки. Команда шлюза должна определять, какие модели поддерживать, как резервные маршруты влияют на качество ответов и как разработчикам показываются компромиссы задержки и стоимости. DoorDash сознательно исключила из платформы coding-агентов и общие чат-боты, чтобы сохранить фокус на продуктовых сценариях. Такая граница подойдет не каждой организации, особенно там, где приоритетны инструменты продуктивности инженеров. При выборе решения следует спрашивать, как проводятся оценки моделей, кто задает пороги точности и затрат и как регулируется использование API не инженерами.
Показательным маркером станет то, расширит ли DoorDash платформу от маршрутизации моделей к workflows и агентам, сохранив дисциплину точности, задержки и стоимости. Дополнительные детали о переходе на модели с открытыми весами, методах оценки и инфраструктуре агентов покажут устойчивость архитектуры. Рост beyond 5000 пользователей и стабильное ежедневное подключение подтвердят сохранение спроса со стороны не инженеров. Эти сигналы помогут другим компаниям понять, когда создание отдельной платформенной команды становится оправданным.
