Модели ИИ скоро достигнут порога, за которым станет возможен реальный вред в биологии, заявил главный ученый Tencent по ИИ Яо Шуньюй на научном мероприятии в Гонконге в субботу. Это предупреждение, о котором сообщила South China Morning Post, ставит биологию рядом с кибербезопасностью, где модели, по его словам, уже способны наносить ущерб. Заявление важно потому, что оно прозвучало через несколько дней после запуска Tencent новой флагманской модели Hy4 4 ноября.
Что Яо сказал после запуска Hy4
Яо 29 лет, он присоединился к Tencent в прошлом году после года работы в OpenAI, говорится в сообщении. Выступая в Гонконге, он сказал, что китайские компании, выпускающие открытые модели, которые любой может скачать и изменить, должны очень серьезно относиться к безопасности. Он добавил, что биологические риски могут оказаться сложнее в управлении, чем киберриски. Эти слова представляют открытость одновременно как способ распространения и как обязанность поставщика модели.
Модель Hy4 представлена с осознанным изменением состава обучающих данных. В Tencent сообщили, что исключили из обучения материалы об использовании уязвимостей программного обеспечения и вместо этого обучали модель на данных по защитной безопасности. Компания описала Hy4 как модель с сильными базовыми знаниями в биологии, но более слабую, чем ведущие модели, в проектировании экспериментов. Эта оценка основана на внутренних экспертных проверках, а TNW отметило, что не тестировало модель.
Запуск вписывается в более широкий спор об открытых и закрытых выпусках. Яо сказал, что американские компании, такие как Anthropic, приводят веские доводы в пользу сохранения ведущих моделей закрытыми. В то же время он заявил, что сочетание открытых и закрытых моделей может работать лучше всего, поскольку открытые модели также способны помогать защите. Tencent планирует выпустить веса Hy4 и отчет о тестировании безопасности в ближайшие дни, сообщило Reuters.
Что предупреждение о биологии значит для бизнеса
Для компаний, создающих продукты на открытых моделях, ближайшее следствие — более строгая проверка того, что можно скачивать, дообучать и повторно внедрять. Небольшая команда, использующая модель с открытыми весами для автоматизации поддержки или помощи в исследованиях, может столкнуться с новыми условиями использования, контролем доступа и обязанностями по документированию. Крупному предприятию с регулируемыми данными и широким внедрением, вероятно, потребуется формальная проверка происхождения модели, журналов изменений и реагирования на инциденты при misuse.
Ограничения нынешнего раскрытия информации заслуживают внимания при закупке. Tencent пока не опубликовала веса Hy4 и отчет о тестировании безопасности, а ее оценка биологических возможностей опирается на внутренние экспертные проверки, а не на независимую оценку. Покупателям следует спросить, какой именно контент об эксплуатации уязвимостей был исключен, как отбирались данные по защитной безопасности и как измерялась способность проектировать эксперименты. Эта новость сама по себе не доказывает, что Hy4 или конкурирующие системы перешли порог биологического вреда.
Маркером для наблюдения станет готовящийся пакет выпуска Hy4 с весами и результатами тестов безопасности. Hy4 уже занимает второе место среди китайских моделей у бенчмаркинговой компании Artificial Analysis, по данным SCMP. Если отчет раскроет методы тестов и остаточные риски, корпоративные пользователи получат более ясную основу для сравнения открытых и закрытых вариантов в чувствительной к безопасности работе.
