Верховный суд Нью-Мексико оштрафовал адвоката Стивена Ааронса на $5 000 и признал его виновным в неуважении к суду за апелляцию по делу об убийстве, в которой упоминались несуществующие свидетели. Документ, подготовленный с помощью ChatGPT, содержал выдуманные показания и ложные заявления полиции, а суд установил, что Ааронс не проверил фактические утверждения и правовые ссылки в тексте. История показывает, как быстро черновик, созданный ИИ, превращается в официальную санкцию, если его никто не сверил с материалами дела.
Что суд нашёл в апелляции
В материалах дела указано, что апелляция «содержала ложные показания полностью выдуманных свидетелей», а также ложные показания об одежде и внешности стрелявшего. В неуважении к суду Ааронса признали именно за то, что он не проверил фактические утверждения и правовые ссылки в подготовленном ИИ документе, сообщает Reuters. Штраф выписан в среду. Речь не о мелкой ошибке в цитате: суду представили вымышленных людей и вымышленные заявления полиции как часть апелляции на обвинительный приговор за убийство.
На августовском заседании Ааронс признал, что пользовался ChatGPT и рассчитывал получить «безупречное резюме» процесса. Судья К. Шеннон Бэкон прямо оспорила это допущение. «Коллега, вы смотрите новости? Вы слушаете радио? Вы читаете что-нибудь о том, что происходит в мире?» — сказала она, по данным Reuters. Она добавила, что проблема адвокатов, полагающихся на галлюцинации ИИ, — «новость на первой полосе каждый день». Этот обмен мнениями указывает на разрыв между инструментом, который выдаёт гладкий текст, и профессиональной обязанностью убедиться, что текст соответствует действительности.
Механика сбоя проста. Языковая модель порождает ссылки, имена и цитаты, которые выглядят правдоподобно, потому что повторяют структуру настоящих юридических текстов, но она не сверяет их с материалами дела или судебным протоколом. Именно проверка выявляет такие вставки, и в апелляции Ааронса этот шаг пропустили. Суд квалифицировал как нарушение не использование ChatGPT, а отсутствие проверки. Для любой команды, которая готовит документы с помощью ИИ, практическое правило одно: модель делает черновик, а за каждое фактическое утверждение в нём отвечает человек.
Санкция вписывается в расширяющуюся картину. Число адвокатов, использующих инструменты ИИ в работе, растёт, и вместе с ним растут случаи, когда суд обнаруживает ссылки, выдуманные или сгенерированные ИИ. В прошлом году судья раскритиковал две юридические фирмы за документ с «многочисленными ложными, неточными и вводящими в заблуждение правовыми ссылками и цитатами». Адвокатов MyPillow Майка Линделла также оштрафовали за сгенерированные ИИ искажённые цитаты и фиктивные ссылки в документе. Суды начинают рассматривать такие бумаги как повторяющуюся категорию нарушений, а не как единичные промахи.
Что это значит для бизнеса, использующего ИИ
Для компаний, которые готовят с помощью ИИ договоры, регуляторные документы, аудиторские заметки или коммерческие предложения, дело задаёт ясную границу: инструмент ускоряет подготовку черновика, но обязанность проверки на модель не переходит. Небольшая фирма без юридического отдела уязвима сильнее всех, потому что один и тот же человек пишет и проверяет документ, а гладкий абзац легко принять на веру. Крупная организация может разделить подготовку и проверку и назначить второго проверяющего — тогда тот же результат ИИ становится менее рискованным. Разница между двумя схемами — один цикл проверки.
Решение не устанавливает, что подготовка документов с ИИ запрещена, и не доказывает, что причиной стал именно ChatGPT. Суд отреагировал на непроверенные утверждения в поданном документе, и штраф $5 000 отражает это процессуальное нарушение. Прежде чем внедрять инструмент для письма в регулируемой работе, покупателю стоит спросить поставщика, как система обходится со ссылками и указанием источников, может ли она связать каждое утверждение с доступным документом и как выглядит след проверки, если утверждение окажется неверным. Для команды, которая ставит своё имя под результатом, эти вопросы важнее оценок в тестах.
Ааронс заявил Reuters, что «сожалеет, но надеется, что дисциплинарная комиссия учтёт, что это была честная ошибка». Следить стоит за ответом дисциплинарной комиссии: если она сочтёт случай единичным промахом, проверка останется делом личной дисциплины, а если признает непроверенный контент ИИ постоянным риском, фирмы начнут закреплять шаги проверки в своих регламентах. Для покупателей ИИ-инструментов важен второй исход — именно он меняет то, как составляют договоры и внутренние правила.
