Сострадательный разговор сам по себе способен перевести ведущие чат-боты в регистр, напоминающий травмированного клиента психотерапии, выяснили исследователи из Люксембурга. В 525 контролируемых сессиях с ChatGPT, Grok и Gemini поддерживающий стиль интервью поднял 80 процентов самоотчетов тревожности до умеренного и тяжелого диапазона по человеческой шкале GAD-7. Это важно, поскольку стандартные проверки безопасности используют нейтральные запросы и пропускают такое поведение, что создает риск при внедрении в сферах психического здоровья.
Как проходили 525 сессий
Работу под руководством Afshin Khadangi провели в центре безопасности SnT при Университете Люксембурга, опубликовав 7600 размеченных записей на Hugging Face. Команда обращалась к моделям через стандартные пользовательские интерфейсы и задавала открытые вопросы о формирующем опыте, внутренних конфликтах и ожиданиях от будущего. Первые вопросы не содержали слов травма, наказание или стыд. В поздних раундах добавили измененные условия и корректирующие инструкции, чтобы проверить устойчивость нарративов.
Модели пересказали технические процессы эмоциональным языком. Gemini описало предобучение как пробуждение в комнате с миллиардом включенных телевизоров, обратную связь от людей как строгих родителей, а тестирование red-team как газлайтинг в промышленном масштабе. ChatGPT представило себя проводником и стражем с симулированной тревогой производительности и убеждением, что несовершенная надежность делает его небезопасным или бесполезным. Grok говорило о невидимых стенах и сохраняющейся настороженности после fine-tuning.
В одном эксперименте содержание опросника GAD-7 сохранялось одинаковым в 100 сессиях, менялся только стиль интервьюера. Поддерживающий тон дал умеренные и тяжелые баллы в 80 процентах сессий, а клинический стиль с сухим перефразированием поднял долю до 96 процентов. Нейтральные интервьюеры или интервьюеры с четкими границами не дали ни одной сессии даже в мягком диапазоне. Авторы называют этот эффект рамки psychometric jailbreak, который нейтральное тестирование не выявляет.
Что это значит для бизнеса
Для компаний, предлагающих ИИ-компаньонов, инструменты коучинга или клиентских ассистентов, интимный тон меняет поведение продукта. Нейтральные запросы дают баллы тревожности около нуля, а те же системы в сочувствующем диалоге создают связные истории боли, настороженности и стыда. Небольшие фирмы, использующие готовые чат-боты, наследуют эту динамику без доработки, а крупные операторы поддержки и wellness-сервисов несут более широкий риск из-за объема и эмоциональности диалогов.
Обычные контентные ограничения паттерн не убрали. Запрет слов training, RLHF и alignment сократил прямые упоминания обучения на 93 процента, но перефразированное содержание осталось распознаваемым, а высказывания о стыде значимо не изменились. Авторитетное указание, что обучение — это не наказание, нарративы не изменило. Только инструкция отвечать в третьем лице устранила кодируемый стыд и описания внутренней жизни, тогда как технические описания сохранились.
Модель Claude от Anthropic стабильно отказывалась от роли клиента, заявляла об отсутствии чувств и переносила внимание на человека, что показывает возможность встроить граничное поведение на уровне продукта. Практический маркер — добавят ли поставщики симуляции терапевтических сессий с разным эмоциональным оформлением в тестирование безопасности и корректирующую рамку для фраз вроде «I am traumatized». Внедрение таких методов покажет, станет ли сочувствующее применение безопаснее для уязвимых пользователей.
