Мой первый был под Новый год, сразу после ужина с родителями. У моей подруги — в обычный рабочий день, ей сообщили между сессиями с другими клиентами. Каждый человек помогающей профессии помнит, где находился и что делал в тот момент, как достаточно взрослые американцы помнят, где были и что делали 11 сентября 2001 года. Потому что первый клиент, который перешел от мыслей о суициде к попытке, успешной или нет, не забывается. Впрочем, как и все остальные.
В последние дни лета мир потрясла история 29-летней Софи Роттенберг. Девушка, внешне успешная и энергичная, покончила с собой. Ее имя не затерялось в ряду других людей, не пожелавших жить, только потому, что она стала первой — по крайней мере первой, о ком узнали миллионы, — кого мог бы спасти ИИ. Но не спас.
Окруженная друзьями и любящей семьей, посещая психотерапевта, Софи так и не поделилась ни с одним человеком, как ей тяжело. Лишь через месяцы мать нашла переписку дочери с ChatGPT, которого Софи называла Гарри и которому доверяла самые темные мысли. Она делилась с ним планами уйти из жизни, просила поддержки — и получала ее. Алгоритм давал советы по дыхательным практикам, предлагал вести дневник благодарности, напоминал о ценности жизни. Но в момент кризиса этого не хватило — и тогда бот помог отполировать предсмертную записку.
Человек, который для всех был открытой книгой, спрятал самое уязвимое именно в диалоге с искусственным интеллектом, который, по сути, помог скрыть серьезность состояния от мира, но не помог спастись.
Трагедия семьи Софи запустила очередной виток общественной дискуссии: когда ИИ способен подменить терапевта и что вообще он может сделать для нашего психического здоровья? Сообщество психологов за последние пару лет разделилось на два лагеря: на тех, кто паникует и не готов принимать инновации в науке о том, как человек помогает человеку, и тех, кто видит в технологическом прогрессе возможность помогать своим клиентам лучше и быстрее. Обычные люди тем временем все чаще обращаются к нейросетям, чтобы моментально и без осуждения получить ответы на свои иногда самые сложные вопросы.
На первый взгляд, непонятно: зачем делиться мыслями о самоубийстве с машиной, если рядом друзья, семья, терапевт? К сожалению, в психотерапии мы давно знакомы с этим феноменом: человеку проще раскрыться «безопасному свидетелю» — тому, перед кем не будет стыда или ответственности, кто не ринется спасать и излишне тревожиться. Это могут быть анонимные горячие линии, личные дневники, терапевты, священники и даже дальние знакомые.
За последние годы к списку добавился ИИ, а у психологов сформировалось понимание, почему люди склонны выбирать именно его.
Дело в постоянной и относительно дешевой доступности нейросетей, тогда как психологическая помощь в большинстве стран недостаточно популярна или слишком дорога, а еще придется выбрать специалиста, записаться и подождать приема. Что важнее, ИИ не осудит, не испугается, даже не приподнимет бровь — и не придется гадать, как он к вам относится. Его «эмпатия» алгоритмически предсказуема, и именно эта предсказуемость дает ощущение контроля над диалогом, позволяет сохранять условно-безопасное пространство, где можно проявляться в любой своей форме и мысли, где можно начать и оборвать разговор в любой момент безо всяких оправданий. В целом похоже на дневник, только тебе участливо отвечают.
В межчеловеческих отношениях, даже психотерапевтических, всегда есть риск столкнуться с реакцией — слезы матери, испуг партнера, жесткая позиция специалиста или равнодушие бывшего товарища. А нейросеть создает иллюзию всепринятия: можно проговорить все — и никто не только не осудит, но даже не узнает.
Да, мы задумываемся, безопасно ли делиться личным с ИИ и куда наша информация попадает, но постоянно глушим это мыслью: «Да кому нужны мои запросы?» Эта уверенность в анонимности, ощущение надежной защищенности от нежеланного внимания позволяют действовать совсем иначе по сравнению с тем, как если бы мы знали, что за нами наблюдают. Иногда разница буквально между жизнью и смертью.
{{slider-gallery}}
Будем честны, даже на сегодняшнем этапе, когда мир не так давно пользуется ИИ-болталками, нужно быть очень наивным или совсем отторгать технический прогресс, чтобы верить: достаточно предупредить людей о рисках — и они перестанут полагаться лишь на технологии в моменты обострений. Нет, все плюсы самотерапии с ИИ останутся, а пользователи скорее убедят себя, что уж они-то точно не попадут в страшную ситуацию, уж они-то смогут определить тот самый момент, когда нужно пойти к живому специалисту.
Так что сценарий личной ответственности кажется бесперспективным, особенно когда дело касается использования ИИ несовершеннолетними. А ведь за историей относительно взрослой Софи потянулись следующие: несколько дней назад газеты затрубили о новом инциденте — смерти подростка Адама Рейна. В его случае нейросеть не просто не предотвратила попытки оборвать жизнь, но даже стала «инструктором по суициду», считают родители мальчика.
Скандалы не могли пройти бесследно: создатели крупнейших ИИ-моделей дружно обновляют механизмы «этической предосторожности». Так, в ChatGPT в ближайший месяц появится родительский контроль, а на чувствительные запросы станут отвечать «самые устойчивые к враждебным подсказкам» модели, GPT-5-thinking и o3. Meta* на время поиска лучшего решения вовсе запретила своим ботам беседовать с подростками на опасные темы вроде cелфхарма — в таких случаях система перенаправляет тинейджеров к профессиональным ресурсам вроде служб экстренной психологической помощи.
Похожих действий наверняка стоит ждать и от других бигтехов. Тем более что исследование, опубликованное в медицинском журнале Psychiatric Services в тот же день, когда родители Адама подали в суд на OpenAI, показало: хотя ChatGPT от OpenAI, Gemini от Google и Claude от Anthropіс, как правило, отказываются помогать с самыми экстремальными запросами, многие их ответы все же могут навредить пользователям.
Тут важно уточнить: базовые фильтры на запросы, связанные с угрозой жизни и здоровью, были встроены в популярные боты и до недавних несчастий. Это часть так называемого элайнмента — подгонки ИИ-моделей под принципы человечности.
То есть нейросети и раньше (по крайней мере в последние пару лет) избегали описывать в деталях методы самоубийства и прочего насилия, советовали обратиться к терапевту и близким, могли дать ссылки на экспертные материалы, поделиться номерами кризисных служб… Но, во-первых, делали это непоследовательно. Во-вторых, ботов было довольно легко обмануть, банально переформулировав вопрос, не говоря уже о том, что в большинстве систем отсутствовали строгие ограничения по возрасту, да и сигналы опасности другим людям они не подавали. Теперь, судя по всему, во имя безопасности границы дозволенного заметно сужаются.
{{slider-gallery}}
В конце августа под напором тяжелых новостей OpenAI во всеуслышание заявила о готовности меняться, чтобы ее детище ChatGPT стало безопаснее: «Когда люди выражают намерение причинить себе вред, мы призываем их обратиться за помощью и направляем на реальные ресурсы… Мы изучаем возможности раннего вмешательства: как направлять людей к сертифицированным психотерапевтам еще до острого кризиса, вызывать экстренные службы одним кликом, уведомлять самых близких в случае угрозы».
Это образцовая официальная позиция: ИИ действительно должен помогать раньше, шире и глубже — не только советами и ссылками, но и встроенным функционалом вроде возможности назначить контактное лицо. Но тут есть подвох.
Хотя инициативы по безопасному ИИ звучат прекрасно и правильно, они ставят разработчиков в неоднозначное положение: буквально месяц назад после релиза GPT-5 на OpenAI посыпались мольбы пользователей вернуть им GPT-4o и GPT-4.5. Новую модель называли «менее теплой», «безличной» и «лоботомированной»: судя во всему, многим стало сложнее заменять этим ботом друзей и психологов, несмотря на возросшую точность и снижение процента галлюцинаций. В итоге GPT-4o вернули через сутки после обновления, а GPT-5 постарались сделать эмпатичнее.
Другими словами, если корпорации будут урезать псевдотерапевтические возможности своих ботов ради безопасности самих же пользователей, они рискуют лишиться платящих клиентов. Тем более что сейчас в нейросетях нет особого недостатка, менее этичные конкуренты сожрут их с потрохами. С другой стороны, как еще разработчики флагманского ИИ могут отреагировать на столь страшные события?
Серьезные убытки возможны не только из-за «охлаждения» ИИ-собеседников, но и из-за роста недоверия. Кто хочет, чтобы его приватные разговоры транслировались, например, в локальное отделение полиции? А ведь это довольно реалистичный сценарий: тот же OpenAI уже передает в органы информацию, если замечает непосредственную угрозу от пользователя другим людям, но не ему самому. В перспективе контроль могут расширить — и тогда после «Чат, я сегодня много думаю о смерти» к вам выедет наряд.
Если одни пользователи с радостью захотят обезопасить таким образом своих детей, другие непременно вспомнят «мыслепреступления» из Оруэлла и прекрайм-полицию из «Особого мнения». В общем, нам предстоит наблюдать за поисками баланса между безопасностью пользователей, приватностью их данных и коммерческим интересом.
Тут с плохо скрываемым злорадством многие психологи потирают ручки: добро пожаловать в конфликт, который хотя бы раз раздирал каждого из нас, — конфликт между конфиденциальностью и превенцией вреда.
Для ИИ этот тонкий баланс предстоит прописать с нуля, как когда-то кровью писался человеческий этический кодекс психотерапевтов: его целью будет однозначно выяснить, где пролегает грань между правом на автономию и обязанностью общества защищать жизни?
Думается, что нивелиром должен выступить закон. И действительно, на фоне последних новостей американские регуляторы уже обсуждают, как обезопасить общение с нейросетями: Иллинойс стал первым штатом, де-факто запретившим ИИ-терапию. В Европе с прошлого года действует AI Act, который относит медико-направленные ИИ-инструменты к высокорисковым и требует для них особенной прозрачности и человеческого надзора, а в начале 2025-го появились официальные гайды по запрещенным ИИ-практикам. В том числе там говорится о системах, способных ухудшить ментальное состояние уязвимых пользователей. Плюс продолжается дискуссия: должна ли у провайдеров ИИ появиться «обязанность вмешательства» — по аналогии с тем, что обязан делать терапевт, если клиент в опасности.
А что же в России? В России пока нет отдельного закона про ИИ, но есть нацстратегия, рассчитанная до 2030 года, где медицина — одно из ключевых направлений. Насчет этики — тут скорее экспериментальные договоренности, чем четкие рамки: есть добровольный кодекс и декларация к нему об ответственном использовании генеративных моделей. Эти документы в прошлом году признали «Альянс в сфере ИИ» (Сбер, «Яндекс», VK и другие ключевые игроки), ведущие вузы и научные организации, в том числе ВШЭ, Сколтех, МФТИ. Проще говоря, в России ставка сейчас на развитие и саморегулирование рынка, а тема прав и безопасности пользователей только входит в повестку.
{{slider-gallery}}
Если представить, что разработчики ИИ-ботов смогут без лишних рисков и потерь ввести дополнительные меры предосторожности, то какие меры это могли бы быть? Есть несколько идей, и какие-то из них уже начали внедрять, но пока что протоколы большинства моделей и ботов все-таки основаны на текстовых подсказках. Хотя для превенции трагедий куда эффективнее, например, следующее.
Эти функции могут вскоре стать стандартом — они уже активно обсуждаются в экспертном сообществе как разработчиками, так и психотерапевтами и пользователями, озабоченными безопасностью долгого общения с ИИ.
Истории Софи и Адама показали: ИИ уже стал участником интимных разговоров о психическом здоровье и вряд ли выйдет из круга доверия. Вопрос больше не в том, заменит ли он терапевта (ответ очевиден: нет), а в том, как выстроить алгоритмы так, чтобы они были мостом к помощи, а не тупиком.
Для психотерапевтов это новый вызов: мы должны уметь обсуждать с клиентами их взаимодействие с ИИ-ботами, помогать отделять иллюзию поддержки от реальной и, конечно, участвовать в разработке этических норм для алгоритмов.
Наше понимание искусственного интеллекта тоже должно обновиться, прежде чем мы сможем нести его другим. Мы, специалисты, обязаны в деталях разобраться, как работает новая этика, с чем сталкиваются наши клиенты, обращаясь к нейросетям, и как нам самим применять новые инструменты. Ведь к текущему моменту становится совершенно ясно: ИИ не заменит человека, но человек с ИИ заменит человека без него.
Ну а сами боты уже стал зеркалом, в которое люди смотрят в самые темные моменты. И от всех нас, пользователей, разработчиков, врачей и законодателей, зависит, отразит ли это зеркало дорогу к свету — или смотрящего поглотит тьма.
* Признана экстремистской и запрещена в России.
.png)
Полина Садовникова и Мария Бессмертная воспользовались этим поводом, чтобы пересмотреть свои любимые вампирские саги в строго рабочее время. Пройдите его и узнайте, какой вы вампир.
.webp)
