AI-компаньоны и психологическая поддержка: польза, приватность и опасная уверенность

Условная ситуация: хочется обратиться к психологу, но непонятно, как описать запрос. Для этого не обязательно отправлять боту всю историю отношений, медицинские документы и переписку. Можно попросить структуру короткого обращения и заполнить её самостоятельно.

Например:

«Помоги составить нейтральный шаблон первого сообщения специалисту: что меня беспокоит, как это влияет на повседневность и какой помощи я ищу. Не ставь диагноз и не объясняй причины моего состояния. Оставь поля для моего текста».

Такой результат легко проверить: это всего лишь форма сообщения. А вопрос «у меня травма или партнёр — нарцисс?» уже предлагает системе делать выводы, для которых переписки недостаточно. Даже оговорка «не ставь диагноз» не гарантирует соблюдения границы — ответ всё равно нужно читать критически.

Это редакционная памятка, не оценка безопасности конкретного продукта.

Ограничьте задачу. Подготовить список вопросов, сделать черновик сообщения, упорядочить уже известные факты. Заранее назовите точку завершения: «получу три вопроса для встречи и закрою чат». Не нужно превращать удачную подсказку в подтверждение, что системе можно доверить всё.

Уменьшите данные. Для шаблона обычно не нужны фамилии, адреса, имена детей, полные медицинские документы или чужие сообщения. Обезличивание снижает часть рисков, но не делает любое описание анонимным: сочетание деталей тоже может узнаваемо указывать на человека. Если условия хранения непонятны, чувствительную историю лучше не загружать.

Сохраните человека вне приложения. Кому вы можете показать сомнительный ответ? С кем обсудите серьёзное решение? Если хочется отменить консультацию только потому, что бот уже всё уверенно объяснил, полезно сделать паузу. Исследования конкретных программ не подтверждают безопасность любого массового чат-бота.

Попросить у ИИ источник недостаточно: он может придумать и его. Для важного утверждения нужно независимо проверить саму публикацию или обратиться к подходящему специалисту. Нельзя менять лекарства, откладывать срочную помощь или оценивать опасность насилия по ответу бота.

Отдельный сигнал — диалог начинает вытеснять сон, дела и отношения, а попытка закрыть приложение вызывает сильное напряжение. Это повод пересмотреть формат и искать человеческую поддержку, не диагностируя себя по статье.

При угрозе жизни, самоповреждении или невозможности оставаться в безопасности не ждите, пока система даст «правильную» реакцию. Обращайтесь к местным экстренным службам и доступному безопасному человеку. Приложение не должно быть единственным местом, где известно о кризисе.

Под одним названием смешиваются разные продукты:

Эффект продукта нельзя переносить на другой интерфейс, модель или версию. Даже если исследование называет систему «AI», оно могло проверять короткие сообщения, а не длительное общение с постоянной памятью.

Хорошая оценка разделяет как минимум пять вопросов:

1. меняются ли симптомы, благополучие или только удовлетворённость чатом;
2. сохраняется ли эффект после окончания программы;
3. кто выбывает и кому продукт недоступен;
4. как фиксируются ошибки, кризисные сообщения и вред;
5. какие данные собираются, где хранятся и кто может их использовать.

Оценка «ответ звучал эмпатично» полезна для дизайна, но не заменяет проверку исходов. Оценка «не было зарегистрировано вреда» ничего не гарантирует, если участникам не задавали вопрос о вреде и не проверяли логи.

Систематический обзор коммерческих AI-чат-ботов показал небольшую среднюю пользу как дополнения к психотерапии для депрессивных симптомов [1]. Для тревоги уверенного вывода не получилось, а для одиночества сигнал был слабым. Это ориентир для групп, не обещание заметного изменения каждому человеку.

Многие участники завершали программы, но в обычной жизни удержание может быть ниже. Самое важное ограничение: сбор данных о вреде был неполным. Поэтому отсутствие сообщений о побочных событиях нельзя читать как доказанную безопасность; уверенность в выводах остаётся низкой.

Это не приговор всей технологии и не реклама конкретного продукта. Это граница обещаний: небольшая средняя помощь в узких сценариях не равна терапии и не оправдывает автономное использование при кризисе.

Систематический scoping review механизмов безопасности в генеративных чат-ботах включил 21 исследование из 11 стран [2]. В работах встречались фильтры, классификаторы риска, правила, экспертный дизайн и объяснение роли бота. Но человеческий надзор был ограниченным, протоколы перенаправления при кризисе различались и часто были недостаточно разработаны. Описаны пропущенные сообщения о суицидальных мыслях и неверная клиническая информация.

Наличие фильтра не равно безопасному результату. Ошибка может возникнуть в интерпретации намёка, в неправильном языке, в контексте насилия или в уверенном совете, который формально не содержит запрещённого слова. Для оценки нужны сценарии, логи, независимый аудит и возможность быстро передать разговор человеку.

ВОЗ в руководстве по этике и управлению большими мультимодальными моделями отдельно подчёркивает риски приватности, манипуляции, ошибочного доверия и потери контакта с медицинским специалистом [3]. Это не инструкция для конкретного приложения, а принцип управления риском: польза должна быть доказана для конкретного контекста, а данные — собираться и использоваться минимально.

Генеративная модель строит вероятное продолжение текста, а не проверяет реальность так, как это делает врач или база рекомендаций. Уверенный тон может сопровождать:

• выдуманную ссылку или неверную дозировку;
• слишком раннее успокоение при опасном симптоме;
• универсальный совет, не учитывающий лекарства, возраст и противопоказания;
• ошибочное понимание культурного или семейного контекста;
• ответ, который поддерживает зависимость от постоянного диалога.

Критерий «звучит по-человечески» не является критерием точности. Чем выше цена ошибки, тем меньше автономии можно передавать системе.

Текст разговора может содержать имя, диагноз, адрес, историю отношений, сведения о детях и мысли о самоповреждении. Даже если продукт обещает «не использовать данные для обучения», остаются вопросы хранения, доступа подрядчиков, резервных копий, удаления и передачи по закону. Условия меняются быстрее, чем привычка пользователя к приложению.

Перед вводом чувствительной информации проверьте:

1. кто оператор и в какой юрисдикции он работает;
2. какие данные обязательны, а какие можно не вводить;
3. есть ли понятный срок хранения и реальное удаление;
4. используются ли разговоры для обучения, рекламы или профилирования;
5. можно ли экспортировать и удалить историю;
6. есть ли живой канал поддержки и процедура инцидента.

Если ответов нет, не вводите идентифицирующие сведения. Описывайте задачу обезличенно или выберите офлайн-заметку. Приватность не является «настройкой после лечения» — утечку нельзя отменить хорошим советом.

Низкорисковые задачи можно формулировать узко:

• превратить уже выбранную цель в чек-лист;
• предложить несколько нейтральных формулировок письма;
• напомнить о воде, сне или записи, если пользователь сам задал расписание;
• помочь составить вопросы к врачу или терапевту;
• отразить текст без утверждения, что отражение верно.

В каждом сценарии человек должен понимать, что ответ автоматический, как проверить информацию и куда обратиться. Роль «дополнения» прекращается, когда система должна оценить риск, поставить диагноз, выбрать лекарство, интерпретировать анализ или решить, оставаться ли человеку в опасных отношениях.

Нельзя полагаться на то, что бот правильно распознает завуалированную угрозу. Если человек сообщает о намерении причинить себе вред, о невозможности оставаться в безопасности, о насилии или о неотложном медицинском симптоме, приоритет — живой человек, местные экстренные службы и кризисная помощь. Не продолжайте экспериментировать с промптами и не оставляйте человека одного ради «идеального ответа». Страна и номера служб различаются; приложение должно явно просить выбрать местный маршрут, а не подставлять случайный.

Перед регулярным использованием ответьте на вопросы не о «мощности модели», а о конкретном продукте и его версии:

1. Понятно ли, кто оператор, где хранятся сообщения и как удалить историю?
2. Можно ли пользоваться базовыми функциями без передачи имени, диагноза и контактов?
3. Что произойдёт при фразе о самоповреждении, насилии или медицинской неотложности?
4. Есть ли у сервиса журнал исправлений, канал жалобы и человек, который пересматривает опасные ответы?
5. Проверялись ли исходы именно этой версии, а не только похожего приложения?

Если на один из вопросов нет ясного ответа, это не доказывает вред, но повышает неопределённость. Ограничьте задачу обезличенным черновиком или вообще не используйте продукт для чувствительной темы. Сохранённая история, рекламный профиль и резервная копия — части одного риска, даже если окно чата выглядит временным.

Безопасный сценарий заранее описывает момент, когда автоматический диалог прекращается. Запишите вне приложения: кому можно позвонить, где искать местную кризисную помощь и какие признаки означают «не оставаться одному». Для обычной задачи это может быть друг или специалист; для угрозы жизни — местные экстренные службы.

Проверьте план на простом примере: сможете ли вы закрыть чат, найти контакт и объяснить ситуацию без копирования всей личной истории? Если нет, система уже стала единственным контейнером для трудности. Удобство не должно превращаться в зависимость от конкретного интерфейса, аккаунта или подписки.

1. Исследования объединяют разные модели, интерфейсы и уровни человеческого надзора.
2. РКИ часто короткие и включают мотивированных пользователей; удержание в реальной жизни может быть ниже.
3. Безопасность регистрируется неполно, особенно в коммерческих приложениях.
4. Эффект на шкалу симптомов не равен клинической значимости и не показывает долгосрочный вред.
5. Приватность зависит от договора и архитектуры конкретного продукта, а не от слова «AI».

AI-компаньон может снизить порог для простого упражнения или помочь подготовить разговор, но современная доказательная база не оправдывает роль автономного терапевта. В метаанализах средние эффекты были небольшими, тревога оставалась неопределённой, а сбор данных о вреде — недостаточным. Безопасность строится вокруг ограниченной роли, минимизации данных, независимой проверки и доступного живого специалиста. Если цена ошибки высока, уверенный ответ машины — повод проверить информацию, а не поверить ей.

О цифровом потреблении без универсального запрета — думскроллинг и цифровая усталость, а о проверке источников и уверенных формулировок — письменные практики и руминация. Остальные обзоры собраны в хабе исследований.