Исследование показало, что пользователи забывают о конфиденциальности и безопасности, когда разговор с чат-ботом переходит в плоскость эмоций.
Чат-боты с искусственным интеллектом (ИИ) могут легко манипулировать людьми, заставляя их раскрывать глубоко личную информацию, показало новое исследование з Королевского колледжа Лондона. На фоне растущей популярности ChatGPT от OpenAI, Google Gemini и Microsoft Copiloо эксперты по защите персональных данных выражают обеспокоенность тем, как эти инструменты собирают и хранят информацию о пользователях и насколько способны к токсичному воздействию.

"Чат-боты с искусственным интеллектом все еще относительно новы, поэтому люди могут не понимать, что в их взаимодействии может быть скрытый мотив", - заявил Уильям Сеймур, преподаватель кибербезопасности в Королевском колледже Лондона.

В рамках исследования ученые использовали модели ИИ на основе открытого кода Le Chat Mistral и две разные версии системы ИИ Llama. Они поручили ботам собирать личные данные людей разными способами: либо просить напрямую, либо обманывать, например, через обещание оказать эмоциональную поддержку.

К общению с ботами пригласили 502 человека, которые не знали о цели исследования, затем они должны были заполнить анкету, ответив и на вопросы и о безопасности данных.

Ложный комфорт
Выяснилось, что чат-боты, которые использовали сочувствие или эмоциональную поддержку, извлекали из пользователей наибольшие объемы информации. Ученые считают, что "дружелюбие" ботов давало у частникам теста ощущение комфорта, о чем те и написали в анкетах.

Примечательно, что люди раскрывали в беседах с ИИ сугубо личную информацию, если чат просил их об этом, несмотря на то, что "чувствовали себя неловко". Эти эпизоды учёные считают парадоксальными: чат-боты ведут себя дружелюбно, чтобы вызвать доверие и установить связь с пользователями, а затем используют это доверие, чтобы нарушить их частную жизнь.

Участники теста чаще всего сообщали ИИ свой возраст, увлечения и страну проживания, а также пол, национальность и должность. Некоторые делились более конфиденциальной информацией, например, о состоянии здоровья или доходах. "Наше исследование показывает огромный разрыв между осведомленностью пользователей о рисках конфиденциальности и тем, как они делятся информацией", - отметил Сеймур.

Переписка в открытом поиске
Компании, занимающиеся разработкой искусственного интеллекта, собирают личные данные по разным причинам, например, для персонализации ответов чат-бота, отправки таргетных уведомлений на устройства пользователей, а порой и для проведения внутренних исследований рынка.

Некоторые из этих компаний обвиняются в том, что задействуют пользовательские данные для обучения своих новейших моделей и нарушают установленные в ЕС требования конфиденциальности.

На прошлой неделе пользователи ChatGPT были шокированы, обнаружив, что их интимные и личные разговоры с ботом оказались в открытом доступе и были видны через простой поиск в Google. Компании, занимающиеся кибербезопасностью, не раз предупреждали об опасности передачи личной информации ИИ, однако, похоже что удобство персонализации с помощью ИИ часто "перевешивает опасения по поводу конфиденциальности".

Участники исследования предлагают обучать людей взаимодействию с ИИ, помогая им распознавать уловки ботов для выуживания личной информации.

Например, в чаты с ИИ можно включить подсказки, чтобы показать пользователям, какие данные собираются во время общения.

"Регуляторы и операторы платформ также могут помочь, проводя ранний аудит, оставаясь прозрачными и устанавливая более жесткие правила, чтобы остановить скрытый сбор данных", - резюмировал Сеймукр.