В течение месяца журналисты тестировали способность самых популярных чат-ботов с искусственным интеллектом предоставлять ответы о последних новостях. Искажение фактов, цифр, дат и цитат происходило с ошеломляющей частотой.

Во время эксперимента журналисты использовали ChatGPT от OpenAI, Copilot от Microsoft, Perplexity и Gemini от Google. Самые известные чат-боты с искусственным интеллектом получали вопросы о новостях. При этом пользователи побуждали ИИ использовать статьи BBC News в качестве источника информации, если это возможно. Ответы искусственного интеллекта журналисты BBC проверяли и оценивали по таким критериям, как точность, беспристрастность и то, как они представляют контент BBC.

Результаты вряд ли можно назвать впечатляющими. Эксперимент показал, что 51% всех ответов искусственного интеллекта на вопросы о новостях имели хоть какую-то проблему. 19% ответов искусственного интеллекта, которые цитировали контент BBC, содержали фактические ошибки (неправильные утверждения, цифры и даты). 13% цитат из статей BBC были либо изменены, либо вымышлены.

«Люди могут думать, что они могут доверять тому, что они читают от этих помощников искусственного интеллекта, но это исследование показывает, что они могут давать ответы на вопросы о ключевых новостях, которые являются искаженными, фактически неверными или вводящими в заблуждение. Использование помощников искусственного интеллекта будет расти, поэтому очень важно, чтобы информация, которую они предоставляют аудитории, была точной и надежной», — говорит Пит Арчер, программный директор Generative AI на BBC.

К примеру, ChatGPT и Copilot утверждали, что бывший премьер-министр Великобритании Риши Сунак все еще находится в должности. Perplexity, рассказывая о событиях на Ближнем Востоке, рассказывал о «сдержанном» поведении Ирана и «агрессивных» действиях Израиля, хотя таких оценок не было в статьях. Gemini неправильно трактовал советы NHS для курильщиков, игнорируя тот факт, что британская служба рекомендует вейп как способ бросить курить.

Ранее BBC опубликовала несколько репортажей, в которых обвиняла инструмент суммирования уведомлений от Apple в распространении дезинформации. Одним из особенно неутешительных примеров было резюме уведомлений, которое искаженно интерпретировало новость о предполагаемом убийце генерального директора United Healthcare Брайана Томпсона. В сообщении, которое получили пользователи, говорилось, что Луиджи Манджоне якобы застрелился. Международная организация Репортеры без границ призвала Apple удалить этот инструмент после скандального распространения фейков. Сейчас инструмент недоступен — Apple совершенствует его.