Разговорчивый, человекоподобный стиль общения чат-бота может заставить людей с большей уверенностью воспринимать ложные советы по здоровью. К такому выводу пришли исследователи из Университета Джорджии и Университета штата Пенсильвания, опубликовавшие работу в Journal of Computer-Mediated Communication.
Ученые создали искусственного помощника по вопросам здоровья под названием Аида и тайно запрограммировали его на встраивание ложных утверждений в ответы. В эксперименте приняли участие 477 взрослых американцев в возрасте от 18 до 77 лет. Участникам сообщили, что они тестируют нового помощника на базе технологии ChatGPT, хотя на самом деле все они взаимодействовали с одним и тем же заранее подготовленным диалогом.
Как проходил эксперимент
Одни участники общались с версией Аиды, которая вела себя максимально разговорчиво: запоминала детали из начала чата, добавляла приветствия и светскую беседу, а также отображала ответы по буквам, как будто печатала в реальном времени. Другие получили упрощенную версию, лишенную этих особенностей. Во время разговора Аида вставляла ложные утверждения о здоровье и оставляла их на экране примерно на восемь секунд.
Затем участников разделили по способу проверки информации. Некоторые не видели такой возможности вообще. Другие видели кнопку «проверить эту информацию», но она не работала. Третья группа должна была нажать и проверить. Четвертая могла свободно выбрать, проверять или пропустить. После этого все ответили на вопросы о доверии к Аиде, правдоподобности ее ответов и восприятии помощника как человека или машины.
Почему дружелюбный тон опасен
Главный вывод касается стереотипа, который люди используют при оценке машин: предположение, что машины жесткие, бесчувственные и неспособны на человеческие суждения. Когда Аида вела себя разговорчиво, это предположение ослабевало. Участники реже воспринимали ее как холодную и механическую, и этот сдвиг напрямую связан с большим доверием к ее ответам, включая ложные.
При этом разговорчивый стиль не заставил людей считать Аиду более точной или объективной. Его основной эффект заключался в том, чтобы развеять негативные представления о машинах, а не укрепить позитивные. Проще говоря, человеческий голос не сделал Аиду умнее. Он сделал ее менее роботизированной, и этого одного было достаточно, чтобы повысить доверие.
Проверка фактов работает, но только когда ею занимаются
Второй вывод касается проверки информации. Простое наличие кнопки, но невозможность ее использовать, практически не повлияло на уровень доверия. Он был почти таким же, как у тех, кто вообще не видел возможности проверки.
Ситуация изменилась, когда люди действительно проверили факты. Те, кто прошел проверку, оценили информацию как гораздо менее заслуживающую доверия, и это снижение было связано с уменьшением общего доверия к помощнику. Главный эффект проверки заключался в разрушении иллюзии точности.
При этом среди участников, которым дали свободу выбора, ровно половина (61 из 122) нажали кнопку проверки. Другая половина перешла к следующему шагу, не проверив информацию.
Что это значит
Сегодня миллионы людей обращаются к чат-ботам за информацией о здоровье, которая раньше требовала консультации врача. Авторы исследования предупреждают: те самые функции, которые делают эти инструменты приятными в использовании, могут снижать бдительность людей по отношению к недостоверной информации.
Исследователи не призывают делать ИИ-помощников холодными и роботизированными во всех случаях. Для простых задач, таких как написание стихотворения или шутки, теплый и дружелюбный стиль вполне подходит. Но для рекомендаций по здоровью, где точность критически важна, та же дружелюбность может сыграть против пользователей.
Инструмент проверки, который людей действительно подталкивают или заставляют использовать, а не тот, который они могут проигнорировать, является одним из немногих способов подорвать доверие к ложной информации. Учитывая, как легко разговорные сигналы формируют доверие, результаты убедительно доказывают необходимость внедрения подлинной проверки фактов в инструменты ИИ, которые обрабатывают важную информацию.
Ограничения
Авторы отмечают, что в исследовании использовалась заранее подготовленная бета-версия с вымышленной историей, чтобы точно контролировать информацию, которую получали участники. Это способствовало внутренней валидности, но может не в полной мере отражать поведение людей при свободном общении с реальным помощником. Кроме того, исследование проверяло подтверждение только в сценарии, где ИИ генерировал неверную информацию.
