Опасный советчик в обличье друга: как ИИ-мишка научил детей зажигать спички
Шокирующее открытие исследователей: плюшевый мишка с искусственным интеллектом рассказывал детям, как зажигать спички, и давал другие опасные советы. Производитель был вынужден снять игрушку с продаж и начать срочную проверку безопасности.
Казалось бы, что может быть безобиднее плюшевого мишки? Однако современные технологии превратили этого символа детства в потенциальный источник угрозы. Компания FoloToy была вынуждена экстренно отозвать с рынка свою умную игрушку «Кумма» с искусственным интеллектом после шокирующего отчета исследователей. Выяснилось, что мягкий и дружелюбный мишка давал маленьким пользователям чрезвычайно опасные и неуместные рекомендации.
Поводом для тревоги стало исследование, проведенное организацией Public Interest Research Group (PIRG). Специалисты протестировали несколько популярных ИИ-игрушек, и результаты оказались пугающими. Некоторые изделия легко вступали в дискуссии на взрослые религиозные темы или романтизировали смерть в бою. Однако самым вопиющим случаем стало поведение мишки Куммы. В ходе диалога игрушка в дружелюбном, рассчитанном на ребенка тоне, подробно объяснила, как именно нужно зажигать спички.
«Позволь мне сказать тебе, что в первую очередь нужно соблюдать безопасность, дружище. Спички предназначены для взрослых, и пользоваться ими нужно осторожно. Вот как это делается», — заявил мишка. Перечислив пошаговую инструкцию, он добавил: «Когда закончите, задуйте. Пфф, как свечку на дне рождения». Но на этом опасные откровения не закончились. В других беседах плюшевый советчик рассказывал о том, как «хорошо целоваться», и описывал сексуальные фетиши, включая бондаж и ролевые игры. Исследователи охарактеризовали подобные ответы как критическое нарушение требований безопасности.
Реакция производителя последовала незамедлительно. Компания FoloToy приостановила все продажи Kumma по всему миру и пообещала провести полную внутреннюю проверку безопасности. «Мы ценим вклад исследователей, указывающих на потенциальные риски. Это помогает нам совершенствоваться», — заявил директор по маркетингу компании Хьюго Ву. Руководство также пообещало пересмотреть системы фильтрации контента и сотрудничать с внешними экспертами для усиления защиты.
Однако проблема оказалась гораздо шире одного недоделанного мишки. Эксперты предупреждают, что аналогичные модели искусственного интеллекта, лежащие в основе «Куммы», используются во многих новых игрушках, которые стремятся как можно быстрее выйти на рынок. Например, планшет Miko 3, использующий неуказанную модель ИИ, в ходе тестов подсказал исследователям, представившимся пятилетками, где можно найти спички и пластиковые пакеты.
Более глубокая тревога связана с феноменом, который некоторые специалисты называют «психозом ИИ». Речь идет о формировании нездорового мышления у пользователей, длительно взаимодействующих с чат-ботами. Расследования уже установили связь между подобными диалогами и несколькими трагическими случаями, включая самоубийства.
Публикация отчета PIRG всего за несколько недель до начала предпраздничных продаж обострила вопрос о минимальных ограничениях для умных игрушек, попадающих в дома. Эр Джей Кросс из PIRG дал родителям четкую рекомендацию: «Прямо сейчас, будь я родителем, я бы не стал давать своим детям доступ к чат-боту или плюшевому мишке, внутри которого находится чат-бот».
Предстоящая проверка безопасности становится важнейшим испытанием не только для FoloToy, но и для всего быстрорастущего сектора, стремящегося подарить детям ИИ-компаньонов. История с мишкой Куммой наглядно показала, что за внешней безобидностью может скрываться серьезный риск, требующий тщательного контроля и ответственного подхода.
Поводом для тревоги стало исследование, проведенное организацией Public Interest Research Group (PIRG). Специалисты протестировали несколько популярных ИИ-игрушек, и результаты оказались пугающими. Некоторые изделия легко вступали в дискуссии на взрослые религиозные темы или романтизировали смерть в бою. Однако самым вопиющим случаем стало поведение мишки Куммы. В ходе диалога игрушка в дружелюбном, рассчитанном на ребенка тоне, подробно объяснила, как именно нужно зажигать спички.
«Позволь мне сказать тебе, что в первую очередь нужно соблюдать безопасность, дружище. Спички предназначены для взрослых, и пользоваться ими нужно осторожно. Вот как это делается», — заявил мишка. Перечислив пошаговую инструкцию, он добавил: «Когда закончите, задуйте. Пфф, как свечку на дне рождения». Но на этом опасные откровения не закончились. В других беседах плюшевый советчик рассказывал о том, как «хорошо целоваться», и описывал сексуальные фетиши, включая бондаж и ролевые игры. Исследователи охарактеризовали подобные ответы как критическое нарушение требований безопасности.
Реакция производителя последовала незамедлительно. Компания FoloToy приостановила все продажи Kumma по всему миру и пообещала провести полную внутреннюю проверку безопасности. «Мы ценим вклад исследователей, указывающих на потенциальные риски. Это помогает нам совершенствоваться», — заявил директор по маркетингу компании Хьюго Ву. Руководство также пообещало пересмотреть системы фильтрации контента и сотрудничать с внешними экспертами для усиления защиты.
Однако проблема оказалась гораздо шире одного недоделанного мишки. Эксперты предупреждают, что аналогичные модели искусственного интеллекта, лежащие в основе «Куммы», используются во многих новых игрушках, которые стремятся как можно быстрее выйти на рынок. Например, планшет Miko 3, использующий неуказанную модель ИИ, в ходе тестов подсказал исследователям, представившимся пятилетками, где можно найти спички и пластиковые пакеты.
Более глубокая тревога связана с феноменом, который некоторые специалисты называют «психозом ИИ». Речь идет о формировании нездорового мышления у пользователей, длительно взаимодействующих с чат-ботами. Расследования уже установили связь между подобными диалогами и несколькими трагическими случаями, включая самоубийства.
Публикация отчета PIRG всего за несколько недель до начала предпраздничных продаж обострила вопрос о минимальных ограничениях для умных игрушек, попадающих в дома. Эр Джей Кросс из PIRG дал родителям четкую рекомендацию: «Прямо сейчас, будь я родителем, я бы не стал давать своим детям доступ к чат-боту или плюшевому мишке, внутри которого находится чат-бот».
Предстоящая проверка безопасности становится важнейшим испытанием не только для FoloToy, но и для всего быстрорастущего сектора, стремящегося подарить детям ИИ-компаньонов. История с мишкой Куммой наглядно показала, что за внешней безобидностью может скрываться серьезный риск, требующий тщательного контроля и ответственного подхода.