Попробуйте задать ChatGPT один и тот же вопрос пять раз, но разными словами. Первые ответы будут похожи. Пятый окажется почти копией первого. Это не случайность, а закономерность, которую выявили учёные.
Исследователи из Дании и США протестировали 27 чат-ботов и собрали 70 миллионов их ответов. Вывод простой: чем крупнее модель, тем меньше разных мыслей она выдаёт.
Что именно проверяли
Взяли четыре семейства моделей: Llama, Gemma, Qwen и GPT от OpenAI. От небольших, где около миллиарда внутренних настроек, до огромных, где их больше 70 миллиардов. Каждой модели задавали вопросы по 155 темам. Среди них были и широкие понятия вроде демократии и свободы слова, и история разных стран, включая Россию.
В итоге получили 1,7 миллиона ответов. Их разбили на отдельные факты. Например, фразы «демократия это свободные выборы» и «в демократии проводят выборы» посчитали одним фактом, а не двумя.
Потом сравнили, сколько разных фактов выдают чат-боты и сколько первые 40 ссылок в Google по той же теме.
Что выяснилось
Google оказался впереди. Даже лучшая модель, GPT-5, отстала от него по разнообразию как минимум на 18,7 процента. При этом учёные сравнивали осторожно, так что реальная разница может быть больше.
Есть и хорошая новость. GPT-5 в пять раз разнообразнее старой GPT-4o. То есть новые модели учатся, но до поиска пока не дотягивают.
Самое странное открытие касается размера. Маленькие модели оказались разнообразнее больших. Чем больше параметров, тем однообразнее ответы. Учёные предполагают, что крупные модели слишком хорошо запоминают обучающие данные и начинают повторяться.
Откуда чат-боты берут знания о России
Отдельный тест показал: в пяти из восьми стран ответы ИИ совпадали с англоязычной Википедией чаще, чем с источниками на местном языке.
Россия была в этом списке. То есть когда вы спрашиваете у ChatGPT о нашей истории или культуре, он часто опирается не на русские тексты, а на английские. И рассказать может не то, что важно здесь, а то, что важно там.
Почему это важно
Всё больше людей ищут информацию не в Google, а у чат-ботов. Если ответы однообразные, то и картина мира у миллионов людей становится одинаковой.
Учёные называют это коллапсом знаний. Звучит громко, но суть простая: инструмент, который должен расширять кругозор, может его сузить. И мы этого даже не заметим.
Что с этим делать
Для России вывод очевидный: нужны свои модели, обученные на русских текстах. Иначе про нас будут рассказывать чужие алгоритмы на чужом языке.
