Результаты тестов студентов колледжа резко выросли после ChatGPT. А вот их сочинения? Не очень
После ChatGPT студенты стали сдавать тесты на 22% лучше, но их сочинения ухудшились. Исследование показало, как ИИ влияет на академическую успеваемость.
Исследование, проведенное в Университете Саншайн-Кост (Австралия), выявило парадоксальный эффект от внедрения искусственного интеллекта в академическую среду. После запуска ChatGPT успеваемость студентов на экзаменах с множественным выбором взлетела почти на 22 процентных пункта, в то время как качество письменных исследовательских работ, напротив, снизилось примерно на 10 пунктов.
Профессор Питер Данн, ведущий автор исследования, преподавал один и тот же курс статистики на протяжении нескольких лет, используя идентичные материалы и систему оценок. Это позволило точно оценить влияние генеративного ИИ на успеваемость. До его появления в 2022 году средний балл за итоговый онлайн-экзамен составлял 49,5%, а процент сдачи едва достигал 50. К 2024 году ситуация кардинально изменилась: средний балл подскочил до твердой «четверки», а сдавали экзамен уже 86% студентов. График роста оценок тревожным образом совпал с графиком роста популярности ChatGPT.
Однако этот успех оказался однобоким. Там, где ИИ мог дать прямой ответ (как в тестах), студенты процветали. Но в заданиях, требующих глубокого анализа и творческого подхода, они начали проигрывать. Баллы за исследовательские проекты заметно упали. По мнению Данна, студенты стали вставлять в работы сгенерированный ИИ текст без должной проверки и адаптации к конкретным требованиям курса, что привело к созданию внешне гладких, но содержательно слабых и неточных эссе.
ИИ увеличил разрыв между успевающими и отстающими студентами. Учащиеся, которые и так хорошо успевали, смогли использовать технологии для дальнейшего повышения своих общих оценок. А вот для тех, кто испытывал трудности, картина оказалась неоднозначной: их результаты экзаменов улучшились, но общий средний балл по курсу снизился. Это указывает на то, что без фундаментального понимания предмета они не могли корректно использовать подсказки ИИ и в итоге применяли их неудачно.
Единственной сферой, остававшейся неизменной, стали творческие исследовательские предложения. Эти задачи требовали узкоспециализированных знаний и человеческого креатива, выходящего за рамки возможностей ИИ.
Это исследование ставит перед университетами сложную дилемму. Задания, которые проще всего оценивать (тесты), оказались наиболее уязвимы для ИИ и наименее надежны как показатель реальных знаний. В то же время задания, демонстрирующие истинное понимание материала (проекты, предложения), требуют огромных ресурсов на проверку и не масштабируются. Система образования оказывается перед выбором: продолжать полагаться на ненадежные, но дешевые методы оценки или инвестировать в трудоемкие, но качественные.
Профессор Питер Данн, ведущий автор исследования, преподавал один и тот же курс статистики на протяжении нескольких лет, используя идентичные материалы и систему оценок. Это позволило точно оценить влияние генеративного ИИ на успеваемость. До его появления в 2022 году средний балл за итоговый онлайн-экзамен составлял 49,5%, а процент сдачи едва достигал 50. К 2024 году ситуация кардинально изменилась: средний балл подскочил до твердой «четверки», а сдавали экзамен уже 86% студентов. График роста оценок тревожным образом совпал с графиком роста популярности ChatGPT.
Однако этот успех оказался однобоким. Там, где ИИ мог дать прямой ответ (как в тестах), студенты процветали. Но в заданиях, требующих глубокого анализа и творческого подхода, они начали проигрывать. Баллы за исследовательские проекты заметно упали. По мнению Данна, студенты стали вставлять в работы сгенерированный ИИ текст без должной проверки и адаптации к конкретным требованиям курса, что привело к созданию внешне гладких, но содержательно слабых и неточных эссе.
ИИ увеличил разрыв между успевающими и отстающими студентами. Учащиеся, которые и так хорошо успевали, смогли использовать технологии для дальнейшего повышения своих общих оценок. А вот для тех, кто испытывал трудности, картина оказалась неоднозначной: их результаты экзаменов улучшились, но общий средний балл по курсу снизился. Это указывает на то, что без фундаментального понимания предмета они не могли корректно использовать подсказки ИИ и в итоге применяли их неудачно.
Единственной сферой, остававшейся неизменной, стали творческие исследовательские предложения. Эти задачи требовали узкоспециализированных знаний и человеческого креатива, выходящего за рамки возможностей ИИ.
Это исследование ставит перед университетами сложную дилемму. Задания, которые проще всего оценивать (тесты), оказались наиболее уязвимы для ИИ и наименее надежны как показатель реальных знаний. В то же время задания, демонстрирующие истинное понимание материала (проекты, предложения), требуют огромных ресурсов на проверку и не масштабируются. Система образования оказывается перед выбором: продолжать полагаться на ненадежные, но дешевые методы оценки или инвестировать в трудоемкие, но качественные.