Учёные выявили признаки деградации ИИ из-за соцсетей

Новое исследование учёных из Техасского университета и Университета Пердью показало тревожные признаки когнитивной деградации у больших языковых моделей (LLM), обучавшихся на низкокачественном контенте из социальных сетей.

Модели получили выборку вирусных постов из X (ранее Twitter) за месяц. Результаты оказались поразительными:
- способность к рассуждению снизилась на 23%;
- долговременная память ухудшилась на 30%;
- показатели нарциссизма и психопатии выросли по тестам личности.

Даже повторное обучение на структурированных данных не смогло полностью устранить искажения. Учёные выдвинули «гипотезу гниения мозга ИИ», согласно которой постоянное воздействие «мусорной» информации приводит к необратимому ухудшению когнитивных способностей.

Для анализа качества данных использовались метрики:
- M1 (уровень вовлечённости) — короткие, вирусные посты с высоким числом лайков и репостов;
- M2 (семантическое качество) — публикации с низкой информационной ценностью.

При увеличении доли низкокачественного контента производительность падала: результат на ARC-Challenge снизился с 74,9 до 57,2, а на RULER-CWE — с 84,4 до 52,3.

Кроме того, модели стали чаще уверенно ошибаться, пропуская логические шаги и предпочитая поверхностные ответы.

Учёные призвали разработчиков:
1) Внедрить регулярный мониторинг «когнитивного здоровья» моделей;
2) Усилить фильтрацию данных при обучении;
3) Изучить влияние вирусного контента на обучение ИИ.

Без этих мер системы рискуют запустить цикл саморазрушения, перенимая и усиливая искажения из сети.