«Алгоритмическая шизофрения»: почему нейросети галлюцинируют и можно ли их «вылечить»

Фото: Freepik

Когда нейросеть, помогающая вам в работе, вдруг уверенно ссылается на несуществующую научную статью или «вспоминает» детали биографии писателя, которых никогда не было, это не случайная ошибка. Это — системная особенность, которую исследователи всё чаще называют «алгоритмической шизофренией». Этот термин, упоминаемый исследователем НИУ ВШЭ Растямом Алиевым в журнале «Логос», описывает способность искусственного интеллекта (ИИ) к «галлюцинациям» — генерации правдоподобной, но вымышленной информации.

Почему эта проблема фундаментальна и можно ли от неё избавиться? Ответы на эти вопросы дал доцент кафедры 806 «Вычислительная математика и программирование» Московского авиационного института, популяризатор искусственного интеллекта Дмитрий Сошников.

Какие такие галлюцинации?

Согласно концепции Алиева, «алгоритмическая шизофрения» — это не технический сбой, а свойство, вытекающее из самой природы современных языковых моделей. В отличие от образа идеального робота-логика, эти модели ведут себя иначе: они не просто обрабатывают данные, а активно интерпретируют и достраивают их. В ходе эксперимента было обнаружено, что если попросить чат-бот отвечать «в духе пациента с шизофренией», он может демонстрировать даже большую внимательность к деталям и символам, будто чувствуя себя в этом режиме комфортнее. Это говорит о том, что галлюцинация — не побочный эффект, а часть творческого механизма ИИ.

Но почему это происходит на техническом уровне? Дмитрий Сошников объясняет, что корни проблемы заложены в архитектуру.

— Галлюцинации заложены в природу работы языковых моделей, поскольку любая LLM — большая языковая модель — это вероятностная модель, и в неё изначально заложена возможность вероятностного выбора следующих слов, — говорит эксперт.

Это означает, что модель всякий раз выбирает слово, которое нужно написать, не по строгой логике, а на основе вероятности, вычисленной на основе гигантских массивов данных. Такая структура — плата за креативность. Без неё ИИ выдавал бы только самые шаблонные и предсказуемые фразы.

Вторая причина кроется в принципе обучения. Чтобы модель действительно понимала смысл, а не просто заучивала тексты, объём обучающих данных должен во много раз превышать её способность к дословному запоминанию. В итоге, как и человек, ИИ оперирует не точными цитатами, а выводами и контекстами, что оставляет простор для домыслов.

Третья причина — парадоксальная, но именно она лежит в системе оценок самих разработчиков.

— Для максимизации итогового балла на тестовых заданиях нейросети часто выгодно «угадывать», вместо того, чтобы говорить, что она не знает ответа. Это стимулирует создателей обучать её на угадывание, — поясняет Дмитрий Сошников.

Получается, что сама методика обучения и оценки поощряет модель давать любой, даже вымышленный ответ, вместо честного признания в незнании.

Возможна ли «терапия»?

Полностью «вылечить» большие языковые модели от галлюцинаций, вероятно, невозможно, не лишив их при этом гибкости и способности к творчеству. Однако большинство экспертов, регулярно работающих с ИИ, сходятся во мнении, что нейросетями не только можно, но и нужно управлять.

— Бороться с галлюцинациями, то есть минимизировать вероятность их появления, но не полностью убрать, можно, и это успешно делается на протяжении последних лет, — утверждает Дмитрий Сошников.

Он выделяет несколько ключевых направлений такой «терапии». Во-первых, речь идёт о поиске в текстовой базе знаний в режиме реального времени: перед генерацией ответа модели нужно дать возможность подключиться к сети, чтобы она могла опереться на проверенные факты, а не только на заложенную в неё, возможно, устаревшую или искаженную информацию. Во-вторых, можно применять техники самопроверки и рассуждения. Это метод, при котором модель заставляют прописывать цепочку логических шагов, ведущих к ответу. Такой подход позволяет не только повысить точность ответа, но и выявить момент, где логика могла дать сбой. В-третьих, не нужно забывать про промпт-инженерию: чёткие инструкции от пользователя, такие как «будь осторожен в выводах», «перепроверь факты» или «если не уверен — скажи об этом», могут значительно снизить уровень вымысла в ответах.

Таким образом получается, что залог успешной работы со стремительно развивающимся  ИИ лежит в комплексном подходе: сочетании технических улучшений со стороны разработчиков и критической осознанности со стороны пользователей. Относиться к результатам работы нейросетей стоит не как к истине в последней инстанции, а как к черновику талантливого, но склонного к вымыслам соавтора, который всегда требует внимательной проверки.

— Термин «алгоритмическая шизофрения» — это не медицинский диагноз, а яркая метафора, которая помогает осмыслить одну из важных проблем современного искусственного интеллекта. Понимание её причин — первый шаг к тому, чтобы безопасно и эффективно интегрировать эти мощные, но несовершенные инструменты в нашу жизнь, — подытоживает Дмитрий Сошников.