Специалисты факультета "Информационные технологии" МГППУ разработали алгоритмы проверки ответов ИИ-ассистентов на "галлюцинации"

Генерация правдоподобной, но неверной информации, называемой «галлюцинацией», пока является проблемой, сопровождающей практическое использование интеллектуальных ассистентов. В частности, хорошо известно, что по соответствующим запросам могут быть обоснованы утверждения, взаимно отрицающие друг друга.

Специалистами факультета "Информационные технологии" МГППУ разработаны новые математические и программные средства, позволяющие проверять корректность содержания ответов интеллектуальных ассистентов («алгоритм маятника») и генерировать запросы по заданной аннотации ответа, автоматизируя работу промпт-инженера.

Разработанные эволюционные алгоритмы включают как компонент квазигенетический алгоритм с операциями псевдокроссовера и псевдомутации, с последующим анализом ответов интеллектуального ассистента методами многомерного статистического анализа. Поиск приемлемого результата, в котором активно задействован сам интеллектуальный ассистент, представляет собой сходящийся к заданному решению итерационный процесс. Применяемый подход проиллюстрирован примерами использования для решения психологических задач.

Полученные результаты представляют интерес для программистов и математиков, работающих с большими языковыми моделями.  

Публикация по теме: Куравский, Л.С., Одинцов, Д.А., Михайловский, М.А. (2025). Эволюционные алгоритмы подбора запросов и проверки корректности ответов интеллектуальных ассистентов. Моделирование и анализ данных, №4(2025).