FT: ИИ-модели ошибаются в 99% случаев при сложных финансовых расчетах

Технологическая компания Saturn проанализировала, как наиболее распространенные модели искусственного интеллекта (ChatGPT, Claude, Copilot, Grok, Gemini и другие) справляются с решением финансовых задач. В ответах на усредненные вопросы они ошибались в 57% случаев, на более сложные — в 99%. Результаты исследования приводит газета Financial Times .

Исследователи тестировали ИИ-модели на списке из более чем 100 вопросов, связанных с финансами. Вопросы могли повторяться до пяти раз. Специалисты отмечают, что нейросети ошибались в вычислениях, игнорировали, например, предстоящие изменения в налоговом законодательстве или выдумывали нормы. Лучше всего чат-боты справились с составлением бюджета.

«Миллионы людей доверяют моделям искусственного интеллекта в вопросах финансов, но они получают неправильные ответы, из-за которых могут потерять свои деньги»,— считает исполнительный директор Saturn Амаль Джоли. Специалисты отмечают, что лучшей по результатам исследования оказалась модель Claude Opus 5 в режиме «рассуждений».

ИИ-модели становятся ненадежными в финансовых расчетах, если обучающие данные неполны или плохо подготовлены, что значительно увеличивает вероятность ошибок. В таких случаях системы могут «галлюцинировать», то есть придумывать информацию при отсутствии нужных данных для финансового анализа. Подобные ошибки в финансовой сфере могут привести к значительным денежным потерям и даже банкротствам.

Нейросети и ИИ-системы в целом являются «хрупкими» и могут давать сбои при работе за пределами своей детерминированной области, что несет разрушительные последствия для финансовой сферы. Ошибки особенно недопустимы в моделях для риск-менеджмента, скоринга, антифрода и процедур «знай своего клиента» (KYC), поскольку они критически зависят от полноты и актуальности клиентских данных.