OpenAI объяснили, почему ИИ продолжают выдумывать ответы

Компания признала, что решить проблему с «галлюционированием» не удалось, хотя в ChatGPT-5 весь упор был сделан на нее.

Причина — система оценки. Чем больше правильных ответов даст ИИ-модель, тем больше баллов она получит.

А если модель признается, что не знает ответ или не разбирается в вопросе, то потеряет их.

Логика такая: лучше угадать, чем не сказать ничего, даже если шанс дать правильный ответ мал. Именно отсюда появляются красивые цифры в отчетах.

OpenAI предложили пересмотреть систему оценки:

• Штрафовать за ошибки сильнее, чем за «не знаю»;
• Давать ИИ баллы за признание в том, что ответа нет;
• Обновить метрики, которые поощряют угадывание.

Интересно, что галюны чаще ловят крупные модели. Маленькие ошибаются реже, потому что их база знаний ограничена.

➡️ Ранее разобрали, почему ИИ часто ссылаются на страницу 404.