Фундаментальная проблема не только в галлюцинациях LLM, но и в том, что компании, занимающиеся разработкой ИИ, совершенно не смогли объяснить пользователям, что на самом деле представляют собой эти инструменты и как они работают.
Они генерируют результаты на основе статистических закономерностей в своих обучающих данных. Они не «знают» факты и не «понимают» контекст, они предсказывают, какие слова должны следовать дальше, основываясь на закономерностях, которые они видели ранее. Именно поэтому у них такие уверенные галлюцинации.
Это фундаментальное ограничение делает ИИ опасным для медицинских консультаций, юридических консультаций, финансовых решений или любых важных ситуаций, где важна точность. Но компании, занимающиеся разработкой ИИ, НЕ обучают пользователей этому и НЕ предупреждают об этом, а рекламируют свои инструменты как «почти ИИ» и стремятся к росту, оставляя за собой след из дезинформации, лжи и необоснованного доверия.

via Бритни Мюллер