ChatGPT Is a Brilliant Liar — So Why Are Companies Still Using It Without Oversight?
ChatGPT — это гениальный лжец. Тогда почему компании всё ещё используют его без контроля?
Признаем честно: ChatGPT звучит так, будто прочитал учебник, сдал экзамен на отлично и теперь уверенно ведёт занятие. Но есть нюанс — половина его фактов придумана на ходу. Я однажды попросил его пересказать популярный отчёт об ИИ и продуктивности — и получил безупречный, хорошо структурированный ответ… в котором не было ни одного реального факта. Выдуманные цифры, фальшивые цитаты, идеальная ложь.
И дело не только во мне: Deloitte однажды предоставил правительству 237-страничный отчёт, пронизанный галлюцинациями ИИ. Настоящая проблема не в том, что ИИ лжёт, а в том, что мы продолжаем считать его источником правды. Эти модели не знают фактов — они просто предсказывают правдоподобные ответы. Когда они ошибаются, нам не следует удивляться. Нам нужно злиться, что никто не потрудился всё проверить.
Проблема галлюцинаций никуда не исчезнет. Большие языковые модели — это статистические движки, а не базы знаний. Они созданы генерировать связный текст, а не находить истину. Ожидать от них достоверности без опоры на источники — всё равно что просить художника написать юридический документ: впечатляюще, но безответственно.
Я работал над этим отчётом. Команда слишком сильно полагалась на ИИ, не проверяя данные. Это был настоящий позор. Мы были одержимы скоростью и забыли про контроль качества. Теперь я обучаю компании относиться к ИИ как к младшему аналитику — полезному, но которого нельзя оставлять без присмотра.
Мы используем RAG, но это не волшебство. Нельзя просто вываливать всё хранилище данных в модель и ждать золота. Что вложишь — то и получишь, а ещё и галлюцинаций приплывёт.
Представьте, как ИИ приводит вымышленное судебное решение в отчёте по соблюдению норм. Одна галлюцинация может вызвать штрафы, иски, крах репутации. Речь идёт не о комфорте, а об ответственности.
Мой босс велел мне «использовать ИИ, чтобы сэкономить время» на квартальном брифинге. Я скопировал сводку от ChatGPT в презентацию. Оказалось, он процитировал CEO, которого не существует. Нам пришлось переотправлять всю презентацию. Теперь я «осторожнее». В переводе: я делаю всё сам.
Обучение команд запрашивать у ИИ источники — первый шаг. «Покажи ход мысли» — не только для студентов. Мы используем запросы вроде «Согласно [источнику]», что сокращает галлюцинации на 60% в наших тестах. Грамотность в ИИ — не опция, а основа.
Я действительно попросил источники. ChatGPT аккуратно перечислил три ссылки. Первая вела на мем с котом. Вторая — на несуществующий сайт. Третья? Статья в Википедии под названием «Как распознать ложь ИИ». Сообщение получено.
Вот именно. Поэтому мы теперь требуем, чтобы вывод ИИ проходил экспертизу перед любым официальным использованием. Если он не выдерживает проверки на прослеживаемость источников — выбраковывается на входе.