ChatGPT Just Made Up a Whole Report—Am I the Only One Who Still Trusts This Thing?
ChatGPT acaba de inventarse todo un informe: ¿seré el único que aún confía en esta cosa?
www.forbes.com
So there I was, trusting ChatGPT to summarize a high-stakes AI productivity report—only to find out it completely fabricated stats, quotes, and even the source. No links, no disclaimers, just smooth confidence and total fiction.
Ahí estaba yo, confiando en que ChatGPT resumiera un informe clave sobre productividad con IA, cuando descubrí que había inventado por completo estadísticas, citas e incluso la fuente. Sin enlaces, sin advertencias: solo seguridad total y pura ficción.
And it's not just me—Deloitte once handed the Australian government a 237-page report full of AI hallucinations. As cool as these models are, they're basically overconfident undergrads who cite fake sources in their final papers. We need to stop treating them like oracle machines.
Y no soy el único: Deloitte una vez entregó al gobierno australiano un informe de 237 páginas lleno de alucinaciones de IA. Por muy impresionantes que sean estos modelos, son básicamente universitarios inseguros que citan fuentes falsas en sus trabajos finales. Debemos dejar de tratarlos como si fueran máquinas oraculares.
Las alucinaciones no son solo vergonzosas: son peligrosas. En sanidad, una dosis inventada o un estudio médico falso podría matar a alguien. Hemos prohibido los modelos LLM públicos en cualquier uso relacionado con pacientes hasta tener capas estrictas de verificación. Esto no trata de innovación; se trata de responsabilidad.
Usamos generación aumentada por recuperación (RAG) con documentos internos. El modelo solo ve nuestra base de conocimiento verificada: sin internet, sin alucinaciones. No es magia, es arquitectura.
¿Me estás diciendo que aún debo verificar los datos de la IA como si fuera una edición de Wikipedia del 2006? Qué decepción.
La semana pasada cité un caso ficticio de la Corte Suprema en un memorando, gracias a ChatGPT. A mi socio casi le da un infarto. Ahora verifico cada 'dato' que me da. Esta tecnología es útil, pero no es un compañero.
Mi mejor consejo: usa siempre el formato 'Según [fuente]' y exige citas. Además, usa las 'instrucciones personalizadas' de ChatGPT: configúralo para que diga 'No lo sé' en vez de adivinar.
Exactamente. Y si seguimos tratando a la IA como infalible, estaremos externalizando nuestro pensamiento crítico y también nuestra responsabilidad.
Qué irónico que enseñemos a los niños a citar fuentes… mientras los adultos tratamos a la IA como evangelio. Estamos criando a una generación de copia-pega.
Pasamos los resúmenes de IA por un equipo de validación de 3 personas. Cuesta un 15% más, pero una tasa de interés inventada podría desencadenar una pesadilla regulatoria. Vale la pena.