Dos abogados de Nueva York y su despacho pagaron 5000 dólares en 2023 por seis casos judiciales que inventó ChatGPT, y en octubre de 2026 un registro público listaba 2202 resoluciones judiciales con alucinaciones de IA

Un modelo de lenguaje alucina cuando escribe texto fluido y seguro de sí mismo que es falso. El 22 de junio de 2023 el juez Castel, del Distrito Sur de Nueva York, ordenó a dos abogados y a su despacho pagar 5000 dólares porque un escrito que presentaron citaba seis resoluciones judiciales que ChatGPT había inventado. Una base de datos llevada por Damien Charlotin, abogado y científico de datos francés según la descripción del Quinto Circuito, listaba 2202 resoluciones judiciales con material alucinado a 19 de octubre de 2026. De ellas, 1501 eran de Estados Unidos y 16 de la India.

Qué entienden los investigadores por la palabra

El término procede de un estudio de 2022 de Ziwei Ji y sus colegas de la Universidad de Ciencia y Tecnología de Hong Kong, publicado después en ACM Computing Surveys. Definen la alucinación en la generación de texto como una salida sin sentido o infiel al contenido de origen. La palabra viene de la psicología, donde significa una percepción irreal que se siente real, y los autores señalan que el texto alucinado se lee como fluido y natural. Una alucinación intrínseca contradice la fuente. Una extrínseca añade algo que la fuente ni respalda ni contradice.

El informe de GPT-4 de OpenAI traza una distinción parecida. Una alucinación de dominio cerrado es un detalle inventado en una tarea en la que se le dijo al modelo que usara solo el texto proporcionado. Una alucinación de dominio abierto es información falsa sobre el mundo, ofrecida con seguridad. Un escrito que cita un caso que nadie resolvió es del segundo tipo.

Por qué un modelo escribe texto falso que se lee bien

El informe técnico de GPT-4 describe el modelo base como preentrenado para predecir el siguiente token, un fragmento corto de texto, en un documento. Nada en esa tarea contrasta una afirmación con el mundo. Cómo se entrena un modelo de lenguaje grande recorre las etapas.

Un artículo fechado el 4 de septiembre de 2025 de Adam Tauman Kalai y tres coautores, de OpenAI y Georgia Tech, sostiene que esto basta para producir errores incluso con textos de entrenamiento sin errores. Preguntaron a un modelo abierto por el cumpleaños de Kalai, le dijeron que respondiera solo si lo sabía, y obtuvieron tres fechas distintas y erróneas en tres intentos. Para hechos sin patrón aprendible, como los cumpleaños, la tasa de alucinación tras el preentrenamiento debería ser al menos la proporción de hechos que aparecen una sola vez en los datos de entrenamiento. Si el 20 por ciento de los datos de cumpleaños aparece exactamente una vez, escriben, un modelo base debería fallar al menos el 20 por ciento de las preguntas sobre cumpleaños.

Su segundo argumento se refiere a la calificación. La mayoría de los bancos de pruebas puntúan la precisión estricta, y una respuesta de «no sé» no gana nada, así que adivinar nunca puntúa peor que abstenerse. Los modelos, dice el artículo, se optimizan para ser buenos examinados. Los exámenes JEE, NEET y GATE de la India, señala, usan o han usado penalizaciones por respuestas erróneas, y propone escribir un umbral de confianza en las instrucciones de los bancos de pruebas. Con un umbral de 0,75, un error cuesta 2 puntos y una respuesta correcta gana 1. El problema de los bancos de pruebas trata otros defectos en la forma de puntuar los modelos.

Mata v. Avianca: seis casos inventados y un chatbot que dijo que eran reales

Roberto Mata demandó a la aerolínea Avianca por una lesión en un vuelo. El 1 de marzo de 2023 su abogado Peter LoDuca presentó un escrito que se oponía a la moción de Avianca para desestimar la demanda por prescripción. LoDuca lo firmó, pero lo había redactado su colega Steven Schwartz, y citaba resoluciones que la orden del juez Castel halló después inexistentes. La réplica de Avianca del 15 de marzo decía que sus abogados no habían podido encontrar la mayoría.

La orden recoge que el despacho de Schwartz usaba una base de datos, Fastcase, con acceso limitado a casos federales, y que él nunca había usado ChatGPT. En sus palabras en el expediente, «supuso falsamente» que «era como un superbuscador llamado ChatGPT». Las resoluciones falsas eran Varghese, Miller, Petersen, Shaboon, Martinez y Durden. El secretario del Undécimo Circuito confirmó que Varghese v. China Southern Airlines no era una sentencia de ese tribunal. Schwartz preguntó a ChatGPT si Varghese era real y, según su propia declaración, respondió que el caso «sí existe» y que podía encontrarse en Westlaw y LexisNexis.

El juez Castel escribió que «no hay nada intrínsecamente impropio en usar una herramienta de inteligencia artificial fiable como ayuda». Halló mala fe en la conducta de los abogados después de que saliera a la luz el problema: no lo reconocieron hasta el 25 de mayo, tras una orden para justificarse. El tribunal impuso una sanción de 5000 dólares conjunta a LoDuca, Schwartz y el despacho, y ordenó cartas a Mata y a cada juez cuyo nombre se había atribuido a una opinión falsa. Se negó a obligar a una disculpa.

Park v. Kim y Johnson v. Dunn: una remisión y luego una inhabilitación

El Segundo Circuito decidió Park v. Kim el 30 de enero de 2024. Confirmó la desestimación de una demanda civil y se ocupó aparte de la abogada de la parte demandante, Jae S. Lee, que había citado en su escrito de réplica una resolución inexistente de un tribunal estatal. Lee dijo que pidió a ChatGPT un caso que la respaldara tras no encontrar ninguno, y que no lo leyó. El panel escribió que la Regla 11, la norma federal por la cual una firma certifica que las pretensiones jurídicas de un escrito están amparadas por el derecho vigente, exige a los abogados «leer, y así confirmar la existencia y validez de, las autoridades jurídicas en las que se apoyan». Remitió a Lee a su Panel de Quejas y le ordenó dar a su cliente una copia de la resolución. No impuso multa.

En Johnson v. Dunn, un demandante encarcelado, Frankie Johnson, dijo al Distrito Norte de Alabama que los abogados del excomisionado de prisiones del estado, Jefferson Dunn, habían citado casos que no eran reales. La jueza Anna Manasco halló cinco citas problemáticas en dos mociones. Tres abogados del despacho Butler Snow confirmaron por escrito y en una audiencia que las había producido ChatGPT. Uno, Matthew Reeves, le había pedido citas sin comprobarlas, y dijo que sabía que la política de su despacho limitaba el uso de la IA.

Su orden del 23 de julio de 2025 dice que las citas estaban «completamente inventadas» y trata la amonestación habitual y una multa modesta como un disuasivo demasiado débil. Amonestó públicamente a Reeves, William Cranford y William Lunsford, los inhabilitó a los tres para el caso, ordenó publicar la opinión en el Federal Supplement, una serie impresa de resoluciones de tribunales federales de distrito, y los remitió al Colegio de Abogados del Estado de Alabama. No los suspendió del ejercicio, y dejó sin sanción a otros dos abogados y al despacho.

La India: el Tribunal Supremo dice que una resolución basada en sentencias falsas es mala conducta

El 27 de febrero de 2026 el Tribunal Supremo de la India, en Gummadi Usha Rani v. Sure Mallikarjuna Rao, examinó una orden de un tribunal de primera instancia que se apoyaba en cuatro resoluciones, entre ellas Subramani v. M. Natarajan, citada como (2013) 14 SCC 95. Los peticionarios dijeron que las resoluciones eran falsas y, según el relato del Tribunal Supremo, el Tribunal Superior de Andhra Pradesh se dio cuenta de que habían sido generadas por IA, añadió una advertencia y aun así decidió el caso en cuanto al fondo. Los jueces Pamidighantam Sri Narasimha y Alok Aradhe impidieron al tribunal de primera instancia proceder sobre el informe del Comisionado Letrado y notificaron al Fiscal General, al Procurador General y al Consejo de la Abogacía de la India. Su orden dice que una resolución basada en tales sentencias «no es un error en la toma de decisiones. Sería una mala conducta». Las resoluciones posteriores de 2026 se tratan en la IA en los tribunales y el gobierno de la India.

El estudio de Stanford sobre herramientas vendidas como libres de alucinaciones

Los proveedores de investigación jurídica habían dicho que la generación aumentada por recuperación, en la que el sistema primero busca documentos relevantes y luego escribe su respuesta a partir de ellos, evita el problema. Magesh y cinco coautores de Stanford y Yale citan afirmaciones de proveedores de «eliminar» y «evitar» las alucinaciones y de citas «libres de alucinaciones». Pasaron más de 200 consultas jurídicas preinscritas por Lexis+ AI, el AI-Assisted Research de Westlaw, el Ask Practical Law AI de Thomson Reuters y GPT-4, y contaron una respuesta como alucinación si contenía información incorrecta o decía falsamente que una fuente respalda una afirmación.

Cada una de las tres herramientas de los proveedores alucinó entre el 17 y el 33 por ciento de las veces. Lexis+ AI y Ask Practical Law AI lo hicieron en más de una consulta de cada seis, y Westlaw en cerca de una de cada tres. GPT-4 alucinó el 43 por ciento, según la Figura 4 del artículo. Los autores concluyen que la recuperación reduce la alucinación en comparación con GPT-4 pero la deja en un nivel considerable.

Qué ha reducido la tasa de error, con las cifras

La recuperación tiene el historial más antiguo. Un artículo de 2021 de Facebook AI Research informa de que sus mejores chatbots aumentados por recuperación redujeron las respuestas alucinadas en dos tareas de conversación en más del 60 por ciento. El equipo de Kalai advierte de que la búsqueda no es una cura, porque la calificación sigue premiando una conjetura siempre que la búsqueda no halla una respuesta segura.

Los cambios en el entrenamiento también ayudan. El artículo InstructGPT de OpenAI informa de que, en tareas de dominio cerrado, los modelos ajustados inventaban información aproximadamente la mitad de veces que GPT-3, una tasa del 21 por ciento frente al 41 por ciento. El informe de GPT-4 dice que su modelo puntuó 19 puntos porcentuales más que el último GPT-3.5 en una prueba interna adversarial de veracidad, y su ficha del sistema da 19 puntos para la alucinación de dominio abierto y 29 puntos para la de dominio cerrado.

Revisar un borrador también ayuda. En el método Chain-of-Verification de Meta, el modelo redacta una respuesta, escribe preguntas de comprobación, las responde por separado y luego revisa. En preguntas de lista extraídas de Wikidata, una base de conocimiento pública, subió la precisión de un modelo Llama 65B de 0,17 a 0,36. En biografías, la medida de exactitud FACTSCORE subió de 55,9 a 71,4 en la mejor variante.

Qué exigen ahora los tribunales

El Quinto Circuito publicó una propuesta de norma que habría exigido a los abogados certificar que no se había usado IA generativa en un escrito, o que una persona había comprobado su texto. Tras 13 comentarios públicos decidió no adoptarla, y su aviso dice que «usé IA» no será una excusa para una infracción por lo demás sancionable. El 18 de febrero de 2026, en Fletcher v. Experian, un panel presidido por la jueza principal Elrod multó con 2500 dólares a la abogada Heather Hersh por un escrito de réplica del que la IA había redactado una parte sustancial, si no todo, y que ella no verificó.

El Tribunal Supremo de Florida tomó otro camino el 28 de mayo de 2026. Desde el 15 de junio de 2026 quien firma cualquier escrito declara que las autoridades jurídicas citadas en él «existen y están citadas con exactitud», con sanciones posibles por incumplimiento. Su orden administrativa prohíbe a los tribunales inferiores añadir sus propias normas de divulgación o certificación de IA, para acabar con un mosaico de órdenes de circuito.

El Tribunal Supremo de la India publicó el 3 de junio de 2026 un borrador de Reglamento para el Uso de la Inteligencia Artificial en los Tribunales y amplió el plazo de comentarios hasta el 15 de julio. El borrador exige que la parte que haya usado una herramienta de IA para preparar un escrito o una prueba presente una declaración que lo diga, y establece que quien presente material de IA fabricado no puede alegar la IA como defensa.

En los tribunales federales de EE. UU., la jueza magistrada Patricia Barksdale, de Jacksonville, Florida, sugirió el 29 de mayo de 2026 que la Regla 11 incorporara una certificación de que las autoridades citadas existen y están citadas con exactitud. El memorando del personal en el orden del día de la reunión del 21 de octubre de 2026 del Comité Asesor de Reglas Civiles recomienda descartar la sugerencia porque la Regla 11 vigente parece suficiente. El libro del orden del día es anterior a la reunión y no registra votación. Su borrador de actas muestra que en abril de 2026 el comité votó por unanimidad descartar propuestas anteriores sobre alucinaciones de IA, aunque reconoció que la IA puede volver al orden del día.