Alucinaciones Algorítmicas en el Foro: La IA no exime del control humano

Prosecretaría de Políticas Digitales FCJyS-UNLP
4 feb
3 Min. de lectura

El avance de la Inteligencia Artificial Generativa (IAGen) ha dejado de ser una promesa de futuro para convertirse en una realidad con consecuencias procesales inmediatas. Un reciente fallo del Poder Judicial de Tucumán marca un hito en la provincia al sancionar el uso irresponsable de estas herramientas, recordándonos que la tecnología es un auxiliar, pero nunca un sustituto de la diligencia profesional.

1) Breve Resumen del Caso

En el marco de una demanda por daños y perjuicios contra Booking.com Argentina S.R.L., la parte demandada advirtió que seis de los precedentes jurisprudenciales citados por la actora en su escrito inicial eran inhallables en cualquier base de datos jurídica. Tras ser intimada a presentar las copias íntegras de dichos fallos, la letrada de la actora proporcionó enlaces que resultaron ser inexactos, erróneos o que, incluso, contenían en su URL la referencia explícita source=chatgpt.com. El tribunal comprobó que los fallos citados como "González c/ Booking", "Ortiz c/ Agencia de Viajes SRL", entre otros, no existían o correspondían a causas con objetos y carátulas totalmente distintos.

2) Juzgado o Tribunal Interviniente

La resolución fue dictada por el Dr. Santiago José Peral, titular del Juzgado Civil y Comercial Común de la X° Nominación (Oficina de Gestión Asociada Civil y Comercial N° 1) del Centro Judicial Capital, Poder Judicial de Tucumán, en febrero de 2026.

3) Decisión Tomada

El magistrado resolvió tener por incumplido el emplazamiento para acreditar la veracidad de la jurisprudencia y declaró la inexistencia de seis de los precedentes invocados. Ante esta conducta, calificada como temeraria y de mala fe (conforme a los arts. 24 y 25 del CPCCT), el tribunal decidió:

Imponer una multa personal a la letrada patrocinante de $620.000 (equivalente a una consulta escrita) a favor de la demandada.
Exhortar a la profesional a adecuar su actuación a los deberes de veracidad y lealtad.
Remitir las actuaciones al Tribunal de Ética y Disciplina del Colegio de Abogados de Tucumán para que evalúe la conducta en el ámbito de su competencia.
Imponer las costas de la incidencia de forma personal y exclusiva a la abogada.

4) Temática Novedosa en Relación a la Tecnología

El fallo aborda el fenómeno de las "alucinaciones" de la Inteligencia Artificial Generativa en la práctica jurídica. Define estas alucinaciones como contenidos generados por algoritmos que se presentan de forma coherente y verosímil, pero que son incorrectos o inexistentes.

Lo novedoso radica en la fijación de un estándar de responsabilidad: el tribunal sostiene que la IA es un "sistema de alto riesgo" que tensiona la trazabilidad y fidelidad de la información. Bajo los principios de la Acordada N° 729/2025 de la CSJT, se reafirma que la IA es una herramienta auxiliar y que la delegación irreflexiva de la labor intelectual en estos sistemas, sin un control humano posterior (fenómeno de "human-in-the-loop"), constituye una negligencia grave incompatible con el deber de probidad y lealtad procesal.

5) Tres Preguntas a Modo de Reflexión

1. ¿Es la "alucinación" de la IA una nueva forma de falsedad documental o debe tratarse simplemente como una falta de diligencia profesional?

2. Ante la creciente integración de la IA en los estudios jurídicos, ¿deberían los tribunales implementar protocolos de verificación automática de citas para prevenir el fraude procesal?

3. ¿Cómo equilibramos la eficiencia operativa que promete la tecnología con el deber ético de intervención personal y razonada que exige la ley a los abogados?

Boleetin fallo Booking

14:47