Soy Francisco Venegas Aros, y en innumerables ocasiones he advertido sobre el “Síndrome del Piloto Automático” en la adopción de Inteligencia Artificial. El no realizar una revisión humana de control sobre los resultados que nos entrega esta gran herramienta, es un error que muchos cometen hoy mismo.
La noticia que nos llega hoy desde la Región del Biobío no es solo una anécdota judicial; es la confirmación de una profecía anunciada. Un abogado ha sido multado por presentar una demanda plagada de jurisprudencia fantasma, inventada por una IA. Este caso marca un hito vergonzoso en la historia legal chilena y debe servir como un balde de agua fría para cualquier profesional que crea que ChatGPT (u otras IA), a la fecha, es un sustituto del criterio humano.
La Trampa de la “Caja Negra”
El incidente es claro: el Segundo Juzgado Civil de Concepción sancionó al abogado Franklin Bustos Díaz con una multa de 1 UTM por actuar contra la buena fe procesal. ¿El pecado? Presentar escritos con citas de fallos que nunca existieron, fabricados por una IA generativa.
Desde una perspectiva técnica, esto es lo que llamamos una “Alucinación de IA”. Los Modelos de Lenguaje (LLMs) no son bases de datos de conocimiento; son predictores probabilísticos de texto. Si le pides un fallo que apoye tu tesis, la IA lo “escribirá” para complacerte, aunque tenga que inventar el número de rol, la fecha y los ministros. El abogado argumentó en su defensa que “un colega del estudio redactó el escrito apoyándose en IA” y que su error fue “no revisar”. Este descargo es, en sí mismo, una confesión de negligencia profesional grave. En la era de la IA, la supervisión humana no es opcional, es la única barrera entre la eficiencia y el fraude.
La Erosión de la Confianza
No creas que esto solo les pasa a abogados “poco computines”. Le puede pasar a tu equipo de marketing inventando estadísticas para una campaña, a tus desarrolladores copiando código inseguro, o a tu departamento de RR.HH. redactando contratos con cláusulas ilegales sugeridas por una IA.
El daño reputacional para este estudio jurídico es irreparable. ¿Quién confiará su libertad o patrimonio a profesionales que delegan el análisis crítico a un algoritmo sin supervisión? Este caso demuestra que la IA sin gobernanza no es una ventaja competitiva; es un pasivo legal y reputacional de alto riesgo.
Cómo Usar IA sin Perder la Licencia de Abogado
La IA es una herramienta poderosa, pero debe manejarse con protocolos estrictos. Aquí mis recomendaciones para integrar IA en flujos de trabajo críticos:
- Verificación de Fuente Obligatoria: Regla de oro: “Si la IA lo dice, asume que es mentira hasta que encuentres la fuente primaria”. Nunca cites un dato, ley o cifra generado por IA sin tener el documento original en la mano.
- Política de Uso Aceptable de IA: Tu empresa debe tener una política clara que defina qué tareas se pueden delegar a la IA y cuáles requieren intervención humana obligatoria. La redacción final de documentos legales o técnicos debe ser siempre humana.
- Capacitación en “Prompt Engineering” y Limitaciones: Enseña a tu equipo no solo a pedir cosas a la IA, sino a entender sus limitaciones. Deben saber que los LLMs alucinan y que no tienen ética ni responsabilidad legal.
- Responsabilidad Indelegable: Establece claramente que el responsable final del trabajo es el humano que lo firma, no la herramienta que se usó. “La IA se equivocó” nunca será una defensa válida ante un juez o un cliente.
La Tecnología no Reemplaza la Ética
Este fallo judicial es un recordatorio de que la tecnología avanza más rápido que nuestra prudencia. La eficiencia no puede ir en detrimento de la veracidad.
Para implementar una estrategia de Gobernanza de IA que proteja a tu organización de errores catastróficos y asegure un uso ético y productivo de estas herramientas, contáctame.
Francisco Venegas A. CEO & Founder | CyberBaum SPA Experto en Ciberseguridad y Gobernanza TI
