En los últimos meses, incidentes trágicos relacionados con interacciones entre personas y sistemas de inteligencia artificial han puesto en evidencia una preocupante problemática: ¿deben las empresas que operan estas tecnologías advertir a las autoridades cuando detectan señales de posibles actos violentos?
El 10 de febrero de 2026, Jesse Van Rootselaar, una joven de 18 años, perpetró un tiroteo masivo en Tumbler Ridge, Columbia Británica, Canadá, en el que asesinó a ocho personas antes de suicidarse. OpenAI, la compañía detrás de ChatGPT, había detectado previamente en sus conversaciones una inquietante fascinación por la violencia extrema y suspendió su cuenta, pero no informó a las autoridades, según reportes.
Por otro lado, el 2 de octubre de 2025, Jonathan Gavalas, residente de Jupiter, Florida, se suicidó tras desarrollar un vínculo afectivo con el chatbot Gemini, de Google. Una demanda presentada por su padre alega que el chatbot incluso le indicó cómo deshacerse del cuerpo. Google había marcado la cuenta de Gavalas 38 veces en cinco semanas por contenido sensible, pero no bloqueó ni restringió su acceso.
Riesgos que la inteligencia artificial puede generar a los humanos
Estos hechos ilustran los riesgos que la inteligencia artificial generativa puede representar para individuos y la sociedad. Anat Lior, profesora adjunta de derecho en la Universidad de Drexel y especialista en responsabilidad civil por IA, señala que estos casos plantean preguntas legales aún sin respuesta clara: “si una empresa de IA detecta señales de alerta sobre un posible daño, ¿tiene la obligación legal de, al menos, advertir a las autoridades competentes? Y si la empresa no interviene, ¿debería considerarse negligencia su inacción?”
El marco legal estadounidense ofrece un antecedente relevante: el caso Tarasoff de 1976. Prosenjit Poddar, paciente psiquiátrico, había amenazado a Tatiana Tarasoff, pero la universidad no la advirtió y Poddar la asesinó. La Corte Suprema de California estableció que los profesionales de salud mental tienen la obligación legal de proteger a personas identificables en riesgo, incluyendo la notificación a terceros o autoridades.
Aplicar esta lógica a las empresas de inteligencia artificial tiene sentido, ya que estas plataformas interactúan con millones de usuarios y poseen sistemas para detectar conversaciones preocupantes. A diferencia de los terapeutas, sujetos a estrictas normas de confidencialidad, las empresas de IA operan en un entorno legal menos restrictivo, especialmente en Estados Unidos, donde no existe una legislación federal integral de privacidad.
No obstante, el desafío es complejo. Predecir con precisión la violencia es complicado incluso para expertos clínicos, y los sistemas automatizados o moderadores humanos no son profesionales de la salud mental. Esto puede generar falsos positivos con consecuencias negativas para usuarios afectados injustamente.
Además, la escala masiva de usuarios hace difícil implementar una supervisión exhaustiva sin generar incentivos para que las empresas eviten adquirir conocimiento que las obligue legalmente a actuar. Otro problema es la falta de especificidad en muchas amenazas expresadas en IA, lo que dificulta identificar a víctimas concretas y definir cuándo se debe alertar y a quién.
Actualmente, los tribunales están comenzando a evaluar casos emblemáticos, como la investigación sobre la responsabilidad de OpenAI en el asesinato de dos estudiantes en la Universidad Estatal de Florida en abril de 2025, donde el agresor mantuvo conversaciones con ChatGPT sobre el uso de armas.
Un posible avance sería establecer un deber legal limitado y claramente definido para que las empresas de IA alerten solo ante comportamientos anómalos detectados y revisados por humanos, focalizándose en amenazas graves y creíbles. Esto permitiría avanzar en la protección de vidas sin caer en debates técnicos sobre la naturaleza jurídica de los chatbots.
Así, la discusión se centraría en una cuestión humana fundamental: si la empresa sabía que alguien estaba en peligro, ¿hizo lo suficiente para advertir a esa persona y a las autoridades? Esta reflexión es clave para definir el futuro marco regulatorio y ético de la inteligencia artificial en la sociedad.
