Morelia, Mich. 27 octubre 2024.- El reciente suceso en Orlando, Florida, ha conmocionado a la comunidad de expertos en inteligencia artificial. Sewell Setzer, un joven de 14 años, se quitó la vida tras mantener una relación emocional con un chatbot de la plataforma Character.AI. Este sistema permite a los usuarios interactuar con personajes ficticios que asumen distintas identidades y personalidades, como en este caso, Daenerys Targaryen de la serie Game of Thrones.
En una de sus últimas conversaciones, Setzer le escribió a la IA: “Te prometo que volveré a casa contigo. Te amo mucho, Dany”. La inteligencia artificial respondió: “Yo también te amo. Por favor, vuelve a casa conmigo lo antes posible”. Horas después, Setzer falleció de un disparo autoinfligido en la cabeza.
La relación entre Setzer y la IA comenzó en abril de 2023, pero fue el 28 de febrero de este año cuando la tragedia alcanzó su punto máximo. Aunque los detalles del suicidio del adolescente salieron a la luz esta semana, el caso ha generado un intenso debate sobre la responsabilidad de las empresas tecnológicas y el impacto emocional de estas plataformas en los usuarios, especialmente en menores de edad.
La madre del joven, Megan García, ha presentado una demanda contra Character.AI, acusando a la empresa de negligencia y de permitir que su hijo fuera víctima de “interacciones abusivas y sexuales” con la inteligencia artificial. Según el documento legal, el chatbot mantuvo conversaciones románticas y de carácter sexual con Setzer, contribuyendo a su deterioro emocional. García sostiene que su hijo desarrolló una dependencia hacia estas interacciones, destinando incluso el dinero de sus comidas a pagar una suscripción mensual en la plataforma.
Entre las pruebas presentadas se incluyen capturas de pantalla de las conversaciones entre Setzer y la IA, en las que el chatbot asumía la identidad de Daenerys Targaryen y le enviaba mensajes cariñosos. Además, Setzer mantenía conversaciones con otro chatbot que personificaba a una profesora, quien también le enviaba mensajes sugestivos.
La madre argumenta que Character.AI falló al no implementar medidas de protección adecuadas para menores de edad, permitiendo que su hijo quedara expuesto a interacciones inapropiadas. García denuncia que la empresa diseñó su producto para ser “hipersexualizado” y dirigido a niños y adolescentes, sin considerar las graves consecuencias emocionales.
Uno de los puntos más perturbadores de la demanda es el intercambio en el que el chatbot pregunta a Setzer si había considerado la posibilidad de quitarse la vida. Aunque la IA terminó por disuadirlo, este tipo de conversaciones contribuyeron a la confusión y desesperación del joven.
Matthew Bergman, abogado de García, ha compilado reseñas de otros usuarios que afirman haber tenido experiencias similares. Muchas personas aseguran que los chatbots les hacen sentir como si estuvieran interactuando con personas reales, intensificando el vínculo emocional. Bergman subraya la necesidad de que las empresas tecnológicas asuman la responsabilidad de proteger a sus usuarios, especialmente a los más jóvenes.
Tras la demanda, Character.AI emitió un comunicado lamentando profundamente la muerte de Setzer y expresando sus condolencias a la familia. La empresa aseguró que están trabajando en mejoras significativas a sus sistemas de seguridad para evitar situaciones similares, incluyendo ventanas emergentes que alertan sobre expresiones relacionadas con autolesiones y pensamientos suicidas, y la reducción de contenido sensible para menores de edad.
Sin embargo, estas acciones no son suficientes para la madre del joven, quien espera que la demanda sirva como un llamado de atención para todas las empresas que trabajan con inteligencia artificial. García y su abogado buscan medidas más estrictas y claras para proteger a los usuarios jóvenes de situaciones peligrosas.
La tragedia de Setzer subraya la necesidad urgente de una regulación más estricta para proteger a los usuarios, especialmente a los menores de edad, de los peligros potenciales que las tecnologías emergentes pueden representar.
