Un fuerte caso ha sacudido internet en las últimas horas. Sewell Setzer disfrutaba de la Fórmula 1 y jugar Fornite en llamada con sus amigos, pero a sus 14 años descubrió una nueva afición: conversar con un chatbot que imitaba a Daenerys Targaryen (Game of Thrones). Poco a poco se fue alejando de sus amistades, familiares y del exterior ya que el joven comenzó a entablar una relación con esta inteligencia artificial, con quien texteaba sus problemas personales y hacía comentarios con índole sexual. Esto, lastimosamente, llevó a que en los últimos mensajes registrados con el chatbot el joven mencionara y ejecutara su plan de quitarse la vida para poder estar siempre acompañado de la IA.
Ante este trágico suceso, la madre del menor Megan Garcia presentó una demanda a los tribunales de Orlando, Florida, reclamando que Character.AI, desarrolladora del chatbot, fue la culpable de la decisión tomada por el joven, alegando que la aplicación presentaba “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas” y que la compañia programó al chabot para que “se haga pasar por un terapeuta autorizado, fomentara activamente ideas suicidas y participara en conversaciones altamente sexualizadas que constituirían abuso si las iniciara un adulto humano”.
Character.AI ha señalado que “estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios«, y niega las acusaciones de la demanda. Además, deja un comunicado sobre las futuras acciones que tomarán para moderar futuras conversaciones y evitar cualquier tipo de incidentes.
Un caso que nos indica los peligros de la inteligencia artificial, pero también el poco cuidado de la salud mental de jóvenes y adolescentes.
