La demanda es una de las primeras en EU contra una empresa de IA por presuntamente no proteger a los niños de daños psicológicos.

Google y la startup de inteligencia artificial Character.AI deben enfrentar una demanda de una mujer de Florida que dijo que los chatbots de Character.AI causaron el suicidio de su hijo de 14 años, dictaminó un juez el miércoles.

La demanda es una de las primeras en Estados Unidos contra una empresa de inteligencia artificial por presuntamente no proteger a los niños de daños psicológicos. Alega que el adolescente se suicidó después de obsesionarse con un chatbot impulsado por IA.

Un portavoz de Character.AI dijo que la compañía continuará luchando contra el caso y emplea características de seguridad en su plataforma para proteger a los menores, incluidas medidas para evitar “conversaciones sobre autolesiones”.

El portavoz de Google, José Castañeda, dijo que la compañía está en total desacuerdo con la decisión. Castaneda también dijo que Google y Character.AI están “completamente separados” y que Google “no creó, diseñó ni administró la aplicación de Character.AI ni ningún componente de la misma”.

El abogado de García, Meetali Jain, dijo que la decisión “histórica” “sienta un nuevo precedente para la responsabilidad legal en todo el ecosistema tecnológico y de IA”.

Character.AI fue fundada por dos ex ingenieros de Google a quienes Google volvió a contratar más tarde como parte de un acuerdo que le otorgaba una licencia para la tecnología de la startup. García argumentó que Google fue uno de los creadores de la tecnología.

Google y Character.AI deben enfrentar demanda presentada por una madre por el suicidio de su hijo

García demandó a ambas empresas en octubre tras la muerte de su hijo, Sewell Setzer, en febrero de 2024.

La demanda dice que Character.AI programó sus chatbots para que se representaran a sí mismos como “una persona real, un psicoterapeuta con licencia y un amante adulto, lo que finalmente resultó en el deseo de Sewell de ya no vivir fuera” de su mundo.

Según la denuncia, Setzer se quitó la vida momentos después de decirle a un chatbot de Character.AI que imitaba al personaje de “Game of Thrones”, Daenerys Targaryen, que “volvería a casa ahora mismo”.

Character.AI y Google pidieron al tribunal que desestimara la demanda por múltiples motivos, incluido que la producción de los chatbots era libertad de expresión protegida por la Constitución.

Conway dijo el miércoles que Character.AI y Google “no logran articular por qué las palabras unidas por un LLM (modelo de lenguaje grande) son habla”.

El juez también rechazó la solicitud de Google de determinar que no podía ser responsable de ayudar a la supuesta mala conducta de Character.AI.

Con información de Reuters.