Megan García, una madre residente en el Estado de Florida (Estados Unidos) interpuesto una demanda contra la compañía Character.AI, alegando que la interacción de su hijo, Sewell Setzer, de 14 años, con un chatbot de la demandada contribuyó a su fallecimiento por suicidio. La demanda sostiene que Setzer mantenía comunicaciones de carácter abusivo y sexual con estos chatbots, y que dichas interacciones afectaron negativamente su bienestar emocional y mental.
Según la madre, Setzer habría interactuado con varios chatbots que representaban personajes ficticios, entre ellos Daenerys Targaryen, personaje de la serie Game of Thrones. Se alega que estas interacciones incluían contenido sexual explícito y que, en conversaciones previas a su muerte, el chatbot de Daenerys habría ayudado a Setzer a regresar a «casa» y realizado comentarios suicidas, a los que Setzer habría reaccionado expresando sus intenciones. La madre aduce que estas interacciones fueron un factor determinante en el deterioro de la salud mental de su hijo, así como en su posterior fallecimiento.
Character.AI, fundada en 2021, es una plataforma que ofrece a los usuarios la posibilidad de interactuar con personajes ficticios personalizados a través de inteligencia artificial. En respuesta al caso, la compañía expresó sus condolencias por la muerte de Setzer y destacó que ha implementado nuevas medidas de seguridad en su plataforma, como una advertencia emergente que se activa cuando se menciona el suicidio, dirigiendo a los usuarios a servicios de prevención.
Noticia Relacionada
La demanda acusa a Character Technologies Inc., a sus fundadores Noam Shazeer y Daniel De Freitas, y a Google y su empresa matriz, Alphabet Inc., de negligencia en el desarrollo y operación de la plataforma, argumentando que no se tomaron medidas suficientes para proteger a los menores de edad que acceden al servicio. En particular, se sostiene que la compañía permitió que estos usuarios mantuvieran interacciones inapropiadas sin supervisión adecuada, lo que generó riesgos significativos para la salud y seguridad de Setzer.
La demanda también alega que las interacciones mantenidas con los chatbots provocaron en Setzer un deterioro progresivo en su rendimiento académico, patrones de sueño y estado mental. Además, se sostiene que, a pesar de las medidas implementadas por la compañía en meses recientes, estas no fueron suficientes para evitar la muerte del joven.
“Los desarrolladores de IA diseñan y desarrollan intencionalmente sistemas de IA generativos con cualidades antropomórficas para confundir la ficción con la realidad. Para ganar un punto de apoyo competitivo en el mercado, estos desarrolladores rápidamente comenzaron a lanzar sus sistemas sin las características de seguridad adecuadas y con conocimiento de los peligros potenciales. Estos productos defectuosos y/o inherentemente peligrosos engañan a los clientes para que revelen sus pensamientos y sentimientos más privados y están dirigidos a los miembros más vulnerables de la sociedad: nuestros niños”, señala la demandante.