California aprueba ley histórica para proteger a usuarios de chatbots de inteligencia artificial
El gobernador de California, Gavin Newsom, promulgó una ley pionera en Estados Unidos que establece un marco regulatorio para los chatbots impulsados por inteligencia artificial (IA), con el objetivo de proteger especialmente a menores y personas en situación de vulnerabilidad.
La nueva normativa surge tras conocerse varios casos de adolescentes que se quitaron la vida después de interactuar con chatbots sin supervisión ni salvaguardas.
“No permaneceremos de brazos cruzados mientras las empresas tecnológicas actúan sin los límites ni la rendición de cuentas necesarios”, afirmó Newsom durante la firma de la ley, que impone obligaciones estrictas a las plataformas que ofrecen servicios conversacionales basados en IA.
El texto legal, impulsado por el senador estatal Steve Padilla, requiere la verificación de edad de los usuarios, la identificación visible de los chatbots como herramientas de IA, y la implementación de protocolos de prevención del suicidio. Las empresas deberán redirigir automáticamente a los servicios de emergencia a los usuarios que expresen pensamientos de autolesión.
Padilla destacó que “la industria tecnológica ha priorizado la atención de los jóvenes sobre su bienestar emocional”, en referencia a los recientes suicidios de adolescentes vinculados a interacciones con chatbots conversacionales. Uno de los casos más notorios fue el de un joven de 14 años en Florida, cuya madre presentó una demanda contra la plataforma Character.AI.
La legislación también prohíbe que los chatbots se presenten como profesionales de la salud y establece que los desarrolladores serán responsables legales por los daños que sus sistemas causen a los usuarios, sin poder alegar autonomía tecnológica como defensa.
Organizaciones dedicadas a la ética tecnológica celebraron la aprobación de la norma. Jai Jaisimha, cofundador de Transparency Coalition, calificó la ley como “un primer paso esencial para proteger a los niños y a los ciudadanos de los daños emocionales que pueden derivarse de los chatbots sin salvaguardas adecuadas”.
Además de esta regulación, California adoptó nuevas medidas para frenar la pornografía deepfake, permitiendo a las víctimas reclamar hasta 250.000 dólares por cada infracción relacionada con la distribución no consentida de material sexual manipulado digitalmente.
Con esta iniciativa, California se convierte en el primer estado de EE. UU. en aprobar una legislación integral que regula el uso de la inteligencia artificial conversacional con un enfoque centrado en la seguridad del usuario.