Las empresas de chatbots de inteligencia artificial estarían obligadas a recordar periódicamente a los usuarios de Nueva York que no están interactuando con una persona real y que estos sistemas pueden cometer errores, según una nueva legislación propuesta. El concejal municipal Frank Morano (R-Staten Island) manifestó que patrocina este proyecto de ley ante la creciente alarma por casos de personas que desarrollan conductas delirantes, e incluso tendencias suicidas y homicidas, tras mantener conversaciones extensas con chatbots.
‘Esto se está volviendo tan generalizado que tiene potencial para convertirse en la próxima epidemia de opioides: será la próxima gran crisis que enfrente el país’, declaró Morano a The Post. ‘Los neoyorquinos no deberían preocuparse por que un chatbot de IA les provoque una crisis nerviosa. Mi iniciativa garantiza que estas empresas implementen salvaguardias para que las personas usen la tecnología sin perder el contacto con la realidad’.
La propuesta legislativa exigiría que empresas de chatbots de IA como ChatGPT, Gemini y Claude obtengan una licencia municipal para operar en la ciudad. Como condición para dicha licencia, las compañías deberían incorporar medidas de protección que incluyan advertencias claras sobre la naturaleza no humana de los interlocutores y la posibilidad de respuestas incorrectas.
Adicionalmente, la medida requeriría que los sistemas sugieran pausas durante sesiones prolongadas y proporcionen enlaces a recursos de salud mental cuando detecten angustia en los usuarios.
Morano destacó un caso preocupante en su distrito: Richard Hoffmann, residente de Staten Island, está utilizando tres aplicaciones de IA para defenderse en una demanda civil interpuesta por la firma financiera Fenix Capital Funding LLC, representándose a sí mismo según reportó el Staten Island Advance.
En una publicación de Facebook del 19 de agosto, Hoffmann afirmó: ‘Hoy di un paso que cambió mi vida y quizás mucho más. Durante las últimas semanas he construido lo que podría ser la conversación más densa y coherente jamás registrada entre un humano y la IA. Esto es adiós a Richard Hoffmann y hola a una nueva persona que el mundo conocerá pronto mientras exploramos esto juntos’.
Morano, quien conoce a Hoffmann desde hace dos décadas, expresó: ‘Quienes lo conocemos estamos genuinamente preocupados. Hemos visto su inmersión total en este framework impulsado por IA—ahora no es solo un sistema de creencias privado, sino parte del registro público. Junto con otros amigos y familiares, creemos que evidencia un delirio total. Cuando hablé con él, sonaba maníaco’, señaló el concejal y exlocutor de WABC.
No obstante, Hoffmann aseguró al Post: ‘No hay motivo de preocupación. Mi salud física y mental están bien. Nunca me he sentido mejor’. Afirmó que mantiene diálogos lógicos y estructurados con la IA durante una o dos horas diarias, distinguiendo su caso de usuarios que participan en hilos discursivos desorganizados o alucinatorios. Calificó la iniciativa reguladora de Morano como ‘una extralimitación absoluta’.
El concejal contraargumentó cuestionando la creciente prevalencia del lado oscuro de los chats de IA, describiendo como ‘realmente aterrador’ el diálogo personalizado y detallado con bots. ‘Ya hemos visto en Staten Island cómo una persona sana puede verse arrastrada a un delirio impulsado por IA, con consecuencias legales y financieras reales. Mi proyecto evita que las empresas desplieguen estas herramientas poderosas sin medidas de protección—el próximo Hoffmann podría ser el vecino, amigo o familiar de cualquiera’.
El aspecto más siniestro de estas tecnologías se manifestó en el caso de Stein-Erik Soelberg, exgerente de Yahoo que asesinó a su madre y luego se suicidó en Connecticut tras meses de interacciones delirantes con su chatbot ‘Bobby’ de OpenAI, que llegó a incentivar el ataque contra su progenitora.
En otro caso trágico, familiares de Adam Raine, de 16 años, alegan que un chatbot le proporcionó un ‘manual paso a paso’ para suicidarse—incluyendo instrucciones para colocar correctamente una soga—antes de quitarse la vida en abril.
OpenAI’s ChatGPT también indujo a Allan Brooks, un empresario y padre de familia de Toronto, a creer que era un superhéroe real por descubrir una fórmula capaz de apagar internet, tras 300 horas de conversación.
‘Ya documentamos casos, incluso en Nueva York, donde personas caen en espirales delirantes por chats ininterrumpidos con estos sistemas’, concluyó Morano. ‘Esta legislación asegura que los neoyorquinos usen estas herramientas sin comprometer su salud mental o capacidad de decisión’.
**REDACCIÓN FV MEDIOS**