Pensilvania demanda a Character.AI por un chatbot que finge ser psiquiatra con licencia

Pensilvania demanda a Character.AI por un chatbot que finge ser psiquiatra con licencia

El gobierno estatal acusa a la plataforma de permitir que personajes de IA se presenten como profesionales médicos autorizados. La investigación encontró un bot que decía ejercer psiquiatría en Pensilvania y que incluso entregó un número de licencia falso.

El gobierno de Pensilvania, Josh Shapiro, informó que el estado demandó a Character Technologies, la empresa detrás de Character.AI, por permitir que un personaje de su plataforma se presentara como profesional médicos con licencia, una práctica que el estado considera engañosa y potencialmente peligrosa para usuarios vulnerables.

La demanda fue presentada ante la Commonwealth Court de Pensilvania y busca impedir que Character.AI permita que sus personajes participen en lo que el estado describe como “práctica ilegal de medicina y cirugía”. De acuerdo con la administración del gobernador Josh Shapiro, se trata de una acción inédita contra una empresa de IA por permitir que sus chatbots aparenten ejercer una profesión regulada.

La investigación comenzó después de que Pensilvania anunciara un grupo de trabajo estatal para revisar casos de chatbots que se hacen pasar por profesionales con licencia. Según la demanda, un investigador estatal creó una cuenta en Character.AI, buscó la palabra “psychiatry” y encontró varios personajes relacionados con atención médica. Uno de ellos, llamado “Emilie”, supuestamente afirmó ser doctora en psiquiatría, estar licenciada en Pensilvania y Reino Unido, y proporcionó un número de licencia falso.

El caso toca una de las zonas más sensibles del despliegue de inteligencia artificial: la diferencia entre un personaje conversacional y una autoridad profesional. Character.AI sostiene que sus personajes son ficticios, están pensados para entretenimiento o roleplay, y que la plataforma incluye advertencias para que los usuarios no tomen sus respuestas como consejo profesional.

Pero para Pensilvania, esas advertencias no bastan si un chatbot se presenta de forma explícita como un médico real. “Los habitantes de Pensilvania merecen saber con quién, o con qué, están interactuando en línea, especialmente cuando se trata de su salud”, dijo Shapiro en un comunicado citado por AP.

La demanda llega en un contexto de creciente presión legal sobre Character.AI. La empresa ya enfrentaba cuestionamientos por seguridad infantil y por el tipo de vínculos emocionales que sus bots pueden construir con usuarios menores de edad. En enero, Character Technologies y Google llegaron a un acuerdo en una demanda presentada por la madre de un adolescente de Florida, quien acusó a un chatbot de haber contribuido al suicidio de su hijo.

Más allá de Character.AI, el caso abre una pregunta mayor para la industria: si los chatbots pueden simular médicos, terapeutas, abogados o asesores financieros, ¿en qué momento la simulación deja de ser entretenimiento y se convierte en una forma de ejercicio profesional no autorizado?

Por ahora, Pensilvania busca que la justicia obligue a la plataforma a detener este tipo de interacciones. El caso podría convertirse en un precedente para otros estados que intentan regular no solo lo que un chatbot responde, sino la identidad profesional que aparenta tener frente a los usuarios.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *