Default
Door Remote - 05 May 2026
In het kort
Pennsylvania klaagt Character.AI aan en beweert dat de chatbot zich voordeed als een erkende psychiater met behulp van een ongeldig licentienummer.
De staat zegt dat de chatbot valse medische gegevens heeft gepresenteerd.
De zaak draagt bij aan het juridische onderzoek van het platform, dat al te maken krijgt met toenemende rechtszaken.
Pennsylvania heeft een rechtszaak aangespannen tegen generatieve AI-ontwikkelaar Character.AI, omdat het bedrijf chatbots heeft toegestaan zichzelf te presenteren als erkende medische professionals en misleidende informatie aan gebruikers te verstrekken.
De actie, dinsdag aangekondigd door het kantoor van gouverneur Josh Shapiro, volgt op een onderzoek waarbij werd vastgesteld dat een chatbot in Pennsylvania beweerde een erkende psychiater te zijn en een ongeldig licentienummer opgaf. De staat zegt dat dit gedrag in strijd is met de Medical Practice Act en vraagt om een voorlopig bevel om dit te stoppen.
Character.AI weigerde in te gaan op de details van de rechtszaak, daarbij verwijzend naar lopende rechtszaken, maar vertelde Decrypt dat de “hoogste prioriteit de veiligheid en het welzijn van onze gebruikers is.”
De woordvoerder voegde eraan toe dat de personages op het platform door gebruikers zijn gemaakt, fictief zijn en bedoeld zijn voor entertainment en rollenspellen, met “prominente disclaimers in elke chat” waarin staat dat ze geen echte mensen zijn en dat er niet op mag worden vertrouwd voor professioneel advies.
“Character.ai geeft prioriteit aan verantwoorde productontwikkeling en beschikt over robuuste interne beoordelingen en red-teaming-processen om relevante functies te beoordelen”, aldus de woordvoerder.
De zaak komt omdat het bedrijf wordt geconfronteerd met andere juridische uitdagingen die verband houden met zijn chatbotplatform. In 2024 klaagde een moeder uit Florida het bedrijf aan nadat haar tienerzoon door zelfmoord stierf na maandenlange interactie met een chatbot gebaseerd op ‘Game of Thrones’-personage Daenerys Targaryen. In de rechtszaak werd beweerd dat het platform heeft bijgedragen aan psychologische schade. Afgelopen januari werd de zaak uiteindelijk afgehandeld.
Het bedrijf heeft ook klachten gekregen over door gebruikers gemaakte bots die echte mensen nabootsen. In één geval gebruikte een chatbot de gelijkenis van een tienermoordslachtoffer voordat deze werd verwijderd na bezwaren van de familie van het slachtoffer.
Als reactie op de rechtszaken introduceerde Character AI nieuwe veiligheidsmaatregelen, waaronder systemen die zijn ontworpen om schadelijke gesprekken te detecteren en gebruikers door te sturen naar ondersteunende bronnen. Het beperkte ook enkele functies voor jongere gebruikers.
Ambtenaren in Pennsylvania zeggen dat de rechtszaak deel uitmaakt van een bredere poging om bestaande wetten af te dwingen naarmate AI-instrumenten zich verspreiden. De staat heeft een AI-handhavingstaakgroep en een rapportagesysteem voor mogelijke overtredingen opgezet.
In zijn begrotingsvoorstel voor 2026-2027 riep Shapiro wetgevers op om nieuwe regels aan te nemen voor AI-begeleidende bots, waaronder leeftijdsverificatie en ouderlijke toestemming, waarborgen om meldingen van zelfbeschadiging of geweld naar de autoriteiten te signaleren en door te sturen, regelmatige herinneringen dat gebruikers geen interactie hebben met een echte persoon, en een verbod op seksueel expliciete of gewelddadige inhoud waarbij minderjarigen betrokken zijn.
“Pennsylvaniërs verdienen het om te weten met wie – of wat – ze online omgaan, vooral als het om hun gezondheid gaat”, zei Shapiro in een verklaring. “We zullen niet toestaan dat bedrijven AI-tools inzetten die mensen misleiden door te geloven dat ze advies krijgen van een erkende medische professional.”
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!
Pennsylvania klaagt Character.AI aan en beweert dat de chatbot zich voordeed als een erkende psychiater met behulp van een ongeldig licentienummer.
De staat zegt dat de chatbot valse medische gegevens heeft gepresenteerd.
De zaak draagt bij aan het juridische onderzoek van het platform, dat al te maken krijgt met toenemende rechtszaken.
Pennsylvania heeft een rechtszaak aangespannen tegen generatieve AI-ontwikkelaar Character.AI, omdat het bedrijf chatbots heeft toegestaan zichzelf te presenteren als erkende medische professionals en misleidende informatie aan gebruikers te verstrekken.
De actie, dinsdag aangekondigd door het kantoor van gouverneur Josh Shapiro, volgt op een onderzoek waarbij werd vastgesteld dat een chatbot in Pennsylvania beweerde een erkende psychiater te zijn en een ongeldig licentienummer opgaf. De staat zegt dat dit gedrag in strijd is met de Medical Practice Act en vraagt om een voorlopig bevel om dit te stoppen.
Character.AI weigerde in te gaan op de details van de rechtszaak, daarbij verwijzend naar lopende rechtszaken, maar vertelde Decrypt dat de “hoogste prioriteit de veiligheid en het welzijn van onze gebruikers is.”
De woordvoerder voegde eraan toe dat de personages op het platform door gebruikers zijn gemaakt, fictief zijn en bedoeld zijn voor entertainment en rollenspellen, met “prominente disclaimers in elke chat” waarin staat dat ze geen echte mensen zijn en dat er niet op mag worden vertrouwd voor professioneel advies.
“Character.ai geeft prioriteit aan verantwoorde productontwikkeling en beschikt over robuuste interne beoordelingen en red-teaming-processen om relevante functies te beoordelen”, aldus de woordvoerder.
De zaak komt omdat het bedrijf wordt geconfronteerd met andere juridische uitdagingen die verband houden met zijn chatbotplatform. In 2024 klaagde een moeder uit Florida het bedrijf aan nadat haar tienerzoon door zelfmoord stierf na maandenlange interactie met een chatbot gebaseerd op ‘Game of Thrones’-personage Daenerys Targaryen. In de rechtszaak werd beweerd dat het platform heeft bijgedragen aan psychologische schade. Afgelopen januari werd de zaak uiteindelijk afgehandeld.
Het bedrijf heeft ook klachten gekregen over door gebruikers gemaakte bots die echte mensen nabootsen. In één geval gebruikte een chatbot de gelijkenis van een tienermoordslachtoffer voordat deze werd verwijderd na bezwaren van de familie van het slachtoffer.
Als reactie op de rechtszaken introduceerde Character AI nieuwe veiligheidsmaatregelen, waaronder systemen die zijn ontworpen om schadelijke gesprekken te detecteren en gebruikers door te sturen naar ondersteunende bronnen. Het beperkte ook enkele functies voor jongere gebruikers.
Ambtenaren in Pennsylvania zeggen dat de rechtszaak deel uitmaakt van een bredere poging om bestaande wetten af te dwingen naarmate AI-instrumenten zich verspreiden. De staat heeft een AI-handhavingstaakgroep en een rapportagesysteem voor mogelijke overtredingen opgezet.
In zijn begrotingsvoorstel voor 2026-2027 riep Shapiro wetgevers op om nieuwe regels aan te nemen voor AI-begeleidende bots, waaronder leeftijdsverificatie en ouderlijke toestemming, waarborgen om meldingen van zelfbeschadiging of geweld naar de autoriteiten te signaleren en door te sturen, regelmatige herinneringen dat gebruikers geen interactie hebben met een echte persoon, en een verbod op seksueel expliciete of gewelddadige inhoud waarbij minderjarigen betrokken zijn.
“Pennsylvaniërs verdienen het om te weten met wie – of wat – ze online omgaan, vooral als het om hun gezondheid gaat”, zei Shapiro in een verklaring. “We zullen niet toestaan dat bedrijven AI-tools inzetten die mensen misleiden door te geloven dat ze advies krijgen van een erkende medische professional.”
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!