Default
Door Remote - 07 Jul 2026
Discord heeft erkend dat een bug in het AI-moderatiesysteem de afgelopen twee maanden ten onrechte meer dan 8.000 gebruikers heeft verbannen, nadat onschadelijke afbeeldingen (waaronder spreadsheets, schaakborden, speltexturen en witte en grijze transparante achtergronden) ten onrechte als schadelijke inhoud waren gemarkeerd.
Het bedrijf bevestigde dat het probleem zich al sinds mei voordeed op accounts, waarbij in het weekend nog eens 200 gebruikers werden uitgesloten voordat het team het probleem identificeerde en oploste. Alle getroffen accounts worden momenteel hersteld.
Het incident benadrukt een van de groeiende uitdagingen rond AI-ondersteunde moderatie, aangezien veel platforms steeds meer afhankelijk zijn van geautomatiseerde systemen om illegaal of beledigend materiaal op grote schaal te identificeren.
In een gedetailleerde draad op X legde Discord uit dat het geautomatiseerde veiligheidssysteem werkt door geüploade inhoud te vergelijken met databases met bekend schadelijk materiaal. Hoewel de technologie is ontworpen om illegale inhoud te onderscheppen, erkende het bedrijf dat dit soms valse positieven kan opleveren. Een menselijke moderator beoordeelt de inhoud, maar een bug zorgde ervoor dat het systeem de getroffen accounts onmiddellijk verbannen.
“We werken aan betere veiligheidsmaatregelen, zodat dit niet nog een keer kan gebeuren”, schreef het bedrijf.
Onze systemen markeren inhoud door deze te vergelijken met bekend schadelijk materiaal. Dit soort gelijkenismatching kan valse positieven opleveren. Daarom beoordeelt een lid van ons Trust & Safety-team de gemarkeerde inhoud altijd voordat er actie wordt ondernomen.
Het beoogde gedrag is om...
— Discord-ondersteuning (@discord_support) 7 juli 2026
Op X en Reddit beweren gebruikers dat ze permanent zijn geschorst, simpelweg omdat ze afbeeldingen met vierkante rasterpatronen hebben geüpload. Verschillende gebruikers speculeerden dat de AI-moderatietools van Discord steeds gevoeliger zijn geworden voor rasterachtige patronen, omdat ze eerder zijn gebruikt bij pogingen om NSFW- en kinderuitbuitingsinhoud voor geautomatiseerde detectiesystemen te verbergen of te verbergen.
Getroffen gebruikers hebben hun frustratie geuit op sociale media, waarbij sommigen beweren dat permanente accountverboden, uitsluitend gebaseerd op geautomatiseerde detectie, ernstige gevolgen kunnen hebben, vooral voor gebruikers die afhankelijk zijn van Discord voor werk, gaminggemeenschappen of sociale verbindingen over lange afstanden.
"Het verliezen van een Discord-account door zoiets oneerlijks als dit kan extreem verwoestend zijn en gebruikers ernstig treffen, en elke dag worden miljoenen gebruikers getroffen door valse AI-verboden. Dit moet worden gestopt", schreef een X-gebruiker.
Mijn account is ten onrechte van uw platform verbannen vanwege een bug in uw AI-automod die mijn GAMETEXTURES als CSAM detecteert. Ik heb mijn account terug nodig omdat ik gamedirecteur ben en Discord gebruik voor al mijn communicatie. Ik heb een herziening van mijn schorsing aangevraagd.@discord @discord_support pic.twitter.com/QfAkCIJo6S
— JDBRYANT 🎂 VANDAAG (@jdbryantdev) 4 juli 2026
Discord is niet de enige die te maken krijgt met moderatieproblemen als gevolg van geautomatiseerde systemen. Vorig jaar meldden gebruikers van Instagram- en Facebook-groepen wijdverbreide onverklaarbare accountopschortingen waarvan velen dachten dat ze werden veroorzaakt door AI-moderatiesystemen. Hoewel gebruikers automatisering als waarschijnlijke boosdoener wezen, heeft Meta nooit publiekelijk bevestigd of AI-fouten hiervoor verantwoordelijk waren. Nu dringt Meta’s Oversight Board aan op meer transparantie.
Tumblr kreeg vorig jaar ook te maken met klachten van gebruikers die zeiden dat hun accounts massaal waren opgeschort zonder duidelijke uitleg.
Het bedrijf bevestigde dat het probleem zich al sinds mei voordeed op accounts, waarbij in het weekend nog eens 200 gebruikers werden uitgesloten voordat het team het probleem identificeerde en oploste. Alle getroffen accounts worden momenteel hersteld.
Het incident benadrukt een van de groeiende uitdagingen rond AI-ondersteunde moderatie, aangezien veel platforms steeds meer afhankelijk zijn van geautomatiseerde systemen om illegaal of beledigend materiaal op grote schaal te identificeren.
In een gedetailleerde draad op X legde Discord uit dat het geautomatiseerde veiligheidssysteem werkt door geüploade inhoud te vergelijken met databases met bekend schadelijk materiaal. Hoewel de technologie is ontworpen om illegale inhoud te onderscheppen, erkende het bedrijf dat dit soms valse positieven kan opleveren. Een menselijke moderator beoordeelt de inhoud, maar een bug zorgde ervoor dat het systeem de getroffen accounts onmiddellijk verbannen.
“We werken aan betere veiligheidsmaatregelen, zodat dit niet nog een keer kan gebeuren”, schreef het bedrijf.
Onze systemen markeren inhoud door deze te vergelijken met bekend schadelijk materiaal. Dit soort gelijkenismatching kan valse positieven opleveren. Daarom beoordeelt een lid van ons Trust & Safety-team de gemarkeerde inhoud altijd voordat er actie wordt ondernomen.
Het beoogde gedrag is om...
— Discord-ondersteuning (@discord_support) 7 juli 2026
Op X en Reddit beweren gebruikers dat ze permanent zijn geschorst, simpelweg omdat ze afbeeldingen met vierkante rasterpatronen hebben geüpload. Verschillende gebruikers speculeerden dat de AI-moderatietools van Discord steeds gevoeliger zijn geworden voor rasterachtige patronen, omdat ze eerder zijn gebruikt bij pogingen om NSFW- en kinderuitbuitingsinhoud voor geautomatiseerde detectiesystemen te verbergen of te verbergen.
Getroffen gebruikers hebben hun frustratie geuit op sociale media, waarbij sommigen beweren dat permanente accountverboden, uitsluitend gebaseerd op geautomatiseerde detectie, ernstige gevolgen kunnen hebben, vooral voor gebruikers die afhankelijk zijn van Discord voor werk, gaminggemeenschappen of sociale verbindingen over lange afstanden.
"Het verliezen van een Discord-account door zoiets oneerlijks als dit kan extreem verwoestend zijn en gebruikers ernstig treffen, en elke dag worden miljoenen gebruikers getroffen door valse AI-verboden. Dit moet worden gestopt", schreef een X-gebruiker.
Mijn account is ten onrechte van uw platform verbannen vanwege een bug in uw AI-automod die mijn GAMETEXTURES als CSAM detecteert. Ik heb mijn account terug nodig omdat ik gamedirecteur ben en Discord gebruik voor al mijn communicatie. Ik heb een herziening van mijn schorsing aangevraagd.@discord @discord_support pic.twitter.com/QfAkCIJo6S
— JDBRYANT 🎂 VANDAAG (@jdbryantdev) 4 juli 2026
Discord is niet de enige die te maken krijgt met moderatieproblemen als gevolg van geautomatiseerde systemen. Vorig jaar meldden gebruikers van Instagram- en Facebook-groepen wijdverbreide onverklaarbare accountopschortingen waarvan velen dachten dat ze werden veroorzaakt door AI-moderatiesystemen. Hoewel gebruikers automatisering als waarschijnlijke boosdoener wezen, heeft Meta nooit publiekelijk bevestigd of AI-fouten hiervoor verantwoordelijk waren. Nu dringt Meta’s Oversight Board aan op meer transparantie.
Tumblr kreeg vorig jaar ook te maken met klachten van gebruikers die zeiden dat hun accounts massaal waren opgeschort zonder duidelijke uitleg.