Default
Door Remote - 15 Jul 2026
In het kort
OpenAI introduceerde GPT-Red, een geautomatiseerd AI-systeem dat is ontworpen om kwetsbaarheden in GPT-modellen te vinden voordat ze worden uitgebracht.
Het bedrijf zei dat GPT-Red werd gebruikt om GPT-5.6 te trainen, waardoor het aantal mislukkingen op een van de moeilijkste benchmarks voor snelle injectie werd verminderd.
Het systeem is bedoeld als aanvulling op menselijke redteamers, testen door derden en andere AI-veiligheidsmaatregelen.
OpenAI heeft GPT-Red geïntroduceerd, een geautomatiseerd AI-systeem dat is ontworpen om beveiligingsproblemen in zijn taalmodellen te vinden.
GPT-Red ontleent zijn naam aan cybersecurity red teaming, de praktijk waarbij opzettelijk wordt geprobeerd een systeem te kraken om zwakke punten te identificeren voordat aanvallers deze kunnen misbruiken.
In een post op woensdag zei OpenAI dat de tool ervoor heeft gezorgd dat GPT-5.6 beter bestand is tegen snelle injectie-aanvallen voordat deze wordt ingezet.
"Naarmate de modelcapaciteiten groeien, moeten veiligheid en afstemming daarmee meegroeien", schreef OpenAI op X. "Red-teaming is essentieel, maar de huidige benaderingen zijn moeilijk op te schalen, waardoor een kritisch knelpunt ontstaat. GPT-Red is een van de manieren waarop we dit aanpakken."
Volgens OpenAI werd GPT-Red getraind door middel van zelfspelversterkingsleren, waardoor steeds sterkere, snelle injectie-aanvallen werden gegenereerd, terwijl verdedigermodellen leerden deze te weerstaan. Het bedrijf zei dat deze aanvallen waren opgenomen in het trainingsproces van GPT-5.6 en meldde dat GPT-Red in 84% van de interne evaluatiescenario's slaagde, vergeleken met 13% voor menselijke rode teamers in dezelfde tests.
“GPT-Red leert door vijandig zelfspel, waarbij het doel is om een verscheidenheid aan uitdagende verdedigermodellen te injecteren”, schreef OpenAI. “Elke succesvolle aanval die GPT-Red vindt, wordt gebruikt om deze verdedigers te verbeteren, waardoor GPT-Red voortdurend bredere en complexere mislukkingen vindt.”
In één casestudy zei OpenAI dat het systeem een autonome agent van een verkoopautomaat manipuleerde om de prijzen te verlagen, voorraad met korting te bestellen en de bestelling van een andere klant te annuleren voordat de kwetsbaarheden werden onthuld en aangepakt.
GPT-Red volgt jaren van cybersecurity-inspanningen van OpenAI na de publieke lancering van ChatGPT.
In 2023 lanceerde het bedrijf zijn OpenAI Red Teaming Network, waarbij externe cyberbeveiligingsonderzoekers en domeinexperts werden gerekruteerd om ChatGPT en andere modellen te onderzoeken op beveiligingsfouten voordat ze werden vrijgegeven. GPT-Red breidt deze inspanning uit door een groot deel van het proces te automatiseren, met behulp van een AI-model om snelle injectie-aanvallen en andere vijandige tests te genereren op een schaal die alleen voor menselijke onderzoekers moeilijk zou zijn.
De aankondiging van OpenAI weerspiegelt een bredere verschuiving naar het gebruik van AI om AI te beveiligen.
Eerder deze maand zei de Ethereum Foundation dat het AI-agenten had ingezet om kritieke netwerkinfrastructuur te red-teamen, waardoor een kwetsbaarheid werd blootgelegd in software die wordt gebruikt door Ethereum-consensusklanten. Onderzoekers zeggen dat AI-agenten grotere codebases kunnen doorzoeken dan mensen, maar de uitdaging is verschoven van het vinden van potentiële bugs naar het bewijzen welke misbruikbaar zijn.
Volgens OpenAI zal GPT-Red een intern hulpmiddel blijven omdat het opzettelijk ontwikkelde offensieve capaciteiten bevat.
“Wij geloven dat we met GPT-Red zijn begonnen met het ontsluiten van een soortgelijk vliegwiel voor de veiligheid, waarbij de modellen van vandaag kunnen worden gebruikt om de modellen van morgen robuuster, uitgelijnd en betrouwbaarder te maken”, zeiden ze.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!
OpenAI introduceerde GPT-Red, een geautomatiseerd AI-systeem dat is ontworpen om kwetsbaarheden in GPT-modellen te vinden voordat ze worden uitgebracht.
Het bedrijf zei dat GPT-Red werd gebruikt om GPT-5.6 te trainen, waardoor het aantal mislukkingen op een van de moeilijkste benchmarks voor snelle injectie werd verminderd.
Het systeem is bedoeld als aanvulling op menselijke redteamers, testen door derden en andere AI-veiligheidsmaatregelen.
OpenAI heeft GPT-Red geïntroduceerd, een geautomatiseerd AI-systeem dat is ontworpen om beveiligingsproblemen in zijn taalmodellen te vinden.
GPT-Red ontleent zijn naam aan cybersecurity red teaming, de praktijk waarbij opzettelijk wordt geprobeerd een systeem te kraken om zwakke punten te identificeren voordat aanvallers deze kunnen misbruiken.
In een post op woensdag zei OpenAI dat de tool ervoor heeft gezorgd dat GPT-5.6 beter bestand is tegen snelle injectie-aanvallen voordat deze wordt ingezet.
"Naarmate de modelcapaciteiten groeien, moeten veiligheid en afstemming daarmee meegroeien", schreef OpenAI op X. "Red-teaming is essentieel, maar de huidige benaderingen zijn moeilijk op te schalen, waardoor een kritisch knelpunt ontstaat. GPT-Red is een van de manieren waarop we dit aanpakken."
Volgens OpenAI werd GPT-Red getraind door middel van zelfspelversterkingsleren, waardoor steeds sterkere, snelle injectie-aanvallen werden gegenereerd, terwijl verdedigermodellen leerden deze te weerstaan. Het bedrijf zei dat deze aanvallen waren opgenomen in het trainingsproces van GPT-5.6 en meldde dat GPT-Red in 84% van de interne evaluatiescenario's slaagde, vergeleken met 13% voor menselijke rode teamers in dezelfde tests.
“GPT-Red leert door vijandig zelfspel, waarbij het doel is om een verscheidenheid aan uitdagende verdedigermodellen te injecteren”, schreef OpenAI. “Elke succesvolle aanval die GPT-Red vindt, wordt gebruikt om deze verdedigers te verbeteren, waardoor GPT-Red voortdurend bredere en complexere mislukkingen vindt.”
In één casestudy zei OpenAI dat het systeem een autonome agent van een verkoopautomaat manipuleerde om de prijzen te verlagen, voorraad met korting te bestellen en de bestelling van een andere klant te annuleren voordat de kwetsbaarheden werden onthuld en aangepakt.
GPT-Red volgt jaren van cybersecurity-inspanningen van OpenAI na de publieke lancering van ChatGPT.
In 2023 lanceerde het bedrijf zijn OpenAI Red Teaming Network, waarbij externe cyberbeveiligingsonderzoekers en domeinexperts werden gerekruteerd om ChatGPT en andere modellen te onderzoeken op beveiligingsfouten voordat ze werden vrijgegeven. GPT-Red breidt deze inspanning uit door een groot deel van het proces te automatiseren, met behulp van een AI-model om snelle injectie-aanvallen en andere vijandige tests te genereren op een schaal die alleen voor menselijke onderzoekers moeilijk zou zijn.
De aankondiging van OpenAI weerspiegelt een bredere verschuiving naar het gebruik van AI om AI te beveiligen.
Eerder deze maand zei de Ethereum Foundation dat het AI-agenten had ingezet om kritieke netwerkinfrastructuur te red-teamen, waardoor een kwetsbaarheid werd blootgelegd in software die wordt gebruikt door Ethereum-consensusklanten. Onderzoekers zeggen dat AI-agenten grotere codebases kunnen doorzoeken dan mensen, maar de uitdaging is verschoven van het vinden van potentiële bugs naar het bewijzen welke misbruikbaar zijn.
Volgens OpenAI zal GPT-Red een intern hulpmiddel blijven omdat het opzettelijk ontwikkelde offensieve capaciteiten bevat.
“Wij geloven dat we met GPT-Red zijn begonnen met het ontsluiten van een soortgelijk vliegwiel voor de veiligheid, waarbij de modellen van vandaag kunnen worden gebruikt om de modellen van morgen robuuster, uitgelijnd en betrouwbaarder te maken”, zeiden ze.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!