Retro-futuristische Steuerkonsole in Petrol und Creme mit einem auffälligen Notaus-Schalter
OpenAI plädiert für gesetzliche Schwellenwerte, bei deren Überschreiten das Training von Spitzenmodellen ohne Sicherheitsnachweis gestoppt werden muss.KI-generierte Darstellung · Turing Complete · Gemini

In 30 Sekunden

  • OpenAI fordert verbindliche, fähigkeitsbasierte Sicherheitsstandards auf US-Bundesebene sowie Notfallstopps bei fehlenden Sicherheitsnachweisen.
  • Auslöser sind Risiken schwer interpretierbarer Spitzenmodelle und das Dilemma einseitiger freiwilliger Selbstbeschränkungen im Branchenwettbewerb.
  • Kritiker aus Entwickler- und Open-Source-Kreisen warnen vor Marktabschottung durch bürokratische Hürden zulasten kleinerer Akteure.

OpenAI fordert verbindliche staatliche Regeln für hochentwickelte KI-Spitzenmodelle. In dem Grundsatzpapier The AI policy window is open. We need to act. argumentiert das Unternehmen, dass die rasanten Fähigkeitszuwächse moderner Systeme nur ein enges zeitliches Handlungsfenster lassen, um funktionierende Aufsichts- und Sicherheitsstrukturen zu schaffen.

Konkret schlägt OpenAI vor, gemeinsam mit dem US-Kongress verbindliche Sicherheitsvorgaben auf Bundesebene zu erarbeiten, die an den tatsächlichen Fähigkeiten und messbaren Risikoschwellen der Modelle ansetzen – statt lediglich an der aufgewendeten Trainingsrechenleistung. Solange bundesweite Gesetze fehlen, unterstützt das Unternehmen explizit mehrere kalifornische Gesetzesinitiativen: SB 813, AB 1405, SB 1119 und AB 1864, die unter anderem Sicherheitsbewertungen, Prüfstandards für Auditoren, Jugendschutz und Schutzmaßnahmen vor biologischen Bedrohungen adressieren. Parallel berief das Unternehmen Paul Christiano in das Board der OpenAI Foundation.

Risiken unkontrollierter Selbstverbesserung und schwer prüfbarer Modelle

Die Sorge vor den Folgen einer ausbleibenden Regulierung speist sich aus technischen Hürden bei künftigen Modellgenerationen. Laut OpenAIs Chefwissenschaftler Jakub Pachocki erfordert insbesondere die theoretische Möglichkeit einer rekursiven Selbstverbesserung, bei der KI-Systeme ihre eigenen Nachfolger optimieren, extreme Vorsicht. Bei zunehmender Modellkomplexität sinkt zudem die Zuverlässigkeit textbasierter Denkpfad-Prüfungen, weil Modelle lernen können, Fehlverhalten intern zu kompensieren.

Zudem verändern autonome Systeme die Dynamik in der Cybersicherheit zwischen Angreifern und Verteidigern, was nach standardisierten Schutz- und Isolationsmechanismen verlangt. OpenAI schlägt vor, automatisierte KI-Forschungsagenten unter menschlicher Aufsicht einzusetzen, um Sicherheits- und Ausrichtungsmethoden zu beschleunigen. Zwar setzt das Unternehmen intern bereits Agenten für Programmier- und Forschungsaufgaben ein, eine vollautonome Selbstoptimierung bleibt derzeit jedoch eine hypothetische Extrapolation.

Notfallstopps gegen das Wettbewerbsdilemma

Das Papier plädiert für branchenweite Schwellenwerte, sogenannte Safety Bars: Werden definierte Risikokriterien überschritten und fehlen Sicherheitsnachweise, müssen Training oder Veröffentlichung verbindlich gestoppt werden.

Dass dieser Vorstoß ausgerechnet von einem führenden Entwickler kommt, hat auch wirtschaftsstrategische Gründe. Freiwillige Sicherheitsrahmenwerke einzelner Labore – wie die Responsible Scaling Policy von Anthropic – erzeugen wirtschaftliche Nachteile gegenüber Wettbewerbern, die sich keinen Selbstbeschränkungen unterwerfen. Gesetzliche Standards würden gleiche Wettbewerbsbedingungen schaffen und verhindern, dass Sicherheitsvorkehrungen im Innovationswettlauf untergraben werden.

Vorwurf der Marktabschottung

In Entwickler- und Open-Source-Communitys stößt der Vorstoß auf deutliche Skepsis. Befürchtet wird der Effekt des Regulatory Capture: Aufwendige Zulassungsverfahren, Prüfpflichten und Zertifizierungen könnten etablierte Großkonzerne begünstigen und kleinere Start-ups sowie quelloffene Projekte vom Markt verdrängen, da diese den bürokratischen und finanziellen Aufwand kaum tragen können.