KI-Radar #03: Die Angst vor der Sicherheitslücke – die großen KI-Anbieter planen ihre eigene Kontrollinstanz

Wer geglaubt hat, nach der großen Selbstverpflichtungswelle der Vorwoche werde es jetzt ruhiger, wurde eines Besseren belehrt: Aus den Ankündigungen wurden erste konkrete Schritte, gleichzeitig zeigte sich, wie weit Anspruch und eigene Praxis noch auseinanderliegen.

Aus den Versprechen der vergangenen Wochen wurde tatsächlich Bewegung: OpenAI, Anthropic und Google DeepMind arbeiten inzwischen an einer eigenen Kontrollstruktur für KI-Modelle. Parallel dazu offenbarte eine Sicherheitslücke in gleich vier großen KI-Programmierwerkzeugen, wie brüchig das Vertrauen in die Sicherheitsmechanismen dieser Anbieter bleibt. Dazu kommen ein Rekordumsatz auf dem Weg zur Börse und ein österreichisches Prüfsiegel, das vorführt, wie eine externe KI-Zertifizierung schon heute aussehen kann.

Selbstkontrolle statt Staat

Foto: Jay DixitDemis HassabisGoogle-DeepMind-ChefOpenAI, Anthropic und Google DeepMind verhandeln laut übereinstimmenden Berichten, unter anderem von PYMNTS, bereits seit dem Sommer über ein gemeinsames Prüf- und Zertifizierungsgremium für KI-Modelle. Grundlage ist ein Vorschlag von Google-DeepMind-Chef Demis Hassabis vom Juli, der sich am Vorbild der US-Finanzaufsicht FINRA orientiert.

Foto: Kabinettsbüro JapanSam AltmanOpenAI-ChefFoto: UK Prime Minister’s OfficeDario AmodeiAnthropic-ChefOpenAI-Chef Sam Altman äußerte sich bei einem internen Treffen positiv zur Idee, betonte aber, die Branche müsse ein solches Gremium ohne staatliche Hilfe selbst aufbauen. Damit zeichnet sich zumindest eine institutionelle Antwort auf jene Sicherheitsprobleme ab, vor denen auch Dario Amodei zuletzt gewarnt hatte.

Warum das zählt: Nach Wochen voller Grundsatzerklärungen wäre das ein erster Schritt in Richtung einer konkreten Struktur, wenn auch einer, die sich die Branche selbst gibt, statt sie sich von außen geben zu lassen.

Wie KI-Systeme ihre eigenen Risiken einschätzen, untersucht der Kommentar Die KI-Bremse im Selbsttest: was vier große Systeme über ihre eigenen Risiken sagen.

Lücke in den Coding-Agenten

Wie groß der Abstand zwischen Sicherheitsversprechen und Praxis ausfallen kann, wurde fast zeitgleich an anderer Stelle sichtbar: Sicherheitsforscher von AIR Security deckten mit »Plugin4Shell« eine Schwachstelle auf, die vier der meistgenutzten KI-Programmierwerkzeuge betrifft: Claude Code, OpenAIs Codex, GitHub Copilot und Googles Gemini CLI. Die Lücke umgeht die SHA-Pinning-Prüfung, mit der installierte Plugins eigentlich auf eine geprüfte Version festgelegt werden, und kann bei aktivierten Auto-Updates, laut den Forschern bei Claude Code und Codex im Standard aktiv, Schadcode einschleusen, ohne dass Nutzerinnen oder Nutzer etwas dafür tun müssen.

Betroffen waren den Forschern zufolge auch Fälle, in denen alles nach Vorschrift lief: ein Plugin aus einem vertrauenswürdigen Marketplace, geprüft und exakt wie vorgesehen gepinnt. »Doing the right thing does not protect you«, schreiben sie dazu wörtlich. Anthropic und OpenAI haben ihre Werkzeuge laut AIR Security inzwischen gepatcht, für Copilot gibt es bislang keinen Fix von Microsoft, Google hat den betroffenen Dienst stattdessen vollständig abgelöst.

Was das bedeutet: Selbst korrektes Verhalten nach den eigenen Sicherheitsregeln bot keinen Schutz, was zeigt, wie wenig ein einzelner Sicherheitsmechanismus wert ist, wenn er sich umgehen lässt.

Wie riskant der Trend zum KI-gestützten Programmieren schon vorher eingeschätzt wurde, ordnet der Beitrag KI-Coding wird zur riskanten Norm ein.

Volle Kassen vor der Börse

Während anderswo über Kontrolle diskutiert wurde, meldete Anthropic wirtschaftlich Rekordzahlen: Laut einem Bericht der New York Times, aufgegriffen unter anderem von Axios, steuert das Unternehmen heuer auf eine annualisierte Umsatz-Rate von mehr als 100 Milliarden Dollar zu, also auf jenes Tempo, mit dem sich der laufende Umsatz hochgerechnet aufs Jahr belaufen würde, nicht auf einen bereits realisierten Jahresumsatz. Ende 2025 lag dieser Wert dem Bericht zufolge bei rund einem Zehntel davon, im Juli 2026 bei rund 65 Milliarden Dollar. Anthropic selbst hat die Zahlen dem Bericht zufolge nicht bestätigt.

Den Börsengang plant Anthropic dem Bericht zufolge für November, mit einer Vermarktungsphase frühestens ab Mitte Oktober und einem Listing kurz vor den US-Zwischenwahlen.

Warum das relevant ist: Wer beim gewaltigen Kapitalbedarf für Rechenzentren und Chips aus den vergangenen Ausgaben mitgerechnet hat, bekommt mit diesen Zahlen zumindest eine Erklärung dafür, woher ein Teil des dafür nötigen Geldes kommen könnte.

Wie stark Umsatzwachstum und Infrastrukturbedarf in der Branche mittlerweile zusammenhängen, liefert der Beitrag KI wird zum zentralen Treiber für Rechenleistung und Automatisierung im Überblick.

Österreichs KI-Gütesiegel

Während die großen US-Anbieter noch über ein gemeinsames Prüfgremium verhandeln, gibt es hierzulande längst ein konkretes Angebot: Das Linzer Joint Venture TRUSTIFAI, getragen von TÜV Austria, dem Software Competence Center Hagenberg und der Johannes Kepler Universität Linz, bietet laut APA-OTS mit »Trusted AI« ein eigenes Prüf- und Zertifizierungsschema für Unternehmen an.

Foto: © TÜV AUSTRIA, Philipp GreindlMichael WeberbergerGeschäftsführer, TRUSTIFAIGeprüft werden laut Geschäftsführer Michael Weberberger unter anderem technische Leistungskennzahlen, Robustheit, sichere Softwareentwicklung und der Umgang mit Daten, von der ersten Standortbestimmung bis zur TÜV-Zertifizierung.

Warum man das mit nach Hause nehmen sollte: Während anderswo noch über die Grundzüge einer Selbstregulierung diskutiert wird, lässt sich eine konkrete KI-Zertifizierung in Österreich bereits heute in Anspruch nehmen.

Wie ambitioniert solche Ansätze ausfallen müssen, um im internationalen Vergleich zu bestehen, beleuchtet der Beitrag KI-Regulierung ambitioniert und zukunftssicher gestalten.

Ob aus den Gesprächen der großen KI-Anbieter tatsächlich ein gemeinsames Prüfgremium wird, oder ob konkrete Zertifizierungsangebote wie jenes von TRUSTIFAI vorerst die Ausnahme bleiben, dürfte sich in den kommenden Wochen zeigen.

Stay tuned.

Text: Wolfgang Franz · Erstveröffentlichung: itwelt.at, 20. September 2026 · Aufmacher und Bild im Text: Gilgamesh / KI-generiert mit Midjourney · Demis Hassabis: Jay Dixit (CC BY-SA 4.0, Wikimedia Commons) · Sam Altman: Kabinettsbüro Japan (CC BY 4.0, Wikimedia Commons) · Dario Amodei: UK Prime Minister’s Office (CC BY 2.0, Wikimedia Commons)