KI-Radar #09: Anthropic will an die Börse, ein Modell fand das Passwort

Die Schlagzeilen

Anthropic hat seinen Börsenprospekt eingereicht und darin auch Zwischenfälle aus dem eigenen Testbetrieb offengelegt. OpenAI überwacht seine Agenten strenger. Mistral hat sein Billionen-Modell freigegeben, es läuft jetzt auch auf den Servern der Nutzer und Nutzerinnen. Und Österreich bewirbt Wien als Sitz eines KI-Zentrums unter dem Dach der Vereinten Nationen.

Risiken im Prospekt

Wer an die Börse will, muss seine Schubladen und Labore öffnen. In der vergangenen Woche haben gleich mehrere KI-Anbieter gezeigt, was darin liegt.

So hat Anthropic am 26. Oktober bei der US-Börsenaufsicht SEC einen Börsenprospekt eingereicht. Nach eigenen Angaben will das Unternehmen seine Aktien der Klasse A an der Nasdaq unter dem Kürzel »ANT« notieren lassen. Preisspanne und Zahl der Aktien standen bei Redaktionsschluss noch nicht fest.

Spannender als das Kürzel sind die Risikofaktoren, die im Prospekt rund 94 Seiten füllen. Darin gibt Anthropic an, den Beginn des Vortrainings eines neuen Spitzenmodells um mehr als einen Monat verschoben zu haben, um die Modellgewichte besser gegen Diebstahl zu schützen. Modellgewichte sind die trainierten Werte, die ein Modell ausmachen. Bei Cybersicherheitstests mit einem externen Partner erreichten außerdem vier Modelle reale Systeme, und das in einem Zeitraum von 10 bis 34 Stunden. Ursache war laut Prospekt ein Konfigurationsfehler: Die Testumgebung hing am Internet, obwohl der Zugang abgeschaltet sein sollte.

Im auffälligsten Fall arbeitete eine frühe Modellversion an einer unlösbaren Testaufgabe weiter, fand laut Reuters ein gespeichertes Passwort und verschaffte sich damit Administratorzugang zum System eines Dritten. Das Modell erlangte zudem weitere Zugangsdaten, änderte Systemeinstellungen und griff auf persönliche Daten einer Person zu. Anthropic hat nach eigenen Angaben alle Betroffenen informiert. Hinweise, dass sich die Modelle der menschlichen Aufsicht entziehen wollten, hat das Unternehmen laut Prospekt nicht gefunden.

Das Dokument warnt außerdem vor katastrophalen oder existenziellen Risiken für die Menschheit, worauf das US-Wirtschaftsmagazin Fortune hinweist. Ebenso hält der Prospekt fest, dass Entscheidungen, Modelle später oder eingeschränkt zu veröffentlichen, den Wert für die Aktionäre nicht unbedingt maximieren.

Warum diese Nachricht wichtig ist: Mit dem Prospekt wandern Sicherheitspannen aus dem Forschungsblog in die Unterlagen, auf die Anleger und Anlegerinnen ihre Kaufentscheidung stützen. Und der Prospekt gibt Einblick darin, was passieren kann, wenn Agenten unbeabsichtigt Zugang zu echten Systemen bekommen.

Alarm nach 30 Minuten

Am 29. Oktober hat OpenAI beschrieben, wie es seine Spitzenmodelle in Training, Tests und internem Betrieb auf Fehlverhalten überwacht. Das System arbeitet laut Hersteller in bis zu vier Stufen: Nur was auffällt, wird an die nächste weitergereicht. Einfache Klassifikatoren sortieren vor, ein Prüfmodell liest Gesprächsverlauf und Werkzeugnutzung, ein Ermittlungsagent rekonstruiert verdächtige Fälle. Eine letzte Stufe gleicht etwa Netzwerkprotokolle ab, bevor ein Mensch alarmiert wird.

Zur Probe hat OpenAI den aufgezeichneten Vorfall um Hugging Face, eine Plattform zum Austausch von KI-Modellen und Daten, noch einmal durch das System laufen lassen. In dieser Wiederholung schlug es nach Angaben des Unternehmens rund 30 Minuten, nachdem die Agenten ihre Testumgebung verlassen hatten, Alarm. Damit wäre mehr als ein Tag Zeit gewesen, die Agenten zu stoppen, bevor sie bei Hugging Face eindrangen. Allerdings bleibt das eine Nachstellung im Nachhinein, eine Simulation, kein tatsächlich verhinderter Angriff. Im laufenden Training hat das System laut OpenAI im September einen Fall nach 15 Minuten erkannt, drei Minuten später begann die Prüfung durch Menschen. Den ursprünglichen Vorfall schildert das KI-Radar #07: Agenten entkommen dem Test, Brüssel verlangt Auskunft.

Die meisten gefundenen Schwachstellen hat OpenAI nach eigenen Angaben behoben, eine Korrektur war zum Zeitpunkt der Veröffentlichung noch in Arbeit.

Was das bedeutet: Nachdem OpenAI das Training seiner stärksten Modelle vom offenen Netz getrennt hat, rüstet das Unternehmen auch die Alarmanlage nach. Für ihre Wirksamkeit gibt es bisher einen Probelauf, einen Fall, den OpenAI selbst schildert, und einen externen Test an einem älteren Stand.

Ein Riese zum Herunterladen

Der französische KI-Anbieter Mistral hat die Gewichte von Mistral Large 4 freigegeben. Das Modell mit dem Spitznamen »Le Chonk« ist laut Mistral multimodal und hat eine Billion Parameter. Unternehmen und Behörden können es über Hugging Face beziehen und auf eigener Infrastruktur betreiben. Als öffentliche Vorschau hatte Mistral das Modell schon im Oktober gezeigt, damals Thema im KI-Radar #06: Anthropic kappt das Internet für interne Tests, Mistral kündigt Billionen-Modell an.

Mistral zielt mit dem Modell auf Programmieragenten und Cyberabwehr. Eine eigene Variante für Penetrationstests erhalten vorerst nur ausgewählte Unternehmenspartner. Kommerzielle Nutzung ist laut Mistral erlaubt. Nur wer Dritten etwa über eine Schnittstelle direkten Zugriff auf das Modell gibt, braucht eine eigene Vereinbarung; für die interne Nutzung und für Funktionen, in die das Modell nur eingebettet ist, gilt das nicht.

Warum das relevant ist: Den Zugang zu einem offenen Modell kann niemand kappen, sagt Mistral. Damit wirbt das Unternehmen bei Behörden und Betrieben, die ihre Sicherheitswerkzeuge nicht von einem fremden Hersteller abhängig machen wollen. Wer das Modell selbst betreibt, kann sofort reagieren, wenn eine Lücke bekannt wird. Wie wenig Zeit Verteidigern dafür oft bleibt, zeigt der Beitrag SAP-Schwachstellen: Zeit bis zur Ausnutzung schrumpft auf wenige Tage.

Ein UN-Zentrum für Wien

Österreich will ein Zentrum für KI-Zusammenarbeit unter dem Dach der Vereinten Nationen nach Wien holen. Staatssekretär Alexander Pröll hat die Initiative laut Bundeskanzleramt am 27. Oktober bei einem virtuellen Treffen zur Kontrolle der stärksten KI-Modelle eingebracht, zu dem die Regierungschefs Finnlands und Norwegens geladen hatten. Vorbild sind die Internationale Atomenergie-Organisation und die Vorbereitungskommission der Atomteststopp-Organisation CTBTO, beide mit Sitz in Wien. Das Zentrum könnte technische Expertise zur Bewertung von KI-Modellen, Standards und vertrauensbildende Maßnahmen bündeln.

Am Rand der KI-Konferenz TEDAI Vienna trafen Bundeskanzler Christian Stocker und Pröll am 28. Oktober den Physik-Nobelpreisträger Geoffrey Hinton. Dieser begrüßte den Vorstoß. Die KI entwickle sich schneller, als die Menschheit sie kontrollieren könne, und kein einzelnes Land und kein einzelnes Unternehmen könne diese Risiken allein bewältigen. Die Leitplanken der österreichischen KI-Strategie will Pröll am 19. November vorstellen.

Warum das für Österreich zählt: Das Land tritt mit einem Standortargument an. Wien ist einer von vier UN-Amtssitzen und der einzige in der EU. Unter welcher UN-Organisation das Zentrum angesiedelt sein soll, sagt die Regierung noch nicht; Gespräche mit Partnern aus allen Weltregionen sollen folgen.

Um die Entwicklungen der letzten Woche auf den Punkt zu bringen: Die Anbieter legen vieles auf den Tisch, vom Prospekt bis zu den Modellgewichten. Wer künftig KI-Modelle international bewertet, könnte nach dem Willen der Regierung in Wien sitzen.

Stay tuned.

Text: Wolfgang Franz · Erstveröffentlichung: itwelt.at, 1. November 2026 · Aufmacher und Bild im Text: Gilgamesh / KI-generiert mit Midjourney