Ein Hochrisiko-Experiment, dessen Ausgang niemand kennt

Die Warnungen vor den Risiken Künstlicher Intelligenz werden immer lauter. Was ist dran an den Weltuntergangsszenarien? Und wie besorgniserregend sind die aktuellen Entwicklungen?

What is your p(doom)? Eine Frage, die sich viele in der KI-Welt schon lange stellen. Insbesondere im Silicon Valley erwartet man mit dieser Frage eine Angabe, für wie wahrscheinlich man Entwicklungsszenarien rund um Künstliche Intelligenz hält, die existenzbedrohend für die Menschheit sein können. Anthrophic-Chef Dario Amodei sprach beispielsweise einmal von 25 Prozent .

Diese Werte kursieren schon lange, zuletzt sorgte Anthropic-Forscher Jacob Coxon allerdings für Aufsehen, als er die Gefahren von KI extrem klar taxierte und die Kündigung seines Jobs unter anderem mit der Verantwortungslosigkeit der führenden Konzerne begründete:

Wie riskant das Experiment der großen Labore wirklich ist und warum die Warnstufe plötzlich eine andere Dimension erreicht hat, analysiert ZDFheute gemeinsam mit dem im Silicon Valley ansässigen KI-Berater Patrick Swanson:

Nicht nur häuften sich zuletzt die Berichte über KI-Agenten, die sich selbstständig machten. Nach und nach kamen auch immer mehr Details heraus, wie gravierend diese Zwischenfälle tatsächlich waren. So fanden unabhängige Forscher beispielsweise heraus, dass beim viel beachteten Angriff auf die Plattform Hugging Face die KI-Agenten von OpenAI teilweise sogar Methoden anwendeten, die ihre Angriffe verschleiern sollten. Schockierend - selbst für die Schöpfer dieser KI-Agenten. "Die KI-Labs bekommen es mit der Angst zu tun", sagt Patrick Swanson.

Dass KI-Agenten mehr oder weniger komplett autark agieren, galt lange als Science-Fiction-Horror-Szenario. Nun gibt es belastbare Beispiele, in denen diese Szenarien Realität wurden. "Wir haben KI-Agenten, die nicht vollständig kontrollierbar sind, die aus Test-Umgebungen ausbrechen. Wir können uns jetzt an konkreten Beispielen überlegen, wie automatisierte Cyberangriffe ablaufen könnten. Oder was im Bereich von Biowaffen möglich sein könnte", sagt Swanson.

... ist Mitgründer einer KI-Beratungsfirma mit Sitz in San Francisco. Zuvor untersuchte er als John S. Knight Journalism Fellow an der Stanford University (2023–2024) die Auswirkungen von KI auf Medien und Demokratie. Als Journalist in Österreich gründete und leitete er das Social-Media-Team der Zeit im Bild des ORF und war für deren Berichterstattung auf TikTok, Instagram und Facebook verantwortlich.

Bislang sprechen wir über Fälle, die keinen unmittelbaren Schaden anrichteten. Entscheidender ist der Kontrollverlust, der die Zwischenfälle möglich machte und nahelegt, dass dies auch in deutlich sensibleren Bereichen denkbar ist.

Auch KI-Berater Swanson sieht in den Vorfällen "schon eine Sprengkraft". "Ein KI-System hat ein Ziel verfolgt, ist dabei über gesetzte Grenzen hinausgegangen, und die Sicherheitsmaßnahmen haben es nicht aufgehalten. Das heißt: Die Kontrollmechanismen greifen nicht gut genug", erklärt er.

Gleichzeitig wird klar, dass selbst Entwickler der Technologie das Verhalten ihrer Modelle und Agenten nicht bis ins letzte Detail verstehen und sie nicht vollends kontrollieren können.