Künstliche Intelligenz: Anthropic-Chef fordert KI-Bremse und will externe Prüfer in der Firma

Einige der prominentesten Vertreter der Technologiebranche haben sich dafür ausgesprochen, das Entwicklungstempo für Künstliche Intelligenz zu reduzieren. „Wir müssen die Geschwindigkeit verlangsamen, mit der wir die Fähigkeiten von KI-Modellen verbessern“, schrieb Dario Amodei, der Mitgründer und Vorstandsvorsitzende des KI-Unternehmens Anthropic, am Wochenende in einem Aufsatz .

Sam Altman, Vorstandschef von Anthropics wohl wichtigstem Wettbewerber OpenAI , stimmte Amodei auf der Plattform X zu und sagte , ein Drosseln des Entwicklungstempos sei in seinem Unternehmen in den vergangenen Wochen eines der Hauptthemen gewesen. Auch Elon Musk, der Vorstandschef des Raumfahrtunternehmens SpaceX und des Autoherstellers Tesla, schrieb auf X: „Dario hat recht.“ Zu SpaceX gehört das KI-Unternehmen X.AI.

Amodeis Appell kam nur wenige Tage, nachdem ein früherer Anthropic-Beschäftigter mit einer düsteren Warnung für Aufsehen gesorgt hatte. Jacob Coxon, der sowohl für OpenAI als auch für Anthropic als Forscher gearbeitet hat, schrieb auf X, er habe bei Anthropic gekündigt, und er brachte dies mit seinen Sorgen über die Sicherheitsrisiken in Verbindung. Er schrieb: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Dies ist kein Marketing-Stunt.“

Um externe Inhalte anzuzeigen, ist Ihre widerrufliche Zustimmung nötig. Dabei können personenbezogene Daten von Drittplattformen (ggf. USA) verarbeitet werden. Weitere Informationen .

Coxon erhielt Unterstützung von Evan Hubinger, der noch bei Anthropic arbeitet und dort ein Sicherheitsteam führt. Hubinger schrieb: „Jacob hat recht – wir glauben tatsächlich, dass KI alle Menschen töten könnte.“ Er persönlich schätze die Wahrscheinlichkeit, dass dies in den kommenden zehn Jahren passieren könnte, auf mehr als 10 Prozent.

Coxon warf sowohl OpenAI als auch Anthropic vor, verantwortungslos zu handeln. Bei OpenAI hätten viele Mitarbeiter noch nicht verinnerlicht, was für die Menschheit auf dem Spiel stehe. Bei Anthropic sei dies zwar anders, aber das Unternehmen sehe sich in einem „Rennen“ mit Wettbewerbern und nehme deswegen Risiken in Kauf.

Anthropic-Chef Amodei sagte jetzt, sein Unternehmen habe seit jeher versucht, „Vorsicht über Geschwindigkeit und Umsicht über Gewinne zu stellen“. Anthropic habe einen „Mittelweg“ gesucht, der berücksichtige, dass es „rücksichtslos“ wäre, KI zu schnell zu entwickeln, aber auch versuche, der Menschheit den Nutzen von KI nicht vorzuenthalten. In den vergangenen Monaten sei er aber zu dem Schluss gekommen, dass „noch mehr Umsicht“ notwendig sei. Es reiche nicht, in „Risikoprävention“ zu investieren. Auch das Entwicklungstempo müsse reduziert werden, damit Risikoprävention Schritt halten könne. Wenn man mit dieser Verlangsamung ein bis zwei Jahre Zeit gewinnen könnte, könnte die Zeit genutzt werden, um zu gewährleisten, dass KI im Sinne der Menschheit entwickelt werden könne. Damit ließe sich das Risiko reduzieren, „dass etwas ernsthaft schiefgeht“.

Um externe Inhalte anzuzeigen, ist Ihre widerrufliche Zustimmung nötig. Dabei können personenbezogene Daten von Drittplattformen (ggf.