Künstliche Intelligenz: Anthropic lässt erste Prüfer ins Unternehmen

Während die US-Regierung noch an einer Sicherheitseinschätzung zu den Gefahren der künstlichen Intelligenz (KI) arbeitet, hat der KI-Entwickler Anthropic ein dreistufiges Sicherheitsmodell vorgestellt. Dabei sollen externe Prüfer weitgehenden Zugang bekommen.

Wie Anthropic in einem Blogbeitrag mitteilt, hat das »Onboarding« von sechs Mitarbeitern des auf KI-Modelle spezialisierten Beratungsunternehmen METR bereits begonnen. Es heißt, dass die Prüfer nicht nur Büros von Anthropic bekommen, sondern auch Firmen-Hardware und Zugang zu den internen Netzwerken. Damit haben sie ähnliche Einblicke in die aktuelle Entwicklung bei Anthropic wie die eigenen Angestellten des Unternehmens.

Anthropic zieht damit die Konsequenz aus einer Reihe von Sicherheitsvorfällen, die in den vergangenen Monaten bekannt wurden. Ende Juli musste der KI-Vorreiter etwa eingestehen, dass bei Tests neuer Modelle drei andere Firmen attackiert worden waren, was den Anthropic-Angestellten erst bei einer nachträglichen Prüfung aufgefallen war . Diese und andere Sicherheitspannen hatten weltweit eine Regulierungsdebatte zu den Gefahren von KI befeuert.

Das gemeinnützige Unternehmen METR hatte unter anderem den Einbruch von KI-Agenten des Anthropic-Konkurrenten OpenAI bei der KI-Plattform Hugging Face untersucht. Seine Prüfer gelten als technisch kompetent, allerdings wird METR eine große Nähe zu Anthropic vorgeworfen. ( Mehr dazu lesen Sie hier. )

Wie Anthropic ankündigt, arbeitet das Unternehmen auch mit Prüfern der Firmen SecureBio und der Faculty zusammen. Außerdem soll es Gespräche mit weiteren Firmen geben, darunter Hugging Face.

Anthropic-Chef Dario Amodei hat schon länger Pläne für mehr Kontrolle bei der KI-Entwicklung. Streitpunkt war aber, wie transparent die Prüfer sein können, ohne Geschäftsgeheimnisse offenzulegen. Ein Insider sagte der Nachrichtenagentur Reuters jedoch, dass die Gespräche zuletzt gut vorangegangen seien und das Unternehmen offener ⁠geworden sei.

Laut der nun vorgestellten Regelung sind Kundendaten, rechtlich geschützte Informationen und die Modellarchitektur für die Prüfer tabu. Anthropic kann die Ergebnisse von METR etwa ‌zu Risiken und Vorfällen nicht per Veto blockieren, aber eng definierte Schwärzungen verlangen. METR kann diese Schwärzungsanträge öffentlich hinterfragen, ohne die zurückgehaltenen Informationen preiszugeben.

8 Min Zur Merkliste hinzufügen Claude Mythos: Ist diese neue KI zu gefährlich für das Internet? Von Torsten Kleinz 5 Min Zur Merkliste hinzufügen 5 Min Zur Merkliste hinzufügen Amodei vs. Altman: Entwickelt, entfesselt, außer Kontrolle? Das riskante Wettrennen der KI-Pioniere Von Simon Book und Angela Gruber 18 Min Zur Merkliste hinzufügen 18 Min Zur Merkliste hinzufügen Sein dreistufiges ‌Zugangssystem skizziert Anthropic so: Prüfer der ersten Stufe führen eng ​begrenzte Untersuchungen durch und benötigen eine Genehmigung zur ‌Veröffentlichung. In der mittleren Stufe erhalten die Aufseher mehr Informationen und können ihre Erkenntnisse eigenständig veröffentlichen, allerdings mit den erwähnten Schwärzungen.