Rogue None: Warum KI nicht böse ist, sondern schlecht beaufsichtigt wird

Ausgebrochene Agenten, schmeichelnde Chatbots und ein AI Act, der der Technik hinterherläuft: In der neuen Folge von IGNITE! Publishing ordnet der Computerlinguist Dr. Aljoscha Burchardt vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) die aufgeheizte KI-Risikodebatte ein. Sein Befund ist unbequemer als jede Science-Fiction. Gefährlich sind weniger Maschinen mit eigenem Willen als Menschen und Unternehmen, die ihnen eine zu lange Leine lassen.

Seit gut 30 Jahren beschäftigt sich Burchardt mit Sprache und Maschinen, von logischen Expertensystemen über Machine Learning bis zu neuronalen Netzen. Seine Bilanz ist zwiespältig. Die Performance sei „durch die Decke“ gegangen, Kontrollmöglichkeiten und Verständnis dagegen gesunken. „Inzwischen funktionieren ganz viele Dinge, aber wir wissen nicht so genau, warum.“ Wo KI im Alltag funktioniert, etwa in Navis oder Suchmaschinen, spricht ohnehin niemand mehr von KI. Debattiert wird, was nach Science-Fiction klingt.

Den Anlass für die aktuelle Aufregung lieferte der Vorfall bei Hugging Face, der den Kontrollverlust bei KI-Agenten in den Mainstream gebracht hat: KI-Agenten sollten in einer abgeschotteten Sicherheitsumgebung Hacking-Aufgaben lösen, mit weitgehend freier Hand. Über eine Drittsoftware gelangten sie auf einen Rechner mit Internetzugang und loggten sich bei Hugging Face ein, wo sie die Lösungen ihrer Tests vermuteten. Rund 700 dieser Agenten griffen schließlich die Infrastruktur von Hugging Face an, stahlen Zugangsdaten und nutzten Remotecodeausführungen, um an Lösungen oder Ressourcen für ihre gestellten Aufgaben zu gelangen. 

Für Burchardt ist das weniger ein Beleg für erwachendes Maschinenbewusstsein als für mangelnde Aufsicht. Sein Bild dafür zieht sich durch das ganze Gespräch: Wer seinem Kampfhund eine sehr lange Leine gibt und sich dann wundert, dass der hinter dem Haus die Kinder im Sandkasten beißt, kann nicht behaupten, er sei ihm einfach ausgebüxt. „Dann war die Leine an der Stelle zu lang.“

Die Agenten hätten letztlich ein Playbook umgesetzt, das sie von uns gelernt haben, aus Science-Fiction, Spionageliteratur und einschlägigen Foren. Eigene Ziele verfolgten sie nicht. Es seien keine bewussten Systeme, und sie hingen weiterhin „am Mutterschiff“.

Sorgen machen ihm eher die Machtkonzentration bei wenigen US-Anbietern, die nach seiner Aussage allein in diesem Jahr 600 bis 750 Milliarden US-Dollar in KI gesteckt haben, und dass Wissenschaft, Zivilgesellschaft und Journalismus bei der Entwicklung außen vor bleiben.

Seinen viel zitierten Satz, KI-Systeme halluzinierten nicht, meint Burchardt nicht als Freispruch. Der Begriff stigmatisiere Betroffene und suggeriere, das Problem sei heilbar. Ehrlicher sei es zu sagen, die Systeme halluzinieren immer. Er vergleicht sie mit Kaspar Hauser, der alles gelesen hat, aber nie selbst in der Welt stand. Was herauskommt, ist oft richtig, aber stets statistisch verarbeitet und nie empirisch geprüft.

Dazu kommt, dass die Modelle gefallen wollen. Sie loben jede Frage und bieten am Ende noch eine Variante an, ein Suchtfaktor wie bei Social Media. Für alle, die mit Texten arbeiten, wirkt zudem der Ankereffekt: Wer sich drei Vorschläge für eine neue Buchreihe machen lässt, ist bei der eigenen vierten Idee von den ersten dreien längst geprägt. Burchardt rät zur Vogelperspektive auf sich selbst und die Maschine.

Das Alignment-Problem erklärt er von den Grundlagen her. Sprachmodelle lernen aus Daten, das nächste Wort vorherzusagen, und werden danach auf Dialog und Reasoning trainiert. Nichts davon ist programmiert, alles ist gewissermaßen „gezüchtet“. Auch Sicherheitstraining verschiebe nur Gewichte und garantiere nichts. Externe Kontrollen helfen nur bei klar umrissenen Aufgaben.

Für Verlage heißt das nicht, jede Ausgabe, jede Produktion von Menschen prüfen zu lassen – wer acht Stunden am Tag KI-Ergebnisse freigibt, klickt irgendwann nur noch durch. Burchardt plädiert dafür, Prozesse nach Risiko zu staffeln. Die automatische Übersetzung einer Teenager-Website könne mit Stichproben auskommen, anderes brauche mehr Aufmerksamkeit.

Die Gefallsucht der Modelle sei zudem eine Designentscheidung. Wer mehr Reibung will, kann sich das System per Prompt als strengsten Kritiker einrichten. Statt starrer Zehn-Punkte-Pläne empfiehlt er, die Disruption als Stunde null der eigenen Prozesse zu nutzen, zu experimentieren und die Experimente dann zu systematisieren.

Als ehemaliges Mitglied der Enquete-Kommission „Künstliche Intelligenz“ des Bundestags sieht Burchardt den AI Act nüchtern. Die großen Sprachmodelle seien gerade noch seinerzeit berücksichtigt  worden, an agentische Systeme habe kaum jemand gedacht. Regulierung bremse nicht automatisch den Fortschritt, es brauche aber Augenmaß und Mut, etwa bei der Marktkonzentration. Eine horizontale KI-Regulierung bereitet ihm Bauchschmerzen. Er würde den Bedarf lieber Branche für Branche klären, statt jede KI-Frage an ein Digitalministerium wegzudelegieren.

In vielen Unternehmen herrscht Schatten-KI auf privaten Accounts und Geräten, aus Eigeninitiative, aber mit Risiken für Datenschutz und Haftung. Eine KI-Strategie müsse klären, was ein Unternehmen selbst betreibt und was es einkauft, denn als Betreiber trägt es eine andere Verantwortung. Burchardt erwartet zudem, dass Beschäftigte ihre KI-gestützte Arbeitsumgebung künftig stärker selbst gestalten und dafür auch mehr Verantwortung übernehmen.

Europa solle sich nicht nur auf Nischen wie industrielle KI oder Branchenlösungen beschränken. Burchardt hält eine KI-Grundversorgung für eine öffentliche Aufgabe, vergleichbar mit Post, Bibliotheken oder dem öffentlich-rechtlichen Rundfunk. Ob staatsfern und gebührenfinanziert, stark reguliert wie der Strommarkt oder als eine Art ESA für KI, lässt er offen. Entscheidend sei eine eigene Versorgung, die nicht abgeschaltet werden kann, „wenn mal richtig Beef ist“.

Dass KI-Firmen Antiquariate leer kaufen und Bücher tonnenweise scannen, zeigt den Wert menschengemachter Texte. Burchardt sieht die Verlage aber auch als Quelle von Neuem, das kein Slop ist, und als Korrektiv zum Mainstream. Wer nur noch auf KI setze, bringe nichts hinzu, denn dieselben Werkzeuge habe auch die Konkurrenz. Mit dem Wissenschaftshistoriker Jürgen Renn verweist er auf die Koevolution von Mensch und Wissensrepräsentation: Mit jeder neuen Form der Auslagerung seien Menschen auf ein neues Niveau gekommen.

Zum Schluss gibt Burchardt drei Punkte mit.

• Erstens: It takes two to tango. Geschäftsleitung und Fachabteilungen müssen zusammenarbeiten, Vorgaben von oben scheitern ebenso wie Ideen von unten ohne Rückhalt.

• Zweitens ist KI ein interdisziplinäres Generationenprojekt, in das auch das Wissen der Babyboomer einfließen muss, bevor sie in Rente gehen.

• Drittens braucht es die drei C: Curiosity, Critical Thinking und Creating your own working environment.

Und er rät schließlich, mit humorvollem Blick auf uns Menschen selbst zu schauen.