Wenn niemand mehr liest, was die Maschine geschrieben hat

Ein Entwickler beschreibt seinen Arbeitsalltag in einem Großkonzern so: Spezifikation, Tickets und Code kommen vollständig von einem KI-Agenten, und gelesen wird davon nichts mehr. Simon Willison zitiert diesen Bericht in seinem Blog. Das ist kein Untergangsszenario, sondern eine Betriebsbeschreibung, und sie ist deshalb unangenehm, weil sie plausibel klingt.

Im selben Zeitraum stehen zwei andere Meldungen. Microsoft hat eine Laufzeitumgebung mit Agenten nach Rust portiert, die Rechnung dafür lag bei rund 120.000 Dollar. Und Anthropic baut seine Projects zu einem Auftragsverteiler um, der mehrere Agenten parallel an Aufgaben setzt. Beides erhöht die Menge an Ergebnissen pro Tag. Keines der beiden erhöht die Menge an Menschen, die sie ansehen.

Die Portierung zeigt, worauf es ankommt

An der Rust-Portierung ist die interessante Stelle nicht der Preis, sondern die Aufgabenart. Bei einer Portierung existiert das alte System noch. Es gibt ein Verhalten, gegen das du das neue Ergebnis halten kannst, und wenn Tests vorhanden sind, laufen sie gegen beide Seiten. Eine Maschine, die hier arbeitet, arbeitet gegen einen Maßstab, den sie nicht selbst erfunden hat.

Das ist der Unterschied zu einem Agenten, der eine Spezifikation schreibt, daraus Tickets ableitet, den Code dazu baut und am Ende die Tests, die den Code bestätigen. Dann ist der Maßstab aus derselben Quelle wie das Ergebnis. Wenn ein System eine Zahl ausgibt und niemand nachvollziehen kann, woher sie stammt, ist die Zahl wertlos. Für Code gilt dasselbe, nur fällt es später auf.

Für dich als Auftraggeber heißt das: Frag nicht, ob KI im Spiel war. Frag, woran das Ergebnis gemessen wurde und wer diesen Maßstab festgelegt hat.

Woran du im Abnahmegespräch merkst, ob jemand hingesehen hat

Ein Mensch, der ein Ergebnis wirklich geprüft hat, hat dabei etwas gefunden. Immer. Deshalb ist die aufschlussreichste Frage in einer Abnahme nicht „funktioniert das?", sondern „was funktioniert noch nicht?". Wer dir eine Liste mit drei bekannten Lücken nennt und dazusagt, welche davon euch im Betrieb treffen wird, hat gelesen, was da entstanden ist. Wer sagt, es laufe alles, hat es vorgeführt bekommen.

Die zweite Probe ist eine Entscheidung. Such dir eine Stelle aus, an der die Lösung anders aussieht, als du erwartet hättest, und lass sie dir erklären. Eine begründete Antwort klingt nach Abwägung, also „wir haben zuerst X versucht, das ist an Y gescheitert". Eine ungeprüfte Antwort klingt nach Beschreibung. Sie sagt dir, was der Code tut, nicht warum er so ist.

Vier Fragen an deinen Dienstleister

1. Wer hat das gelesen, und woran sehe ich das? Ein Name, ein Datum, ein Review-Eintrag. Nicht „unser Team".
2. Was hat die Erzeugung gekostet und was die Prüfung? Getrennt ausgewiesen. Wenn die Prüfung in keiner Position auftaucht, ist sie in keinem Kalender aufgetaucht.
3. Was passiert, wenn ich einen Test absichtlich kaputt mache? Also: Existiert eine automatische Prüfung, die tatsächlich anschlägt, oder eine, die nur grün leuchtet? Das lässt sich in zehn Minuten vorführen.
4. Wer erklärt mir diese Stelle in achtzehn Monaten? Ein Agentenlauf ist selten reproduzierbar. Was bleibt, sind Code, Tests und Dokumentation. Wenn die drei nicht zusammenpassen, gehört die Lösung niemandem mehr.

Die vierte Frage ist die, die am meisten kostet und am seltensten gestellt wird. Software wird nicht teuer, wenn sie entsteht. Sie wird teuer, wenn sie jemand ändern muss, der nicht dabei war.

Schreibt die Freigabestelle in den Ablauf, nicht in die Präsentation

Paralleles Arbeiten von Agenten verschiebt den Engpass. Wenn fünf Aufgaben gleichzeitig fertig werden, ist die knappe Ressource nicht mehr die Erzeugung, sondern die Aufmerksamkeit. Genau da entsteht die Gewohnheit, nur noch das Ergebnis zu überfliegen. Dagegen hilft keine Haltung, sondern eine Stelle im Ablauf, an der ohne einen Klick nichts weitergeht.

Mach das konkret für einen eurer Prozesse. Wenn bei euch aus einer Kundenanfrage per Mail automatisch ein Angebotsentwurf im ERP entsteht, dann ist die Freigabestelle der Moment, bevor das Angebot das Haus verlässt. Leg fest, wer klickt, was er dabei mindestens ansieht, meinetwegen Menge, Preis und Liefertermin, und dass Name und Zeitstempel im Datensatz stehen bleiben. Prüf danach den Rest des Ablaufs mit einer einzigen Frage: Gibt es einen zweiten Schritt, an dem ein Fehler nach draußen geht oder Geld bewegt wird? Dann braucht auch der einen Klick.

Und wenn sich für eine Freigabe niemand findet, weil alle zu viel zu tun haben, ist das die Antwort. Dann gehört dieser Schritt noch nicht in die Automatisierung, sondern bleibt beim Menschen, bis jemand die Zeit dafür im Kalender hat.

Bei der Social-Automation für Kunst gegen Bares, die wir gebaut haben und selbst betreiben, liegt diese Stelle im Kalender. Die KI schreibt die Textvarianten pro Kanal, veröffentlicht wird erst, wenn ein Mensch den Beitrag freigegeben hat. Das kostet pro Beitrag eine Minute und ist der Grund, warum wir die Vorschläge überhaupt so ungeschützt an das Modell delegieren können.

Was du davon mitnimmst

Die Meldungen dieser Wochen zeigen nicht, dass Agenten zu viel können. Sie zeigen, dass der Flaschenhals sich verschoben hat, und dass Organisationen dazu neigen, einen Flaschenhals zu übergehen statt ihn zu besetzen. Deine Aufgabe als Auftraggeber ist klein und unspektakulär. Verlang einen Namen an jedem Ergebnis, eine getrennte Zeile für die Prüfung im Angebot und eine benannte Stelle, an der jemand aus deinem Haus zustimmt. Das lässt sich in einem Gespräch klären und trägt länger als jede Zusicherung über eingesetzte Werkzeuge.