Digitale Wissensbissen - gelungene Software-Projekte, wirksame KI, zukunftsfähige Architekturen

260 Chicken McNuggets: Wo KI-Pilotprojekte an die Wand fahren

Johannes Stiehler Season 2 Episode 2

Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.

0:00 | 23:48

Eine KI-Demo kann dich in zehn Minuten überzeugen und dir trotzdem am Montagmorgen um die Ohren fliegen. Genau diese Lücke zwischen Applaus und Alltag nehmen wir auseinander, weil sie in KI-Projekten immer wieder Millionen kostet: Klarna rudert nach großem KI-Versprechen zurück und stellt wieder Menschen ein, McDonalds beendet den KI-Drive-Through-Test trotz guter Trefferquote, und Studien zeigen ernüchternd, wie selten Pilotprojekte echten ROI liefern. 

Wir erklären, warum Demos fast zwangsläufig den Idealfall zeigen: saubere Daten, geübte Fragen, bekannte Use Cases. Der Produktivbetrieb sieht anders aus, denn dort entscheiden die letzten 15%: Sonderfälle, Dialekte, echte Datenqualität, Verantwortung, Halluzinationen, Eskalation bei Unsicherheit. Und wir sprechen über die unsichtbaren, aber entscheidenden Baustellen einer KI-Implementierung: Datenintegration, APIs, Rollen- und Rechtemanagement, Compliance, Monitoring und Betriebsprozesse. 

Damit du nicht nur Beeindruckendes kaufst, sondern Belastbares, geben wir dir konkrete Prüffragen und Demo-Regeln mit: auf eigenen Daten testen, neue Daten mitbringen, Fehlerfälle aktiv verlangen und klären, was das System tut, wenn es etwas nicht weiß. Außerdem zeigen wir, was erfolgreiche Teams anders machen: für den Dauerbetrieb planen, für die schwierigen Fälle optimieren und echte Schmerzpunkte im Prozess auswählen, oft im Backoffice statt im Marketing-Schaufenster. 

Wenn dir das hilft, abonnier den Podcast, teile die Folge mit deinem Team und lass eine Bewertung da. Welche Demo hast du gesehen, die im Alltag gescheitert ist?

Erwähnte Fälle & Quellen

Klarna kehrt von „AI-first" zurück zu Menschen („lower quality“; ein Jahr zuvor: Assistent „does the work of 700 human agents”) + IBM-CEO-Studie (nur 1 von 4 Projekten bringt den ROI, 16 % unternehmensweit skaliert, 64 % investieren aus Angst vorm Abgehängtwerden) — Fortune, Mai 2025: https://fortune.com/2025/05/09/klarna-ai-humans-return-on-investment/

Klarna-Einstellungsstopp („We stopped hiring about a year ago. We were 4,500, now we’re 3,500" — laut Klarna-Sprecher vereinfacht, Schlüsselrollen wurden nachbesetzt) — TechCrunch, Dez. 2024: https://techcrunch.com/2024/12/14/klarnas-ceo-says-it-stopped-hiring-thanks-to-ai-but-still-advertises-many-open-positions/

McDonald’s beendet den KI-Drive-thru (~85 % Trefferquote, virale Fehler; „260 Chicken McNuggets" laut Fortune) — ACS Information Age, Juni 2024: https://ia.acs.org.au/article/2024/mcdonald-s-bins-ai-drive-thru-after-errors-go-viral.html

30 % der GenAI-Projekte nach dem Proof of Concept beerdigt; Einführung 5–20 Mio. USD — Gartner, Juli 2024: https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025

95 % der Piloten ohne messbare P&L-Wirkung („nicht das Modell, sondern die Lücke"; spezialisierte Partner ~67 % vs. Eigenbau ~1/3; größter ROI im Back-Office) — MIT NANDA, State of AI in Business 2025 (via Fortune), Aug. 2025: https://fortune.com/2025/08/18/mit-report-95-percent-generative-ai-pilots-at-companies-failing-cfo/

Klarna Kehrtwende Und Ernüchterung

SPEAKER_00

Vor gut einem Jahr war Klana der Liebling auf KI-Konferenzen. Der Zahlungsdienstleister verkündete, sein KI-Assistent erledige die Arbeit von 700 Kundenservice-Mitarbeitern. Schneller natürlich, billiger auf jeden Fall und rund um die Uhr. Ein ganzes Jahr lang stellte das Unternehmen niemanden mehr neu ein und der Chef erklärte öffentlich, KI könne im Grunde schon alle Aufgaben übernehmen, die wir Menschen erledigen. Und dann kam die Kehrtwende. Derselbe Chef räumte ein, man sei zu weit gegangen. Weil die Kosten ein zu dominierender Maßstab gewesen sei, habe man am Ende schlechtere Qualität bekommen. Jetzt stelle man wieder Menschen ein, denn der Kunde müsse immer einen echten Menschen erreichen können. Die KI war nie so gut, wie die Demo versprochen hatte und der Unterschied fiel erst im echten Betrieb auf. Klana ist damit kein Einzelfall. Eine IBM-Befragung von 2000 Geschäftsführern kommt zu einer ernüchternden Zahl. Nur eines von vier KI-Projekten bringt den versprochenen Ertrag. Nur 16% werden über das ganze Unternehmen ausgerollt. Trotzdem rennen alle los. Fast zwei Drittel investieren, bevor sie den Nutzen verstanden haben, aus Angst abgehängt zu werden. Willkommen

Die Lücke Zwischen Demo Und Alltag

SPEAKER_00

zu digitale Wissensbissen. Heute geht es um die teuerste Strecke in jedem KI-Vorhaben, nämlich die zwischen der Demo, die alle begeistert, und dem Montagmorgen, an dem das Ding wirklich laufen soll. Beginnen

Warum Demos Den Idealfall Zeigen

SPEAKER_00

wir mit einer simplen Wahrheit. Eine Demo ist gebaut, um zu beeindrucken. Das ist nicht Täuschung, das ist nicht Betrug, das liegt in der Natur der Sache. Eine Demo basiert auf sauberen Daten, auf geübten Fragen, auf Dingen, die man, auf Use Cases, die man Sigmal schon durchgespielt hat und von dem man weiß, dass sie funktionieren. Ob das jetzt die Demo ist, die euch eine Firma gibt und die lange vorbereitet wurde mit PowerPoint und allem möglichen, oder ob das die Demo ist, die einen Kollege euch gibt, indem er ein Dokument in ChatGPT hochlädt, macht eigentlich keinen Unterschied. Es geht darum, dass der allerbeste Outcome eines Systems natürlich nicht der durchschnittliche Outcome eines Systems ist. Unser Kopf sieht drei gut gemachten Beispiele und rechnet auf 300 hoch. Eine Demo ist ehrlich in dem, was sie zeigt, aber unehrlich in dem, was sie suggeriert. Sie zeigt genau, was eine KI zum Beispiel kann, aber sie suggeriert, dass diese Idealfälle auf den Alltag skalieren und das tun sie in den seltensten Fällen. Ein

McDonalds Test Und Die 15%

SPEAKER_00

gutes Beispiel davon ist McDonald's. Die haben drei Jahre lang an über 100 Drive-Throughs getestet, ob man die Bestellung mit KI automatisieren kann. Sie kamen in ihren Experimenten im Prinzip in der Demo-Phase, wenn man so will, auf 85% Trefferquote. Das heißt, nur jede fünfte Bestellung wurde durch Menschen bearbeitet oder musste durch Menschen bearbeitet werden. Das klingt total beeindruckend und klingt halt auch so, als könnte man wirklich die Belegschaft runterskalieren und wirklich Menschen durch KI ersetzen und hätte am Ende den gleichen Outcome. Aber auch bei McDonald's lagen die Demophase und der Produktivbetrieb halt sehr weit auseinander. Und wie weit sieht man, wenn man diese 15% mal ehrlich anschaut? In dem echten Drive-Thru war es nämlich dann so, dass nicht einfach nur die fünfte Bestellung nicht bearbeitet werden konnte, sondern die KI hat dann angefangen, Speck aufs Eis zu packen, Wasser statt Ketchup zu liefern. Und in einem Video, an das sich manche vielleicht noch erinnern, sieht man, wie sie immer mehr Chicken McNuggets auf eine Bestellung aufaddiert, bis die armen Damen, die das ordnern wollten, bei 260 Stück gelandet sind, während sie panisch Stopp-Stop gerufen haben. Das ist nicht einfach nur ein kleiner Fehler, das ist tatsächlich ein Fehler, an dem so eine Anwendung tatsächlich dann sterben kann. Genauso war das auch bei McDonalds. Mitte 2024 hat McDonalds diesen Versuch beendet und beweisen damit, was wir in KI-Projekten auch immer und immer wieder sehen, es ist halt oft so, dass das Pareto-Prinzip einen wirklich wahnsinnig erwischt. 85% des Use Cases sind relativ einfach, auch nicht super simpel, aber die verbleibenden 15% sind halt 100 Sonderfälle. Im Falle von McDonalds kann das Dialekt sein, Genuschel, ungewöhnliche Bestellkombinationen, Dinge, die einfach die KI noch nie gesehen hatte. Und oft ist es genauso wie hier eben auch in diesem McDonald-Beispiel, dass die Demo von den 85% lebt und der Produktivbetrieb an den 15% stirbt. Das sieht man auch in Softwareprojekten immer wieder. Diese 15% noch in den Griff zu kriegen, kostet oft mehr als der ganze Rest davor. Aber diese 15% machen aus einer gut gemeinten Demo oder einem Piloten oder wie auch immer man das nennen will, eben überhaupt erst ein produktives Stück Software.

Was Im Produktivbetrieb Wirklich Fehlt

SPEAKER_00

Was liegt denn nun zwischen Demo, Pilot- und Produktivbetrieb? Was verhindert, dass die KI mehr Speck aufs Eis packt? Es sind im Prinzip die ganz banalen Dinge, die bei einer Demo natürlich keinerlei Rolle spielen, von denen wir aber alle wissen, dass sie total wesentlich sind. Zum Beispiel die Anbindung an echte Systeme. Die meisten Piloten finden in Isolation stand, kümmern sich nicht um so lästige Themen wie Datenintegration oder APIs, sondern arbeiten mit über den gleichen Beispielen, glattgebügelten Daten, die einfach manuell zusammengestellt werden. Sonderfälle fehlen eigentlich immer. Sonderfälle sind eigentlich das Interessante, auch absichtlich KIs an ihr Limit zu bringen und zum Scheitern zu bringen, um zu wissen, wo die Grenzen stecken. Die Mühe macht sich kaum jemand in dieser Pilotphase, in der Honeymoon-Phase, wenn man so will, mit KI. Rechte und Überwachung der Rechte und Pflege der Rechte, also wer darf was sehen? Deswegen liegen eben auch noch so viele Kosten zwischen Applaus und Alltag, weil nichts davon in eine Demo oder in einen Piloten passt.

Studien Zu Kosten Und Scheitern

SPEAKER_00

Gartner sagt voraus, dass mindestens 30%, dass mindestens 30% von solchen Vorhaben nach dem Proof-Koncept beerdigt werden. Und dass die, die dann wirklich eingeführt werden, im Durchschnitt, nehme ich mal an, ist das gemeint zwischen 25 Millionen Dollar Kosten. Und das dokumentiert eigentlich beide Sachen, die ich gerade gesagt habe, sehr beeindruckend. Der POC, der Pilot, die Demo, ist nicht der erste Schritt, sondern ist ein Vorspiel zu einer produktiven Einführung. Die eigentlichen Kosten liegen später und damit liegt auch der Grund, warum so etwas sterben könnte später. Und das ist auch der gleiche Grund, warum zum Beispiel das MIT feststellt in einer anderen Studie, dass 95% der Piloten ohne messbare Auswirkungen auf die Bilanz bleiben. Das heißt, 95% von KI-Piloten, Demo-Applikation mit generativer KI, bleiben ohne jeden messbaren Effekt. Und das MIT sagte auch sehr deutlich, nicht die Modelle, nicht die generative KI sind das Problem, nicht das Modell verursacht diesen Gap, sondern es ist die Lücke zum Arbeitsalltag. Es bleibt eine isolierte Demo. Ohne den Übergang zu dem Produktivtool, wo dann eben Sonderfälle eine Rolle spielen, wo ich über mich um Rechte kommen muss, wo ich ein reales Thema angebunden sein muss, bleibt das Ganze ins Spiel und bringt nichts. Der Pilot ist meistens günstig, der Produktivbetrieb ist meistens teuer, weil der Weg dahin noch so viel Arbeit enthält. Wer die Demo für das Projekt hält, zahlt im Prinzip für zwei Wochen arbeitet und wundert sich, warum das, was so leicht aussah, als ich es selber mit ChatGPT ausprobiert habe, plötzlich in der Realität eben nicht funktioniert. Und genau dort zwischen dieser initialen Vorführung und dem produktiven Ausrollen stirbt dann das ganze Vorhaben. Auch meistens nicht mit dem Knall, sondern leise. Das Budget ist weg, die Begeisterung ist weg und dann zieht halt irgendjemand den Stecker. Oft werden solche KI-Projekte tatsächlich Piloten genannt, weil man genau absichtlich keinen der wesentlichen Aspekte testen möchte, an denen es später im Produktivbetrieb klemmen kann. Da wird nicht im Piloten zumindest nicht festgestellt, ob man an die Daten kommt. Es wird nicht festgestellt, ob die rechte Struktur das überhaupt hergibt. Es wird nicht festgestellt, ob es rechtlich, also aus Compliance-Aspekten überhaupt möglich ist, das zu tun, was man sich vorgenommen hat. Weil im Piloten liegen die Daten ja bereit, die Rechte sind geklärt, es ist alles sauber und glatt gebügelt. Und im Betrieb, wenn das dann produktiv gehen soll, stellt sich im Prinzip dann jede wesentliche Frage zum ersten Mal in Ernst. Und dann reicht eine undichte Stelle, eine unvorhergesehene Schwierigkeit, um alles zum Stehen zu bringen. Eine beeindruckende Demo, ein beeindruckender Pilot und ein langfristiger Produktivbetrieb sind eigentlich zwei Disziplinen. Das sind fast schon unterschiedliche Menschen, unterschiedliche Projektteams, die man braucht, um diese zwei verschiedenen Dinge hinzukriegen.

Hype Angst Und Verbrannte Piloten

SPEAKER_00

Wenn so absehbar ist, dass das Projekt oft an dieser Lücke sogar eingeht, warum passiert es dann immer und immer wieder, dass genau dieser Weg gewählt wird? Beeindruckende Demo und dann scheitert es auf dem Weg zum Produktivbetrieb. Die Antwort auf diese Frage kommt auch in diesem IBM-Bericht vor. Zwar zwei Drittel der Chefs investieren, bevor sie den Nutzen tatsächlich verstanden haben, also den Nutzen, den eine konkrete Verwendung von KI-Technologie in ihrem Unternehmen bringen kann. Weil die Frage ist nämlich nicht, was können wir erreichen mit dem Einsatz von KI, die Frage ist viel zu oft, was können wir tun, um nicht abgehängt zu werden. Die Angst von Konkurrenten durch den Einsatz von KI abgehängt zu werden, ist viel zu groß, um irgendwie klar nachzudenken, was trägt. Die Frage ist immer, wie sehen wir damit aus? Die Frage ist nie, was trägt und was bringt uns das. Und das führt dann letzten Endes dazu, dass man das Beeindruckende kauft, statt das Belastbare. Dass man sich von einer Demo überzeugen lässt, vielleicht an einer Stelle auf KI zu setzen, wo sie gar nicht geeignet ist und dabei hunderte Stellen, die man mit generativer KI wirklich, wirklich optimieren könnte, außer Acht zu lassen. Das kann man zum Teil den Leuten nicht vorwerfen, das Thema KI ist nun mal sehr hype besetzt und Unternehmen unterliegen hohem Druck mit diesem Thema irgendwie gut umzugehen, aber Druck verwandelt eine Demo halt nicht in ein belastbares System. Ich muss trotzdem den Schritt zurückmachen, um mich fragen, ist nicht diese Idee beeindruckend, sondern passt diese Idee in mein Gesamtkonstrukt und kann ich sie überhaupt in meinem Kontext umgesetzt bekommen? Das Schlimme ist ja, dass Organisationen, die durch diesen Zyklus gegangen sind, die sich Piloten implementiert haben, die dann letzten Endes gestorben sind, die verbrennen sich damit natürlich die Finger. Das sehen wir auch in der Realität immer wieder, wir reden immer wieder mit Firmen, die ursprünglich total überzogene Vorstellungen haben, was sie alles in-house umsetzen können und was sie beeindruckend mit KI machen können. Und dann ein halbes Jahr später kommt man zurück und die Erde ist im Prinzip verbrannt. Zig Piloten, die alle nichts gebracht haben, wurden durchgezogen. Und jetzt ist der gleiche Typ, der eben noch Feuer und Flamme war für die Möglichkeiten von generativer KI der Meinung, dass das sowieso alles nichts bringt und dass man das alles einfach gar nicht machen sollte. Wie kann man sich als Unternehmen, als auch als Chef von einem Unternehmen jetzt dagegen wapnen, letzten Endes?

Vom Betrieb Her Denken

SPEAKER_00

Man muss sich einfach nur bewusst machen, eine gute Demo und ein guter Pilot endet im Applaus. Ein gutes System, eine gute KI-Implementierung ist dazu designt, einfach nie zu enden. Sie läuft am Dienstag, am Sonntag, im Streitfall, im Urlaub, bei allen möglichen Sonderfällen. Und wenn sie mal nicht läuft und nicht mit was klarkommt, dann kommuniziert sie das klar über Monitoring und Überprüfungsprozesse. Eine Demo ist eine Geschichte, die bei der Demo aufhört. Und das ist genau die Frage, die man Dienstleistern eben nicht stellen darf. Genauso wenig, wie man einem Team, das ein Haus bauen soll, die Frage stellt, gib mir mal eine Skizze. Sondern die Frage, die man stellt, ist, zeigt mir mal ein Haus, das ihr schon gebaut habt. Zeigt mir eine Lösung, die seit einem Jahr läuft. Was ist kaputt gegangen? Wie wurde es repariert? Wirkt sich das auf zukünftige Projekte aus? Was habt ihr daraus gelernt? Läuft es jetzt noch? Was bringt es? Was ist der klare Nutzen für das Unternehmen? Das ist die Frage, die man Anbietern stellen muss. Und das ist auch die Frage, die die wirklich erfolgreichen Firmen, also die Firmen, die erfolgreich KI in ihr Unternehmen bringen, Bilandeffekte damit erzeugen, die wirklich Prozesse effektiver machen und die wirklich Geld sparen oder Geld verdienen mit KI, das ist die Frage, die den Unterschied macht. Gute Anbieter im Bereich KI-Integration müssen die Frage beantworten können, wie sie mit den schwierigen Teilen von KI-Integration umgehen. Und die schwierigen Teile sind eben oft nicht das Modell, das ist oft auch nicht einfach, aber viel häufiger ist die eigentliche Herausforderung, die Integration in bestehende Systeme, die wirklich korrekte Abbildung von Geschäftsprozessen und der Umgang mit Themen wie Halluzinationen oder unerwarteten Abweichungen oder auch der Umgang mit Verantwortung. In manchen Prozessen muss irgendjemand verantwortlich sein für das Ergebnis, dann stellt sich schon mal nicht die Frage, ob man das einfach vollautomatisch mit KI erledigen kann. Was machen die denn anders, die erfolgreich sind, die wirklich von einer Pilotimplementierung zu einem Produktivbetrieb kommen, der auch wirklich was leistet, der wirklich einen Ertrag bringt. Und auch dazu hat diese MIT-Studie ein paar Erkenntnisse. Das erste ist, Projekte mit spezialisierten Partnern, mit echten Experten in diesen Technologien gelingen zwei von dreimal. Und Projekte, die man versucht im Eigenbau umzusetzen, tatsächlich nur etwa ein Drittel so oft. Das liegt schlicht daran, dass das Bauen für den Betrieb, das Bauen für die produktive Strecke tatsächlich eine ganz andere Form von Erfahrung und Kompetenz voraussetzt, als das Aufsetzen von einer Demo. Der zweite Unterschied ist die Haltung. Die Erfolgreichen Bauen und Planen und Optimieren für die 15%, nicht für die 85%. Denen ist bewusst, dass hinter dem Piloten, hinter der Machbarkeitsstudie, hinter dem Beweis, dass KI funktionieren kann für einen Anwendungsfall, noch ein Großteil der Arbeit steht, um es dann in den Produktivbetrieb zu bringen. Die verbringen ihre Energie eben nicht mit dem schönen Normalfall, der in der Demo glänzt, sondern mit den unangenehmen Sonderfällen, mit den Fehlerquellen, mit der Frage, was passiert, wenn das System sich unsicher ist zum Beispiel. Das ist auch in Rückgriff auf unsere letzte Folge, wo wir über Halluzinationen geredet haben, genau mit diesen Problemen umzugehen, das sind diese 85%. Der dritte Punkt, in dem sich Firmen, die erfolgreich sind mit solchen KI-Projekten unterscheiden, ist, dass sie sich einen echten Schmerzpunkt raussuchen. Ein Thema, wo sie wirklich KI in einen Prozess einbetten können, so dass ein Nutzen entsteht. Und das ist ganz, ganz oft ein Nutzen irgendwo tief im Maschinenraum und nicht auf der Bühne. Was meine ich damit? Die Hälfte der Budgets für KI-Einsätze fliefst in Vertrieb und Marketing. Der echte Ertrag steckt aber total oft im Backoffice und in den Prozessen. Das ist vielleicht weniger glamourös, weniger sichtbar in einer gewissen Weise auch, aber es rechnet sich. Es rechnet sich, die Abläufe anzuschauen, die heute von Hand gemacht werden, in den täglichen Arbeiten. Schlicht weil man diese Abläufe immer und immer wieder durchläuft. Das kann auch ein Ablauf im Vertrieb sein, aber Fokus auf Marketing und Vertrieb von vornherein ist keine gute Idee. Der Fokus muss dahin gehen, wo das größte Optimierungspotenzial liegt. Wenn

Drei Regeln Für Ehrliche Demos

SPEAKER_00

es nun statistisch besser ist, mit externen Anbietern zu arbeiten statt mit eigenen Leuten, woran erkennt man denn Anbieter, die tatsächlich, die tatsächlich dazu in der Lage sind und die einem zumindest mal eine ehrliche Demo zeigen. Es gibt tatsächlich ein paar einfache Prinzipien, die man einhalten kann, um eine Demo ehrlicher zu machen. Erstens, eine Demo, die euch gezeigt wird, muss an euren eigenen Daten gezeigt werden. Sie muss auf euren Daten laufen. Idealerweise bringt ihr sogar neue Daten zur Demo mit, die der Anbieter vorher noch nicht gesehen hat, um festzustellen, ob das dann auch funktioniert. Selbst wenn es nicht funktioniert, könnt ihr daran natürlich dann sehr gut ablesen, wie so ein Anbieter mit neuen Daten und Fehlerfällen umgeht. Das zweite ist, man sollte für jede Demo ausdrücklich auch fordern, dass Fehlerfälle gezeigt werden, also Fälle, für die das Ganze nicht funktioniert. Wenn jemand euch keine Fehlerfälle zeigen kann, wenn euch jemand keine Fälle zeigen kann, für die das Tool jetzt aktuell oder grundsätzlich noch nicht funktioniert, dann heißt das, dass der Anbieter auch nie nach diesen Fehlerfällen gesucht hat. Das ist aber eine der Hauptaufgaben von neben seriösen Anbieter von KI-Integration, dass sie permanent sich mit Grenzen und Limitationen der Technologie auseinandersetzt und auch mit Grenzen und Limitationen der einzelnen Use Cases. Die dritte Frage, die man immer klären muss, auch schon in der Demo-Phase, ist, was passiert bei Unsicherheit? Wie wird mit Unsicherheit umgegangen? Wie wird mit Antworten umgegangen, die eigentlich aus der KI nicht generierbar sind? Sagt das Tool dann klar, ich weiß es nicht? Oder fängt es an zu schlingen oder zu halluzinieren?

Zwei Praxisfälle Aus Projekten

SPEAKER_00

Ich erzähle euch mal von zwei Fällen aus unseren eigenen Projekten, die vielleicht zeigen, wie es aussehen kann, wenn man von vornherein für den Betrieb baut. Also natürlich anonymisiert, aber 100% echt. Der erste Fall war ein europäischer Betreiber einer großen Ausschreibungsplattform. Der hatte mehrere zugekaufte Systeme zu einem System zusammengeführt und ausgerechnet die wichtigste Funktion, nämlich die Suche, also die Suche nach Ausschreibungen, machte Ärger. Die war zu langsam, zu unscharf. Und sobald es um echte Datenmengen und um echte Last ging, war sie einfach inadäquat. Im Kleinen sah alles ganz passabel aus, aber unter Millionen komplexe Dokumente und bei tausend Abfragen pro Sekunde kippte das. Das war der Zustand, zu dem wir da reinkamen. Also die Suche war in der Theorie okay, aber in der Praxis hat sie weder skaliert noch hat sie wirklich besonders gute Ergebnisse geliefert. Das ist bei Suche nicht anders als bei KI. Wenn ich eine Suche baue auf fünf Dokumenten, dann ist die fast immer toll und beeindruckend. Sobald es dann Millionen Dokumente sind, geht das Ganze vor die Hunde. Deswegen haben wir dort eben auch das Suchbackend von Grund auf neu gebaut. Das war nicht einfach mit irgendwie Optimierung zu machen, sondern wir sind da reingekommen in die Firma, haben die Vorverarbeitungen neu gemacht, haben die Entitätenextraktion neu gemacht, haben Support für ganz viele verschiedene natürliche Sprachen eingebaut für verschiedene Formate, wir haben ein belastbares Alert hingebaut, also dass man quasi man sich auch nachrichtigen lassen konnte über Ausschreibung. Und das Ergebnis war dann Antwortzeiten im Millisekundenbereich für praktisch jede Abfrage. Um Größenordnung schneller als vorher, spürbar bessere Trefferqualität, und zwar nicht in einer Demo, sondern im Dauerbetrieb in der Realität. Die ursprüngliche Suche hätte in der Demo auch gut ausgesehen. Der hätte auf einer Handvoll Dokumenten mit einer Handvoll Abfragen sicher sinnvolle Treffer geliefert, hätte sicher auch funktioniert, aber unter der echten Last von einer echten Produktivanwendung ist sie schlicht zusammengebrochen. Ein zweiter Fall, der ist auch schon etwas älter, weil man natürlich nur rückblickend bewerten kann, ob so ein Projekt wirklich erfolgreich war oder nicht. Da ging es um einen großen Informationsdienst in den USA, der im Prinzip Gesetzgebung trackt. Es ging darum, dass die Konsumenten dieses Dienstes erwartet haben, dass Gesetzesentwürfe automatisch nach Themen einsortiert werden, damit die Kunden quasi genau zu ihren Themen Bescheid bekommen. Und das ist eine Sorte Idee, die kann man in 10 Minuten überzeugend vorführen. Aber ich sage euch ehrlich, wie lange es gedauert hat, bis das in Betrieb war. Das waren über zwei Jahre. Wir haben die komplette Suchinfrastruktur ersetzt, wir haben einen eigenen Klassifizierer gebaut, wir haben Gesetzesverweise automatisch erkannt, also Crosslinking Zwischengesetzen. Und dann haben wir am Ende noch völlig unKI-related natürlich, ein Alerting für zehntausende Benachrichtigungen pro Stunde aufgesetzt. Das war allein schon technologisch keine einfache Aufgabe. Das Unspektakuläre, also die Skalierung, die Genauigkeit, die Ausfallsicherheit, das war die eigentliche Arbeit. Das, was man hätte in der Demo zeigen können, nämlich die Klassifizierung von ein paar wenigen Gesetzentwürfen nach Themen, das war schnell erledigt. Aber das zu skalieren auf das Volumen und die Anzahl von Themen und die Granularität von Themen, die man dort in der Realität brauchte, das waren zwei Jahre Arbeit. Die Belohnung in dem Fall für die zwei Jahre Arbeit war aber auch, dass nach dem Live-Krieg das Ganze 100% Betriebszeit hat, also hat er keinerlei Ausfallzeiten. Und die automatische Themeneinordnung, zum Beispiel auf der das Ganze basierte, war in allen Tests besser als menschliche Redakteure. Also die Nutzer fanden die Klassifizierung der KI besser als die der menschlichen Redakteure. Und das ist nicht normal. Das ist auch heutzutage nach wie vor nicht normal. Die Demo von so einem Feature hätte man im Nachmittag bauen können. Die Produktivimplementierung hat zwei Jahre gebraucht und die Produktivimplementierung läuft aber nach wie vor. Dieser Unterschied ist generalisierbar. Gerade im Einsatz von generativer KI. Diese Lücke gibt es immer und sie zu schließen dauert immer sehr, sehr lang. Und

Kernaussage Und Podcast-Abo

SPEAKER_00

es ist wichtig, Implementierung so zu planen, dass diese Strecke, diese Durststrecke zwischen der initialen Demo, dem initialen Piloten-Produktivbetrieb, tatsächlich mit eingeplant, mitbudgetiert ist. Die Belohnung ist dann ein funktionierendes KI-Projekt. Die Bestrafung, wenn man es nicht tut, ist meistens, dass jemand den Stecker zieht und sagt, okay, das Budget ist alle, wir hören hier auf. Wenn ihr mehr wissen wollt über Implementierungen in der Realität, die funktionieren. Wenn ihr mehr wissen wollt zu den Möglichkeiten und aber auch Schwierigkeiten mit generativer KI, dann abonniert doch einfach diesen Podcast, das ist genau, worüber wir in digitale Wissensbissen immer wieder reden. Nun zum Schluss, damit wir uns richtig verstehen, das ist absolut nicht so gemeint als KI ist nur Hype. Die Technik ist echt und der Nutzen ist großklarner zum Beispiel, setzt weiter KI ein. Nur eben sind jetzt halt Menschen daneben, statt dass Menschen ersetzt werden. Aber es ist immer und immer wieder so, dass KI natürlich sehr, sehr viel Hype generieren kann und dass in einer Demo, die wirklich mit wenig Aufwand entsteht, man sehr viel Beeindruckendes zeigen kann. Trotzdem sind das nur die ersten 15%. Die Produktisierung der Idee sind die anderen 85, die niemand sieht und für die kaum jemand das Geld eingeplant hat. Wer die Demo kauft, kauft 15% und nennt ein Projekt und eilt sich ein in die drei von vier, die tatsächlich nie einen Ertrag sehen, die nie eine Auswirkung auf ihre P ⁇ L haben. Wer dagegen vom Betrieb her denkt, von der Produktisierung her, vom Sonderfall, von der Anbindung an APIs, von der Integration in Rollenkonzepte, der baut etwas, das trägt. Es ist dieselbe Lehre wie immer, nicht die beeindruckendste Lösung gewinnt, sondern die, die am Dienstag noch läuft.

Demo Endet Der Betrieb Fängt An

SPEAKER_00

Eine Demo ist eine Geschichte, die bei der Demo aufhört. Sorgt dafür, dass eurer erst im Betrieb so richtig anfängt.