Digitale Wissensbissen - gelungene Software-Projekte, wirksame KI, zukunftsfähige Architekturen

Je schlauer die KI, desto subtiler die Halluzinationen

Johannes Stiehler Season 2 Episode 1

Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.

0:00 | 23:25

Mitte 2025 liefert eine der größten Beratungen der Welt der australischen Regierung einen Bericht für rund 290.000 US-Dollar. Darin: wissenschaftliche Quellen, die es nicht gibt, und ein wörtliches Zitat aus einem Gerichtsurteil, das nie so gefallen ist. Kein Praktikant, der geschlampt hat — eine KI, die geraten hat. Und Deloitte ist in bester Gesellschaft: Ein Anwalt in Kalifornien zahlt 10.000 Dollar Strafe, weil von 23 Zitaten, die ChatGPT ihm für seinen Schriftsatz geliefert hatte, 21 frei erfunden waren. Eine Zeitungs-Leseliste empfiehlt Bücher, die nie geschrieben wurden.

In dieser Folge nehmen wir das eine Verhalten auseinander, das all diese Leute kalt erwischt hat. „Halluzination" ist ein hübscher Name für einen unbequemen Befund: Das Modell lügt nicht — es kennt den Unterschied zwischen wahr und falsch gar nicht. Es erzeugt den wahrscheinlich klingenden nächsten Satz, souverän, flüssig, im perfekten Ton, und liegt eben manchmal grandios daneben. Wir haben es dazu erzogen: Wer im Training fürs Raten belohnt und fürs Schweigen bestraft wird, rät. Wir haben uns einen Bluffer herangezüchtet und wundern uns, dass er blufft.

Das Unangenehme ist die Richtung der Kurve. Die plumpen Fehler verschwinden, die perfekt getarnten bleiben — bei den neuen „Reasoning"-Modellen ist die Halluzinationsrate in OpenAIs eigenem Test nicht gesunken, sondern von 16 auf 33 Prozent gestiegen, beim kleineren Modell auf 48. Je besser die Maschine formuliert, desto eher winkt der Mensch, der prüfen soll, es einfach durch. Genau da wird aus einer Spielerei ein Haftungsfall — Air Canada musste für eine Falschauskunft seines Chatbots zahlen.

Die gute Nachricht kommt am Schluss, und sie ist groß: Fast alle Beispiele haben eines gemeinsam — jemand hat das Modell gefragt „Was weißt du?" statt ihm Material zu geben. Wer die KI vom Orakel zum Transformator macht — nicht „erzähl mir etwas über die Welt“, sondern „arbeite mit meinen Unterlagen” —, dem fällt die größte Quelle der Halluzination einfach weg. Was dann noch bleibt, ist kein Hexenwerk, sondern Handwerk: sauberes Material, Belegpflicht, das Recht des Modells zu schweigen, und ein Mensch an der einen Stelle, die wirklich zählt.

SPEAKER_00

Mitte 2025 hat eine der größten Beratungsgesellschaften der Welt, der australischen Regierung, einen Bericht geliefert. Das hat damals 290.000 US-Dollar gekostet, es ging um ein ernstes Thema. Aber in dem Bericht standen wissenschaftliche Quellen, die es nicht gibt und ein wörtliches Zitat aus einem Uter des Bundesgerichts, das nie gefallen ist. Ein einzelner Forscher hat es damals bemerkt. Deloitte musste einen Teil des Honorars zurückzahlen und Kleinlaut zugeben, dass KM-Spiel war. Das ist kein Praktikant, der mal geschlampft hat. Das ist eine Firma, die ihr Geld damit verdient, dass ihre Berichte stimmen. Anderes Beispiel. Ein Anwalt in Kalifornien zahlte 10.000 Dollar Strafe, weil in einem Schriftsatz von ihm von 23 Zitaten 21 erfunden waren. Willkommen zu digitaler Wissensbissen. Heute geht es um das eine Verhalten von KI, das all diese Leute kalt erwischt hat, nämlich die Halluzination und darum, wie man die Technologie trotzdem verlässlich einsetzen kann. Warum reden wir gerade jetzt wieder über Halluzinationen? Eigentlich gibt es das Thema ja schon lange. Man redet immer schon drüber, es ist unausweichlich. Warum ist das so schlimm? Es ist schlicht so, dass wir sehen, und das ist eigentlich eine gute Sache, dass während KI und generative KI insbesondere früher so ein bisschen eine Spielerei am Rand war, wo jeder privat ein bisschen Sachen ausprobiert hat und irgendwelche Dokumente erzeugt oder E-Mails, die nicht viel bedeutet haben, muss man ehrlich sagen, kommt KIN jetzt natürlich immer mehr mitten in den Prozess. Die gleiche Technologie findet sich immer mehr an Stellen, wo sie Akten zusammenfasst, Schriftsätze erstellt für Prozesse, wie wir gehört haben, oder eben ganze Berichte schreibt. Das ist der gleiche Fehler, dieselbe Halluzination wie immer, dasselbe Problem, nur ist es natürlich jetzt in der Auswirkung viel teurer. Über drei Viertel der Unternehmen nutzen irgendwie KI und immer mehr Unternehmen nutzen KI auch mitten in ihren Geschäftsprozessen, an den wirklich wichtigen Stellen. Und deswegen ist es so, dass früher, wo man über irgendeine Halluzinationen einfach schmunzeln konnte und gesagt hat, ah, ist ja lustig, kann es mittlerweile halt dazu kommen, dass es ein Haftungsfall wird oder ein Thema, wo es wirklich um Geld geht in irgendeiner anderen Weise. Deswegen lohnt es sich, dieses Thema im Kopf zu halten und immer wieder sich genau in Erinnerung zu rufen, wo wir stehen in Punkto Halluzinationen und was die Auswirkungen sind und wie man sie vermeiden kann. Reden wir erstmal über den Begriff. Halluzination, das klingt ja irgendwie so nach Krankheit, nach außergewöhnlichem Ausfall, nach abweichendem Verhalten, nach etwas, was man nicht erwarten sollte. Halluzination klingt nach etwas, was kaputt ist. Was man sich bewusst machen muss, das Sprachmodell ist nicht kaputt, wenn es halluziniert. Es tut eigentlich genau das, wofür es gebaut wurde. Sprachmodelle erzeugen plausible Sätze. Gegeben einen Input erzeugt es das nächste plausible Wort und das nächste plausible Wort und so weiter und so fort. Rein statistisch, immer entlang der bisher erzeugten Zeichenkette. Meistens ist das, was wahrscheinlich klingt, das, was plausibel klingt, auch wahr. Und manchmal nicht. Und das Modell selber kennt den Unterschied nicht. Das weiß nicht, was ist wahr und was ist nur plausibel. Es lügt nicht im menschlichen Sinne, denn menschliches Lügen, also Lügen, heißt ja, die Wahrheit zu kennen und bewusst von ihr abzuweichen. Das Modell weiß überhaupt nicht, dass es daneben liegt. Es rät flüssig, im souveränen Ton und manchmal grandios falsch. Stellt euch eine geniale Aushilfskraft vor. Irgendein Azubi, den ihr in die Firma geholt habt, der alles irgendwie schon mal gehört hat, aber nie etwas wirklich nachschlägt. Fragt ihr diese Aushilfe, diese geniale Aushilfskraft nach einer Jahreszahl, einem Paragrafen, einer Quelle oder irgend sowas, antwortet sie wie aus der Pistole geschossen mit voller Überzeugung. Liegt eben manchmal aber komplett daneben. Und das Unangenehme ist oft nicht der Fehler an sich. Das Unangenehme ist, dass dieses Falsche, die falsche Aussage genauso plausibel klingt wie die richtige Aussage. Es klingt, man hört dem Modell nicht an, wann es anfängt zu halluzinieren. Es gibt im Gegensatz zu einem Menschen, zum Beispiel, der aktiv lügt, gibt es kein Zögern, kein Stirn runzeln, keinen Ton, der sich ändert. Es ist einfach der nächste Satz. Dieses Raten gibt es in verschiedenen Formen. Da gibt es einmal die völlige Erfindung, ein Buch, das nie geschrieben wurde, ein Gerichtsfall, den es nie gab. Dann gibt es Vermischungen. Da wird zum Beispiel ein Auto mit einem falschen Titel zitiert. Oder ein echtes Gesetz mit einem falschen Inhalt. Dann gibt es die erfundenen Belege. Quellen, Aktenzeichen, Fußnoten, die an der Stelle nur auftauchen, weil es eben plausibel ist. Nicht, weil es wirklich eine Quelle gegeben hätte. Die Form stimmt immer nur der Inhalt des Luft. Im Mai 2025 erschien in zwei US-Zeitungen eine Leseliste für den Sommer. Und mehr als die Hälfte der Bücher gab es gar nicht. Insbesondere wurde der Bestseller-Autorin Min Jin Lee zum Beispiel ein Roman angedichtet, den sie nie geschrieben hat. Sie hat später auch dementiert, ihn je schreiben zu wollen. Sie musste also wirklich an die Öffentlichkeit gehen und darauf hinweisen, dass in dieser Leseliste erfundene Titel auftauchten und dass sie mit diesem Buch nichts zu tun hat. Wie so oft hätte der verantwortliche Autor für den Titel KI zur Recherche genutzt und das Ergebnis nicht geprüft. Natürlich muss man sich fragen, natürlich fragen sich viele Leute, warum diese Halluzinationen immer noch vorkommen. Warum schafft man es denn nicht, dem Modell das auszutreiben? Die Antwort ist eigentlich ganz einfach. Das Modell macht genau das, wofür es erfunden wurde. Modelle sind darauf trainiert, diese plausiblen Zeichenketten zu erzeugen. Modelle sind darauf trainiert, zu antworten. Innerhalb des Trainingsprozesses eines Modells wird es belohnt, wenn es antwortet und bestraft, wenn es schweigt, wenn es keine Antwort hat. Man kann sich das vorstellen wie bei einem Multiple-Choice-Test. Das kennen wir ja alle quasi. Du hast eine Frage, da hast du vier Antworten. Eine ist richtig, drei sind falsch. Es ist eigentlich in jedem Multiple-Choice-Test der Welt so, dass es besser ist, zu raten, als nichts zu antworten. Wenn ich die Antwort nicht weiß, kreuze ich eine von Vieren an, habe 25% Wahrscheinlichkeit, dass es korrekt ist. Und wenn es falsch ist, ist es nicht falsch, als hätte ich gar nichts angekreuzt. Und genauso arbeiten Large Language Models eigentlich auch. Sie halluzinieren, weil es sich lohnt. Weil in dem Fall, wo sie richtig liegen, werden sie belohnt. Sie sind Wortmaschinen, keine Datenbanken. Es geht nicht darum, möglichst exakte Fakten abzurufen, sondern es geht darum, unter allen Umständen tatsächlich auch plausiblen Output zu erzeugen. Ganz am Anfang von den Large Language Models hat mal jemand gesagt, Large Language Models sind eigentlich auch nur eine Autovervollständigung, die das gesamte Internet gefressen hat. Da geht es um Plausibilität und nicht um Korrektheit. Jeder vernünftige Prüfling rät im Multiple-Choice-Test und so machen das die Modelle auch. OpenAI selbst hat übrigens im Herbst 2025 ein Paper veröffentlicht, das relativ nüchtern auf die Frage guckt, warum Large Language Models halluzinieren. Und auch da ist die Schlussfolge natürlich keine andere. Es ist halluzinieren, weil wir sie darauf trainiert haben. Nicht mit Absicht, aber im Endeffekt. Natürlich kommt man von dort auf die Frage, könnte man sie jetzt nicht anders trainieren? Kann man nicht einen anderen Ansatz finden, diese Trainings durchzuführen? Und die Antwort darauf ist zumindest zum aktuellen Zeitpunkt nein. Das ganze Grundprinzip, auf dem diese großen Sprachmodelle basieren, erfordert, dass wir sie trainieren, wie wir sie trainieren. Und das wird immer dazu führen, dass es zu Halluzinationen kommt, dass dieser Mechanismus greift. Es ist eigentlich sensationell, dass so oft Richtiges dabei rauskommt, weil es eben eigentlich nicht mehr nur um Statistik und Wahrscheinlichkeiten geht. Das ist manchmal eben falsch, es ist einfach eine konsequente Kehrseite des gleichen Mechanismus und nicht ein Aussätze. Das muss man sich schlicht bewusst machen. Wie gesagt, Halluzinieren ist kein Bug, es ist quasi eine Eigenschaft. Es gibt eine statistische Untergrenze, auch die hat OpenAI 2025 in ihrem Paper benannt, unter die man nicht kommt. Es gibt eine Restquote an Halluzinationen, die wird nie null sein. Interessanterweise sind sogar diese Reasoning-Modelle, als die aufkamen, die ja eigentlich dazu gedacht waren, dass sie mehr nachdenken und deswegen korrektere Antworten liefern, eher schlechter in der Vermeidung von Halluzinationen. Als OpenAI seine größeren, klügeren Reasoning-Modelle vorgestellt hat, war auch 2025, die, die angeblich nachdenken, bevor sie antworten, ist die Halluzinationsrate hochgegangen, hat sich zum Teil verdoppelt. Die Erklärung von OpenAI selbst ist, die schlaueren Modelle reden mehr, behaupten mehr, erzeugen mehr Output und treffen dadurch öfter richtige Antworten für komplexe Fragestellungen oder liegen aber eben auch häufiger daneben. Wer mehr sagt in einer Wahrscheinlichkeitsverteilung, sagt mehr Wahres und auch Falsches. Das ist keine Kinderkrankheit, die irgendwie mit dem nächsten Update verschwindet, das ist eine Eigenschaft. Genau genommen muss man sagen, dass viele Verbesserungen der Modelle tatsächlich dieses Problem schlimmer machen. Nicht, dass es mehr Halluzinationen gäbe mit neueren Modellen, das stimmt wirklich nicht. Aber gleichzeitig eliminieren wir halt alle Plumpenfehler. Und was übrig bleibt, sind die Fehler, die wirklich perfekt aussehen. Die Fehler, die man eben überhaupt nicht mehr erkennen kann. Über die ersten Plumpenfehler von Sprachmodellen hat das halbe Internet ja gelacht. Dieses berühmte Beispiel mit Strawberry enthält, wie viele S, und wo das Modell, das immer zwei antwortet. Natürlich kann man als Mensch verifizieren, dass diese Antwort unkorrekt ist, kann sich darüber amüsieren. Diesen Fehler sehen wir nicht mehr. Wir sehen Fehler, die wirklich perfekt aussehen und die man nur noch mit echter Sachkenntnis oder eigenen Recherchen finden kann. Es gibt erfunden Zitate in Berichten, die mittlerweile den Ton eines Richters perfekt imitieren. Sie sind nicht mehr identifizierbar über Stil oder irgendwelche Marke, auf die man achten könnte. Lustigerweise hat ein Autor, der ein Buch geschrieben hat über die Zukunft der Wahrheit, also lustigerweise ironischerweise muss man sagen, dort über ein halbes Dutzend KI erfundene Zitate verwendet. Das ist die Zukunft unserer Wahrheit. Die KI erfindet Dinge, die wir nicht mehr als falsch erkennen. Es ist, glaube ich, relativ offensichtlich, dass seltenere und glaubwürdigere Fehler, seltenere und plausiblere Halluzinationen das Risiko erhöhen und nicht senken. Das heißt, unsere Bemühungen, Halluzinationen in den Griff zu kriegen und Halluzinationen zu unterdrücken, haben zwar die Frequenz von Halluzinationen gesenkt, erhöhen aber das Risiko für jede einzelne Halluzination. Heißt das, jetzt alles ist gefährlich und wir müssen Large Language Models aus der Prozesslandschaft wieder rausschmeißen. Man muss sich bewusst machen, nicht jede Halluzination ist gleich gefährlich. Gefährlich ist es nicht, wenn ich die KI zum Beispiel als Sparing-Partner benutze. Wenn ich mir 20 Vorschläge für einen Produktnamen machen lasse, dann sind Halluzinationen völlig irrelevant. Ich gucke eh über alles drüber. Ich suche mir eh einen aus und merke dann, wenn einer völlig Quatsch ist, den werde ich dann einfach nicht wählen. Genauso wenn ich mir eine E-Mail schreiben lasse von der KI, die ich sowieso nochmal anschaue und deren Inhalt ich vorgebe, dann weiß ich ja, was ich erwarte, was drinsteht und kann das natürlich auch sehen. Gefährlich wird es dann, wenn der Output von einer KI als Tatsache behandelt wird, wenn er ungeprüft weitergegeben wird, zum Beispiel auch, weil ich gar nicht in der Lage bin, ihn zu prüfen, weil ich gar nicht das Fachwissen habe oder die Zeit, eine echte Recherche zu machen. Und wenn der Fehler teuer ist. Das ist wirklich, wo Halluzinationen gefährlich werden. In dem Brainstorming sind Halluzinationen eigentlich völlig egal. In einem Vertrag sind sie absolut wesentlich. Es ist nicht die Frage, ob ein Modell halluziniert. Das ist wirklich, da müssen wir uns davon verabschieden. Ich weiß, viele wünschen sich das noch, dass wir da irgendwann hinkommen, aber so ist das nicht. Es ist nicht die Frage, ob es halluziniert, es ist die Frage, was passiert, wenn es halluziniert, weil das wird es. Und wie kann man verhindern, dass es negative Konsequenzen hat? Weil die negativen Konsequenzen sind für uns als Unternehmen natürlich relativ drastisch. Erstmal ist es schon so, dass Unternehmen für die Fehler von KI haften können. Denkt an dieses Beispiel von Air Canada, ich glaube, das war 2024, wo ein Gericht entschieden hat, dass Air Canada natürlich für eine Auskunft, die ein Chatbot tut, haftet. Wenn mein Chatbot mir sagt, ja, ich klicke einen Flug erstattet, dann muss ich das erstatten. Ein Chatbot ist aktuell, in der aktuellen Rechtsprechung, keine eigene Rechtsperson, kann keine eigene Verantwortung übernehmen. Das ist ziemlich wichtig. Ich weiß nicht, ob ihr euch an dies Fall erinnert. Air Canada hatte so ein Chatbot auf der Webseite und er hat einen Trauerfallrabatt halluziniert. Und Air Canada wollte diesen Rabatt dann natürlich nicht gewähren, wurde aber von einem Gericht dazu verpflichtet, das zu tun. Das, was der Chatbot sagt, hat im Prinzip den gleichen Status des Stündes auf der Webseite. Diese Haftung ist natürlich unterschiedlich, kann unterschiedlich hoch sein. Im Falle der Deloitte-Zurückzahlung war sie ziemlich hoch. Im Falle dieses Air Canada-Bots, klar, dieser eine Flugrabatt, das macht jetzt nicht so viel aus. Aber auch als Anwalt 10.000 Dollar zahlen zu müssen, weil eben ein Schriftsatz erfundene Quellen enthält, das tut schon weh. Zweitens geht es natürlich auch um den Ruf. Der ist manchmal schneller weg, als ein finanzieller Schaden entsteht. Wenn ich einen Zeitungsartikel mit KI verfasse oder eine Rede zu einem Holocaust-Gedenktag von der KI schreiben lasse, dann hat es extreme Auswirkungen auf meinen Ruf, die ich natürlich nicht mehr eingefangen kriege. Die zum Teil größeren Schaden anrichten können als den rein finanziellen Schaden eines Haftungsfalls. Ihr müsst damit umgehen, dass die Flüssigkeit, mit der diese Maschinen formulieren, bei den Leuten, die es eigentlich prüfen sollten, auch eine hohe Trägheit erzeugt, also eine hohe, ja, wie soll man sagen, Tendenz zum Durchwinken. Gerade weil so eine Maschine so flüssig formuliert, so plausibel, so schnell und auch so viele sehr, sehr gute Ideen entwickelt, tendieren Menschen, die eigentlich dazu beauftragt wurden, den Outcome von Large Language Models zu prüfen, dazu, das einfach durchzuwinken. Genau der Prozess, auf den man sich eigentlich verlassen will, nämlich dieses Vier-Augen-Prinzip, da schaut nochmal ein Mensch drüber, wird dadurch natürlich ausgehebelt. Je breiter ihr KI über eure Prozesse ausrollt, desto mehr Stellen gibt es, an denen ein selbstbewusster Irrtum irgendwo landen kann, wo er wirklich Kosten verursacht. Aber die Lehre aus all dem ist nicht Finger weg von Large Language Models. Die Lehre aus dem allen ist eigentlich, benutzt das Modell nicht als Orakel, das alles weiß. Und leider haben viele Menschen die Tendenz, genau so mit KI umzugehen. Einfach Fragen zu stellen und zu hoffen oder auch zu erwarten, dass die richtige Antwort aus diesem Orakel rausfällt. Der korrekte Umgang mit Large Language Models aus meiner Sicht ist ein ganz anderer. Alle Fälle, über die wir bisher geredet haben, haben nämlich eins gemeinsam. Sie haben das Modell als Orakel verwendet. Sie haben das Modell gefragt, was weißt du hierüber? Welche Bücher kennst du? Welche Aktenzeichen oder welche Akten kennst du? Welche Fälle kennst du? Was weißt du über X, Y und Z? Und das ist genau, wie man ein Modell maximal zum Halluzinieren anregt. Die richtige Frage ist nicht, was weißt du, sondern die richtige Frage oder die richtige Aufgabe für ein Modell ist, transformiere mir das in was anderes. Man muss weg von dem Denken, dass ein Large Language Model wirklich als Orakel, als Wissensspeicher fungieren kann, hin zu dem Verständnis, dass seine beste Verwendung und seine qualitativ hochwertigste Verwendung im Transformieren von existierenden Inhalten liegt. Was heißt das konkret? Wenn wir in unserem Bild mit der genialen Aushilfe bleiben, wenn ich die geniale Aushilfe frage, was weißt du über mein nächstes Reiseziel, sagen wir Japan, dann wird sie manches wissen, weil sie hat ja viel gelesen, und manches wird sie sich unscharf erinnern und manches wird sie dazu dichten. Wenn ich aber der gleichen Aushilfe einen Stapel Reiseführer hinlege und sage, extrahiere mir mal daraus die besten Ziele, die zu meinen Interessen passen. Meine Interessen sind A, B und C. Dann wird das Ergebnis viel, viel, viel, viel besser sein, viel korrekter und viel, viel halluzinationsärmer. Die größte Quelle der Halluzination, nämlich dass das Modell versucht, Fakten aus seinem, wie soll man sagen, unscharfen Wissensspeicher zu generieren, fällt damit einfach weg. Das ist wirklich der ganze Unterschied zwischen einer KI, von der man am Ende enttäuscht ist und einer KI, auf die man echte Geschäftsprozesse bauen kann. Und die gute Nachricht ist, die meisten Prozesse in Firmen funktionieren sowieso so, dass man eigentlich von existierenden Inhalten ausgehen will und sie in etwas anderes transformieren. Und das sind genau die Anwendungen, die man mit Large Language Models jetzt bauen kann und die früher unmöglich waren. Natürlich ist auch in diesem Falle, also wenn ich die KI nicht als Orakel, sondern als Transformator benutze die Halluzination nicht völlig weg. Aber der Transformator halluziniert per se schon deutlich weniger als das Orakel. Und ich habe verschiedene Hebel und Wege, um diese Halluzination A auf ein Minimum zu reduzieren und b maximal sichtbar zu machen. Das sind genau die zwei Dinge, die ich in der Umsetzung von so einem Prozess dann machen muss. Erstens, das Input-Material muss sauber sein. Also die Daten, die ich dem Modell filtere, die Daten, von denen ich will, dass das Modell sie heranzieht, um Antworten zu generieren, müssen maximal aufbereitet sein für die Verwendung durch ein Modell. Das ist übrigens was ganz anderes, als Material aufzubereiten für die Verwendung durch einen Menschen. Large Language Modelle funktionieren eigentlich am besten mit Input-Dokumenten, die Fakten klar und möglichst konzentriert darstellen. In der Realität sind die meisten Dokumente anders aufgebaut. Die haben Querverweise, die haben Rückbezüge auf andere Dokumente, da werden Definitionen am Anfang erwähnt und viel, viel später im Dokument verwendet. Da werden ein paar Duplikate erstellt, aber auch versucht, Duplikate durch Rückgriffe zu vermeiden. Werden Begriffe umdefiniert und ganz anders verwendet. So sind nun mal die Dokumente, mit denen wir jeden Tag arbeiten. Je nachdem, wie viele von diesen Eigenschaften so ein Dokument hat, muss ich mehr oder weniger in die Aufbereitung meines Dokumentenbestands investieren, damit dann auch saubere Antworten rauskommen. Natürlich kann man diese Aufbereitung selber auch wieder KI unterstützt machen, mit den ganzen K-Werts, die das natürlich hat. Zweitens, wenn ich ein Modell nach einer Antwort frage und möchte, dass sich das Modell auf meine Input-Dokumente beschränkt, also wenn ich sagen will, nimm diesen Aktenstapel und finde mir die Antwort auf meine Frage da drinnen, dann erreiche ich das am besten, indem ich dem Modell eine Belegpflicht gebe. Das heißt, indem ich das Modell anweise, wirklich jede einzelne Aussage, die es tätigt, zurückzuführen auf eine Fünftstelle in den Input-Dokumenten und zurückzuführen auf ein wörtliches Zitat. Das hat zwei Effekte. Erstens halluziniert das Modell viel weniger, wenn ich das mache. Und zweitens ermögliche ich einem Menschen, der das nochmal überprüft, viel einfacher zu verifizieren, ob eine Aussage wahr ist. Und stelle sich irgendwie einen dreiseitigen Text vor, den eine KI geschrieben hat, der keinerlei Belege oder Zitate enthält, wie will ich denn verifizieren, ob das wahr ist? Wenn ich den gleichen Text bekomme und an jedem einzelnen Absatz steht dran, das habe ich in diesem Dokument gefunden, das wörtliche Zitat ist so und so, das habe ich hier gefunden, das wörtliche Zitat ist so und so. Umso einfacher kann ich natürlich als Mensch das dann verifizieren und überprüfen. Drittens, ich muss ausdrücklich erlauben, dass das Modell sagt, ich weiß nicht. Das wird jetzt auch tatsächlich im Training schon gemacht, in der Vorbereitung der Modelle kommt es zunehmend vor, dass eben dieses Nicht-Antworten ein valider Outcome ist. Früher war das tatsächlich überhaupt nicht so. Früher waren Modelle total drauf getrimmt, nie, ich weiß es nicht zu sagen. Es schadet aber sicher nichts, das auch nochmal den Prompt zu packen, dass ein Modell sich auf die Unterlagen beschränken soll, die man ihm füttert und dass es ausdrücklich sagen darf, das steht nicht in den Unterlagen. In der Kombination dieser beiden Dinge, Belegpflicht und steht nicht in den Unterlagen erlauben, kann ich tatsächlich eine erste Überprüfung von dem Ergebnis auch wiederum mit einem anderen Modell machen lassen. Tatsächlich sind Modelle relativ gut darin, zu validieren, ob der Outcome eines anderen Modelles tatsächlich den Belegstellen entspricht. Die meisten Halluzinationen kann ich so schon fangen. Und für den Rest kann ich viertens dann einen Mensch an die Stellen setzen, wo es wirklich teuer sein kann und gebe ihm mit meinen Zitierstrukturen und mit meinen Fundstellen natürlich das optimale Tool an die Hand, um die Korrektheit von so einem Output zu überprüfen. Es gibt kein KI-System ohne Fehler. Unsere Aufgabe ist es und der Trick ist es, die Fehler auffällig und billig zu machen. Das ist auch wieder der Unterschied zwischen Demo und Produktivbetrieb. In der Demo spielen Fehler oft keine Rolle. In der Demo zeige ich die guten Use Cases, zeige das, wovon ich weiß, dass es funktioniert, zeigt das, was ich schon zigmal ausprobiert habe. Im Produktivbetrieb kommen immer die Edge Cases zum Tragen. Ich muss also mein Modell auf den Produktivbetrieb vorbereiten, nicht mit der Demo stehen bleiben. Das ist übrigens, glaube ich, auch ein Grund, warum so viele Projekte in Firmen scheitern, wenn sie mit KI zu tun haben, weil die Demo, das initiale Vorstellen von dem, was im KI-Modell angeblich kann, so weit über dem liegt, was im Produktivbetrieb erreichbar ist, wenn man nicht genau diese Aufwände investiert. Wenn ihr unseren halbkritischen, halb enthusiastischen Blick auf KI teilt und wenn ihr mehr darüber erfahren wollt, wie man KI wirklich produktiv einsetzen kann und wie man die unleugbaren Probleme dieser Technologie in den Griff kriegt, dann abonniert doch bitte einfach diesen Podcast, weil genau darüber reden wir hier. Worum ging es heute? Halluzinationen sind kein Bug, der mit dem nächsten Update verschwindet. Das wird nie verschwinden, solange wir nicht fundamental an der Technologie was ändern. Sie sind eine Eigenschaft dieser Technik, sie sind mathematisch nicht auf Null zu bringen und das geben die Hersteller auch zu. Das Einzige, was passiert, ist, sie werden subtiler und nicht harmloser. Wer darauf wartet, dass sich das Problem von selbst löst, wartet, bis er wie Deloitte selber in der Zeitung steht. Oder er wartet einfach für immer mit dem Einsatz von KI und verpasst einen Haufen Chancen, seine Prozesse zu verbessern und zu automatisieren. Wer dagegen auf der anderen Seite versteht, wie er KI, insbesondere generative KI richtig einsetzt, nämlich als Transformator statt als Orakel, mit sauberem Material, mit Belegpflicht, mit dem Recht zu schweigen und den Menschen an der richtigen Stelle, der holt den Nutzen raus und lässt das Risiko draußen. Das ist kein Hexenwerk, das ist Handwerk. Näher Details dazu in den nächsten Folgen von Digitale Wissensbissen.