Welche Technologie kann meinen Geschäftsprozessen auf die Ist generative KI schon reif für den Unternehmenseinsatz? Wie kommt meine Applikation in die Cloud und was habe ich davon? Diese und weitere Fragen am Schnittpunkt von Business und Willkommen zurück. In der letzten Episode haben wir uns sehr Wir haben über Halluzinationen gesprochen, was ja das Wir haben über Alignment gesprochen, sowohl Wir haben gesprochen über Kosten, über Performance, über all die KI in geschäftskritische Prozesse zu integrieren, im Wege Und es ist zwar immer sehr nett und lustig, auf die Probleme wo das schief läuft und displakativ herauszuarbeiten, Aber die interessante Frage ist ja eigentlich auf Basis dessen, was auf Basis dessen, was wir wissen über die Limits und über die insbesondere von Large Language Models, kann man das nun trotzdem Gibt es Möglichkeiten, wie man diese generative KI so verwendet, dass sie einen Nutzen darstellt, dass das Risiko der Verwendung Wichtig ist dabei, sollte man beachten, wir sprechen hier nach Large Language Models oder Stable Diffusion für Videogeneration Diskriminative, also Classifier und prädiktive KI, also Trend die haben andere Probleme, die haben diese spezifischen Interessant ist aber und natürlich irgendwie auch eigentlich immer leidet, wenn sich generative KI mit Also das kann irgendwas sein, wo eine besonders krasse Das bezieht sich immer nur auf generative KI, aber das gesamte Auch klassische Machine Learning Ansätze kriegen da so ein bisschen Um jetzt KI mit handhabbarem Risiko in geschäftskritischen muss man im Wesentlichen aus meiner Sicht zwei Hauptregeln Natürlich ist das meine persönliche Meinung, natürlich aber gegebenen aktuellen Stand von KI und das beinhaltet auch so gibt es zwei Regeln, die man aus meiner Sicht für auf jeden Fall befolgen sollte. Das erste ist aus meiner Sicht sollte KI-Anwendung, die einem Machine Learning Element, das künstliche Intelligenz immer auf den Erzeugnissen von Menschen basieren, nicht sie Was meine ich damit konkret? Am Anfang steht immer etwas, was ein Mensch erzeugt und ein Experte Zum Beispiel lasse ich mir sicher nicht einen Code of Conduct, also Dafür sind da zu viele Details drin, die mit meiner Firma zu tun die ich auch vielleicht intensiv bewerten muss, ob ich mich oder was das für meine Firma konkret bedeutet. Das ist ein klar menschengetriebener Prozess und dass man sagt, ich lasse mir da mal eine Basis Code of Conduct Das heißt einfach nur, dass man sich den Durchschnitt aller Code Das ist sicher nicht zielführend. Aber wenn dieser Code of Conduct einmal geschrieben ist von einem dann kann dieser Code of Conduct zum Beispiel als Quelle für als Quelle für Trainingsmaterial, als Quelle Und das alles kann dann die KI übernehmen, weil jetzt hat sie also ein Schriftstück, ein Stück Material, was quasi die Fakten Und aus dem können Large Language Models zum Beispiel sehr, sehr gut Und da kommt es dann auch nicht zu irgendwelchen absurden sondern das meiste davon ist dann relativ vorhersehbar, was daraus Ein anderes Beispiel, mehr aus meinem eigenen Umfeld. Kein Element dieses Podcasts kommt irgendwie aus einer Der Teaser am Anfang wird von einer KI gesprochen, aber kein nicht mal ein Themenvorschlag für diesen Podcast kommt irgendwie Aber natürlich kann ich auf der anderen Seite KI verwenden, um oder ihn zu transkribieren, in Text ihn zusammenzufassen, mir zum Beispiel das Gerüst für einen Blogpost daraus erstellen Das ist absolut in Ordnung. Da kommt dann, wie gesagt, kommen Und ich kann relativ gut immer nachvollziehen, warum bestimmte Also es ist deutlich mehr Whitebox, als wenn ich jetzt was sind denn deine Ideen für ein Podcast-Thema? Da kommt meistens wirklich sehr banaler Quatsch raus. Also Regel 1, KI basiert auf Erzeugnissen von Menschen und Regel 2 oder Grundsatz 2, muss man sagen, Prompts, also das, womit sind aktuell eigentlich näher an Programmierung als an Was meine ich damit? Ich meine, einen Prompt frei zu formulieren, und dann qualitativ hochwertige Ergebnisse zu erwarten, das Das wird sicher immer besser funktionieren, je feiner quasi aber im Moment ist Prompt Engineering, also das Erstellen eigentlich eher so ein Programmierungsthema. Also man muss sich an verschiedene Regeln halten, man muss auf seine man muss bestimmte Elemente immer drin haben. Das heißt, es ist oft keine gute Idee, die Möglichkeit Prompts zu Weil dann oft Prompts rauskommen, die nicht die Qualität erzeugen, und letzten Endes fällt das aber auf die Anwendung zurück. Wieder ein Beispiel, es gibt dieses berühmte Phänomen, dass Also wenn man Chachipiti fragt,"How many Rs are there in the word Ich mache es auf Englisch, weil das das Beispiel, was man immer wieder dann sagt Chachipiti im Normalfall zwei. Jetzt kann ich natürlich Chachipiti so prompten, dass das nämlich mit so einem Chain of Thought Prompting, wo ich sage, erst mal überleg dir die Buchstaben in "Strawberry", dann Aber niemand, der mit dem Chachipiti interagiert und sich würde diesen Chain of Thought Prompt formulieren. Die intuitive Formulierung wäre, sag mir, wie viele Rs im Wort Das funktioniert eben nicht. Da kommt das falsche Ergebnis raus. Das heißt, das Risiko, dass ein amateurhafter Prompt in einem zu einem falschen Ergebnis führen würde, ist sehr hoch. Das heißt, in geschäftskritischen Prompts nicht den Nusen zu überlassen, sondern die Prompts und quasi aus der Promptleibe heraus anzuwenden. Oder aber, wenn man denn die Nutzer prompten lassen will, wie zum Beispiel in einem Document-Interviewing-Case, wo"Hey Nutzer, du kannst Fragen zu diesem Dokument stellen", dann sollte man sie zumindest so mit System Prompts oder mit dass die schlimmsten Ausrutsche unmöglich gemacht werden. Es kann auch zum Teil so aussehen, dass man die User Prompts säubert auch wieder mit KI, sodass man einen besseren Prompt erreicht. Aber Endnutzer direkt Input für die KI schreiben zu lassen, auch in was es etwa in Chat-GPT, im privaten Bereich oder so für für den geschäftskritischen Prozess würde ich es mir tunlichst weil dann eben die Ergebnisse auch unter der Kontrolle des Nutzers ohne dass er das vielleicht sogar weiß oder sich bewusst macht. Gehen wir auf ein konkretes Problem ein, was wir mit KI lösen wenn wir diese Regeln beachten. Im Bereich Compliance, also im Bereich, der sich umkümmert, dass eine Firma mit den für sie geltenden Gesetzen regulär und gibt es einen enormen Bedarf an Policies und Prozessen. Meiner Meinung nach muss die nach wie vor ein Mensch erstellen, weil der Durchschnitt aller Policies, wie ich das vorhin wird der Firma nicht weiterhelfen. Also diese Arbeit kann einem aus meiner Sicht eine KI nicht Aber wenn man mal diese Policies erstellt hat, wenn man diese muss man für den Rest seines Firmenlebens letzten Endes zu Zum Beispiel gegenüber Behörden, zum Beispiel gegenüber Ich muss immer wieder quasi bestätigen, ja, das steht in ja, dafür habe ich eine Policy, ja, dieses Thema bin ich angegangen, ja, das gilt für meine Supplier und so weiter und so fort. Das ist ein gutes Beispiel für ein Gesetz, das ganz viel von diesem Das ist das Lieferketten-Sorgfaltspflichtgesetz, wo man eben bestimmte Compliance-Regeln nicht nur für sondern auch nur für seine Lieferkette implementieren und Das heißt, Compliance kann zum Teil durchaus ein Thema sein, wo Und zwar nicht da, wo ich eben Policies und Prozesse entwerfe, sondern da, wo ich über Policies und Prozesse dann dritten Und gerade in großen Firmen ist es ziemlich schwierig zu dass diese Antworten auf die Fragebogen konsistent und Das heißt, es gibt oft den Fall, dass irgendwie in einem der irgendwelche Fragen enthält zu Firmen-Policies und dass dann nicht mal wirklich richtig sind. Das führt oft dazu, dass tatsächlich sehr wertvolle oder beziehungsweise mit diesem Thema beschäftigt sind, was Also ich binde da wertvolle Mitarbeiter in einer Tätigkeit, Hier ist natürlich die Hoffnung, dass ich mit KI einen echten und diese Mitarbeiter entlasten kann oder umgekehrt Konsistenz Wie kann man das jetzt hinkriegen? Für einen unserer Kunden haben wir das tatsächlich End-to-End Und der Prozess basiert letzten Endes ausschließlich auf den die in einer Firma sowieso erzeugt werden. Diese werden in einem Data Room zusammengefasst und bilden dann die Datenbasis für alles, was die KI dann im Anschluss erzeugt und Diese Compliance-Dokumente, wie gesagt, das kann ein Code of das kann ein Zertifikat sein über bestimmte CO2-Emissionen, das werden in einen Data Room importiert in diesem System und für genau diese Anwendung, Compliance Requirements, damit Der erste Schritt ist so banal wie kompliziert, nämlich wie kriege wo ich es tatsächlich weiterverarbeiten kann mit Ich kann ja auch bei ChatGPT Dokumente zum Teil hochladen und Wenn man das mal intensiver betreibt mit ein paar Dokumenten, sondern die zum Beispiel vielleicht aus Scans kommen usw., wie wenig Aufwand da auf Seiten von OpenAI betrieben wird, dass diese Deswegen haben wir für unseren Kunden hier oder mit unserem wo wir tatsächlich PDF-Dokumente erst wieder in Bilder übertragen Warum macht man das? Das ist ja eigentlich ein dämliches weil man den Text ja quasi erstmal wegschmeißt, um ihn dann wieder Aber das ist leider der einzige Weg für die meisten PDF-Dokumente, um Weil in so einem PDF, das wird ja nie mit der Idee im Hinterkopf hey, ich mache jetzt mal ein PDF für ein elektronisches System, sondern primär werden PDFs oder solche Dokumente allgemein für Also mit dem Hintergrund, das muss ins CI passen, das muss halbwegs das hat Diagramme usw. usf., das muss alles ineinander greifen aus Das führt oft dazu, dass zum Beispiel Überschriften in oder dass Diagramme inklusive ihrer Beschriftung Bilder sind aber in dem zugrunde liegenden PDF ist diese Spaltenkonfiguration Der einfachste Weg darum ist letzten Endes tatsächlich ein und eine wirklich leistungsfähige OCR-Engine zu und Textzusammengehörigkeit, also sinnvolle und dann diesen Text als Input für die Folgeprozesse zu verwenden. Warum rede ich da jetzt so lange drüber? Hat ja mit generativer KI Das repräsentiert quasi den Aufwand, den sowas in einem Man denkt am Anfang, hey, ich mache jetzt ganz viele wahnsinnig coole und kann da mit Sprachmodellen wunderbare Sachen erledigen und nein, am Anfang vom Prozess fehlt schon die Voraussetzung, dass dass sie sinnvoll von einer KI verarbeitet werden können. Das sollte man also nicht vergessen. Das ist ein Je besser die Datenaufbereitung am Anfang, desto besser ist dann Der nächste Schritt, wenn ich mal den Text von diesen Dokumenten wenn das relevant ist in diesem Kontext, ist, irgendwie muss ich Die meisten Compliance-Fragen, sowas wie "Stellen Sie sicher, die beziehen sich nicht auf ein ganzes Dokument, sondern die Und es ist natürlich ein wesentlicher Bestandteil von dass wir Abschnitte finden können, die tatsächlichen Fakten Das ist wirklich tatsächlich relativ herausfordernd. Also man sondern man versucht, Abschnitte zu finden, die quasi jeweils ein Das kann ruhig auch ein bisschen was Längeres sein, aber die einerseits als Ground Truth für diese die auf der anderen Seite aber auch zum Beispiel dazu dient, dass wir Also wenn wir dann später eine tatsächliche Antwort auf die müssen wir natürlich auch nachvollziehen können, aus Aus diesen Sinnabschnitten erzeugen wir anschließend Das sind letzten Endes Vektoren, die die Bedeutung oder das, was ein von diesen Sinnabschnitten repräsentieren und stecken diese das heißt in eine Software, die in der Lage ist, auf Basis Wer sich ein bisschen mit dieser Art Prozessen auskennt, der das wird letzten Endes ein Retrieval Augmented Generation Und das ist auch tatsächlich momentan, jenseits von ganz dass man eigentlich immer mit Retrieval Augmented Generation Das heißt, dass man irgendwo Informationen hat, die als und die dienen dann als Input für das Large Language Model. Man fragt nie das Large Language Model direkt. Wir erinnern uns an Jetzt, wo ich diese Vektordatenbank habe, diese also wo ich quasi einen Input hineinschmeißen kann und bekomme kann ich an das Problem gehen, wie kann ich jetzt so einen Fragebogen Es gibt im Wesentlichen zwei Wege, wie sowas beantwortet werden Entweder ich habe irgendwo in meinen Dokumenten schon eine 1a zum Beispiel, wie stellen Sie sicher, dass keine und irgendwo in einem Dokument steht, vielleicht sogar in einer wir stellen sicher, dass keine Minderjährigen beschäftigt Dann ist das natürlich schon eine perfekte Antwort für die Frage, und wir sind im Prinzip an der Stelle mit der reinen Vektorsuche Also wenn ich die Frage, wie stellen Sie sicher, dass Sie keine in diese Vektorsuche hineinschmeiße, wird aus der ein Semantic Embedding, und über Vektorähnlichkeit werden Oft genug ist es aber so, dass man keine perfekte Antwort in den sondern dass zum Beispiel der Code of Conduct ein bisschen was der Jahresbericht vielleicht ein bisschen was darüber sagt, die bestimmte Human Resources Policy ein bisschen was darüber und alle diese Abschnitte sind noch nicht eine Antwort auf die aber können als Input dienen, um eine Antwort auf diese Frage zu In der Implementierung, die wir gemacht haben, funktioniert das dass wir tatsächlich den Nutzern, die das System verwenden, also den diese Passagen, die wir gefunden haben, die semantisch ähnlich zur Das heißt, die können dann sagen, ja, diese Passage passt oder diese Damit kann man schon mal einige Probleme in diesem Prozess auch zum Beispiel, dass man Passagen aus veralteten Dokumenten nimmt, oder dass man Passagen nimmt, die nur vordergründig passen, oder die vielleicht aus dem Code of Conduct von einem Supplier Das heißt, letzten Endes ist da ein Human-in-the-Loop-Ansatz Das heißt, ein Mensch bleibt immer in Kontrolle, er bleibt immer im und kann jetzt an der Stelle eben zum Beispiel sagen, ja, von diesen Passagen, die du gefunden hast, von den die aus Sicht des Semantic Embeddings ähnlich zu dieser sind folgende tatsächlich richtig und relevant. Nachdem man die ausgewählt hat, verwenden wir dann erstmals schieben diese Passagen rein mit der entsprechenden und prompten das Modell auf Basis dieser Abschnitte eine Antwort Und in der überwältigenden Anzahl der Fälle ist diese Antwort dann Der Mensch, der das System bedient, sitzt jetzt immer noch und kann sich diese Antwort auch noch mal anschauen, kann sie Wenn die Antwort editiert wird, kann man natürlich aus den auch lernen für zukünftige Prozesse. Aber in den meisten Fällen ist damit jede einzelne innerhalb von ein paar Sekunden letzten Endes beantwortet. Natürlich könnte man diesen Prozess auch vollautomatisch aber gerade im Compliance-Bereich ist es sowohl dass noch jemand dazwischen sitzt, der dann im Zweifelsfalle und sicherstellt, dass der Output den Kriterien entspricht, die man Das kann man auch jetzt quasi als Zusammenfassung für diesen neben den Grundregeln "Niemals GPT nach Fakten fragen" oder und der zweiten Grundregel"Überlass nicht dem Endnutzer die kann man auch sagen, bei vielen, vielen Prozessen ist am Ende sehr wo ein Mensch auch tatsächlich in Kontrolle bleibt. Das ist gut für die Qualität, das ist gut für die Accountability, also dass man jemand auch verantwortlich machen kann, wenn Und es ist natürlich auch gut dafür, dass der Prozess permanent Viele Prozesse, die man designt und die dann wirklich kochen in gewisser Weise in der eigenen Suppe. Also wenn ich keinen Human-in-the-Loop habe, kann und wird deswegen nicht besser. Und was nicht besser wird, wird weil neue Inputs kommen, die Formulierungen sich leicht und der Prozess sich dann nicht wirklich automatisch dem Das ist hier anders. Da würde ein Mensch sehen, hey, diese und die Passagen, die zu matchen scheinen, sind eigentlich nicht könnte das direkt korrigieren und der Prozess kann daraus lernen. Eigentlich ist das auch ein bisschen eine Grundregel, dass bei geschäftskritischen Prozessen, die bisher von sollte ein Mensch involviert bleiben. Damit hat man im Prinzip dann drei Regeln für die Umsetzung Menschen erstellen die Informationen und nicht das Prompts werden nicht dem Endnutze überlassen. Das heißt, da ist der Prompten lassen wir nicht, weil Prompten eigentlich eher Und am Ende sitzt aber ein Mensch im Fahrersitz und hat die Kontrolle Und diese Blaupause lässt sich eigentlich auf viele Was so banal sie klingt, es wird oft viel zu sehr versucht auf Biegen oder viel zu flexibel zu machen. Man sollte Large Language Models verwenden für das, worin sie Und das ist nicht die Erstellung von Texten aus dem Nichts, sondern es ist die Transformation von Informationen in andere Und genau das ist in diesem Anwendungsfall auch passiert. Ich habe Informationen, die liegen schon vor, Code of Conduct, und transformiere sie in eine andere Repräsentation, ohne die Ich mache aus dem Code of Conduct die Antwort auf einen Und genau so hat man den maximalen Effekt von dem Modell bei Und das ist natürlich nicht auf den Bereich Compliance beschränkt. Man kann sich gut vorstellen, dass das genauso im Bereich zum also Beantwortung von RFIs oder Erstellung von RFQ-Antworten. Das sind Prozesse, da kann ein Large Language Model glänzen mit nämlich formulieren und semantische Ähnlichkeiten und nicht kreative Prozesse zu übernehmen oder Menschen zu Das war digitale Wissenswissen. Bleib dran, um mehr über Trends und Technologien und deren Danke fürs Zuhören und bis zur nächsten Episode.[Musik][Ende]