Welche Technologie kann meinen Geschäftsprozessen auf die Ist generative KI schon reif für den Unternehmenseinsatz? Wie kommt meine Applikation in die Cloud und was habe ich davon? Diese und weitere Fragen am Schnittpunkt von Business und Wir hosten bei Neomo in regelmäßigen Abständen ein Also spezifisch die Integration von generativen Tools, sowas wie Und insbesondere geht es darum, warum das so wenig gemacht wird. Und wir kriegen nach diesem Webinar oft das Feedback, dass wir dass viele Leute sich fragen, wo ist denn nun eigentlich dieser der uns immer vor die Nase gehalten wird, wo ist der wirklich, wenn es KI in mittelständischen Unternehmen oder auch in größeren Und zwar so, dass tatsächlich eben auch ein echter Mehrwert dass ein echtes Potenzial geroben wird oder ein Geschäftsprozess In diesem Webinar gehen wir auch viel auf Probleme ein mit Ich denke, auch diese Probleme sind zum Teil verantwortlich für und verantwortlich dafür, dass wir aktuell eine interessante eigentlich von Technologien, die sehr komplex sind, wie eben weil es plötzlich sowas gibt wie ein Chat-Interface, was mit dieser Technologie zu interagieren, aber jenseits von wo Menschen ihre Arbeitsabläufe sicher optimieren können und noch mehr, for better or for worse, noch mehr E-Mails schreiben fehlt oft die Sicht auf generative KI als Plattform, als Auf der man dann tatsächlich Anwendungen aufbauen kann, die Es gibt offensichtlich also noch wirklich große Zweifel daran, ob die vordergründig jetzt irgendwie jeden beeindruckt, im und dort auch wirklich entsprechend Vorteile bringen Und diese Vorbehalte gibt es eigentlich immer wieder mit Es gibt ja nicht nur generative KI, es gab vorher zig andere Ansätze, Und unsere Erfahrung ist, dass es nicht nur generative KI gibt, es Und unsere Erfahrung ist, dass es nicht nur generative KI gibt, es Und unsere Erfahrung ist, dass es nicht nur generative KI gibt, es Und unsere Erfahrung ist einfach, wenn die Nachteile mal wirklich wenn die Probleme und die Grenzen wirklich ordentlich bekannt sind dann ist es auch einfacher, diese Barrieren zu entfernen, die der Deswegen heute mal eine Folge über generative KI. Ich weiß, über die wird sowieso wahnsinnig viel geredet, aber aus meiner Sicht, sind eben die interessanten Grenzen, an die man und die man... berücksichtigen muss, wenn man generative KI wirklich und im großen Stil einsetzen will, kann man so und so sehen. Das erste Thema, auf das eigentlich Menschen immer zu wenn von generativer KI die Rede ist und vor allen Dingen von ihren sind natürlich Halluzinationen. Und das ist eigentlich ein blöder Begriff dafür. Halluzination ist ja ein aus der menschlichen Psychologie und hier geht es eigentlich wirklich um ein statistisches Es geht um das Phänomen, dass generative KI eben oft Dinge dass generative KI eben oft Dinge verursacht, dass generative KI dass generative KI eben oft Dinge verursacht, dass generative KI dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, dass generative KI eben oft Dinge verursacht, Bei manchen Antworten ist es mir als Nutzer unmittelbar klar, dass Beispiel, wenn ich GPT-4.0, das aktuell neueste, beste, Dann ist die Antwort von ChatGPT bei meinem letzten Test gewesen In jedem Menschen ist sofort klar, dass keines dieser drei Wörter auf Es ist lustig, dass gerade ein Sprachmodell... Sprachmodell, das ja nun eigentlich Sprachstatistiken, Darum geht es aber hier nicht. Worum es hier geht, ist, als ich als Ich kann sagen, nein, es stimmt nicht, mach mal nochmal oder Es gibt aber häufiger und... Mit schlimmeren Konsequenzen Halluzination, wo das Modell Wenn ich zum Beispiel das Modell nach einer Person frage und mir die Wenn ich natürlich chat-chippe die Frage, gib mir mal die Wenn ich natürlich chat-chippe die Frage, gib mir mal die Wenn ich natürlich chat-chippe die Frage, gib mir mal die Wenn ich aber eine Person des öffentlichen Lebens nehme, die Und das ist natürlich insofern, also umso schlimmer, je Wenn ich nach einem Drehbuchautor frage und er sagt mir, der war ein Aber wenn das Geburtsdatum um zwei Tage falsch ist, dann ist das Das ist das, was ich perfide Halluzinationen nenne. Fakten, die ein Modell ausspuckt, die wirklich so gerade eben falsch Und das ist natürlich gerade im Einsatzkontext von Firmen oder Entweder ist etwas richtig oder etwas ist erkennbar falsch. Aber etwas, was falsch ist, aber von einem Menschen nicht bewertet Das ist natürlich eine Zeitbombe in einem Geschäftsprozess. Im Prinzip führt das das Ganze auch ad absurdum. Ich meine, es gibt immer wieder Leute, die sagen, Chat-GPT ist das Ja, es gibt es mit Search-GPT und mit Bing-AI und solchen Tools gibt Und ja, die sind vielleicht dazu geeignet, dass sie Google ein Aber wenn ich ein normales, rohes Chat-Modell als Suchmaschine Und ich muss im Prinzip nochmal eine normale Web-Recherche Diese Halluzination ist natürlich auf jeden Fall Und die müssen wir im Geschäftsumfeld behandeln, in Wie genau man die behandelt, darüber wollen wir heute nicht Das wird Thema sein für andere Installationen. Aber im Prinzip, wir implementieren einfach nie Dinge Wo das Modell... Das Modell die Faktenquelle ist. Das machen wir einfach nicht. Sprachmodelle sind nicht gut darin, Fakten auszugeben. Außer man hat sie spezifisch nachtrainiert und feingetunet Aber per se sind sie sehr unzuverlässige Auskunftgeber. Dafür sind sie aber auch eigentlich nicht gedacht. Also eigentlich ist ein Sprachmodell etwas, was Sprache Die Fakten muss man ihm vorher schon als Input gefüttert haben. Das sind die Halluzinationen. Das kennt noch jeder. Das ist aber nicht das einzige Problem, nicht der einzige über den man vielleicht stürzt, wenn man versucht, KI im und nicht genug darüber nachdenkt. Es gibt ein zweites Problem im Bereich des sogenannten Und während Halluzinationen Begriffe sind, die die meisten wird es bei Alignment schon dünner. Alignment ist der Prozess, mit dem ein Modell gefügig gemacht wird. Ein Sprachmodell per se wird auf einer großen Menge aus Texten Da werden wahnsinnig viele Texte reingefüttert. Im Prinzip das halbe Internet plus Wikipedia plus Bücher plus alles Copyright geschützt oder nicht, das ist OpenAI ziemlich egal. Und daraus entsteht ein Modell von Abfolgewahrscheinlichkeiten Mehr ist es im Prinzip nicht. Und dieses Modell repräsentiert nun das reingefütterte Wissen, diese Daten aus dem Internet und aus Bibliotheken usw. Genau so, wie sie reingefüttert wurden. Das heißt, das Modell ist genauso rassistisch, sexistisch oder wie der durchschnittliche Mensch auch. Das ist quasi die Summe aller Vorurteile, die da drin landen. Jetzt will man aber auf der anderen Seite natürlich nicht, dass so ein Modell im Output dann auch rassistisch und sexistisch oder gefährliche Informationen preisgibt oder sensible Es geht immer mal wieder durch die Presse, dass das natürlich Man kann diese Modelle dazu bringen, dass sie einem alles Mögliche geben. Aber Alignment ist der Versuch, das zu verhindern. Und zwar, das Modell selber kann man nicht wirklich fundamental Das entsteht aus den Input-Daten. Aber man kann Mechanismen aus dem Rum bauen, die versuchen, gefährlichen Input abzufangen und von vornherein zu verhindern, dass das Modell antwortet. Das wäre zum Beispiel so ein Fall, wenn ich nach dem Rezept für TNT dann würde das wahrscheinlich von vornherein gar nicht an das Modell Dann würde das Modell geschickt werden. Und dann gibt es auf der anderen Seite Alignment, das versucht, die Antwort ausgewogener zu gestalten. Also weniger antisemitisch, rassistisch, was auch immer das Jetzt gibt es das Problem in zwei Ausprägungen. Es gibt einerseits natürlich mangelndes Alignment. Es gibt immer noch Fälle, wo ein Modell sehr unguten Output gibt. Es gibt aber auch das gegenteilige Problem. Und zum Teil ist das jetzt schon ausgeprägt, nämlich über Alignment, dass das Modell Unsinn produziert, der tatsächlich nur aus dem Alignment stammt und mit dem eigentlichen Modell gar nichts zu tun hat. Als Google das Gemini A15, was glaube ich, Modell released hat, hat man sehr schnell gesehen, dass gerade die Bildgenerierung davon extrem überaligned ist. Da gab es Beispiele, die auch durchs Netz gegangen sind. Zum Beispiel, wenn ich nach dem Bild eines Papstes gefragt habe, dann war der halt weiblich und schwarz. Nun gab es nie einen weiblichen Papst, kann auch per Definition zumindest aktuell keinen geben. Und es gab auch nie einen schwarzen Papst. Und wenn ein Modell dann beim verzweifelten Versuch, nicht rassistisch gebiasst zu sein, so ein Bild erzeugt, dann ist das ein klassischer Fall von Überalignment. Dann bleiben die Fakten auf der Strecke zugunsten der oder einer vordergründigen Ausgewogenheit. Auch das kann man sich natürlich eigentlich nicht erlauben. Gerade im geschäftskritischen Umfeld darf nicht das Alignment, die Qualität des Outputs schlechter machen. Das darf sie höchstens besser machen. Das hat ein weiteres Thema neben den Halluzinationen, das auch dazu führt, dass der Output einem schlicht falsch Ein schwarzer weiblicher Papst ist eine falsche Antwort. Anders kann man das nicht sagen. Aber es ist keine Halluzination in dem Sinne. Das sind eigentlich die interessantesten und die die man mit generativer KI so hat. Aber es gibt noch ein paar trockenere Probleme, die auch eine hohe Auswirkung haben auf die Einsetzbarkeit Was oft unter den Tisch fällt, ist das ganze Thema Performance und Wir haben uns mit generativer KI erstmal wirklich in eine Definitionsgemäß kann ich JetGPT ja quasi wortweise dabei wie es Output erzeugt. Das ist vielleicht kein Problem, wenn es mit mir interagiert, weil ich ja auch langsam bin. Aber wenn ich mir jetzt vorstelle, ich versuche mit diesem Large irgendeinen Geschäftsprozess zu realisieren, der Millionen von Dokumenten, pro Minute bearbeiten soll, eine Anforderung, die zum Beispiel im Bereich sagen wir mal, ich möchte aus irgendwelchen die Key Facts extrahieren, was ist das für ein Zertifikat, um welche Firma geht es, um was wird zertifiziert, dann kann ich das mit einem Large Language Model ziemlich gut aber halt auch wahnsinnig langsam. Im Prinzip ist es sogar so, dass quasi wenn ich an frühe Ansätze zur die primär regelbasiert waren, zum Beispiel reguläre Ausdrücke, dann sind die wahnsinnig schnell, der Throughput ist gigantisch. Klassisches Machine Learning, sowas wie also Prä-Deep Learning, Machine Learning ist immer noch ziemlich Deep Learning, Transformers und ähnliche Dinge sind schon ziemlich langsam. Und wenn ich jetzt ein Large Language Model auf das Problem schmeiße, dann kann ich eigentlich nur noch ein Dokument pro, sagen wir mal, fünf Sekunden durchjagen. Und das ist natürlich für jeden Geschäftsprozess, der mit großen Datenmengen umgeht, oder der Legacy-Daten verarbeiten will, viel, viel, viel zu langsam. Das gleiche Throughput-Problem spiegelt sich auch in den Kosten wieder. Gerade wenn man mit großen Modellen arbeitet und zum Beispiel große Dokumente verwenden will, sei es im Bereich Informationsextraktion, sei es aber auch, dass ich zum Beispiel dieses coole Feature verwenden will, dass ich ein Dokument hochlade und dann Fragen zu diesem Dokument stelle, da muss ich mir bewusst machen, in dem Moment, wo ich das basierend auf Tokens mache, also in dem Moment, wo ich das in einem Environment mache, das nach Tokens abgerechnet wird, also im weitesten Sinn nach Wörtern, kann das sehr, sehr schnell sehr teuer werden. Weil mit jeder Frage wird das Dokument wieder an das Modell geschickt. Mit jeder Frage werden alle Wörter in dem Dokument wieder relevant für die Kostenabrechnung. Also wenn ich da Millionen Dokumente durchschicke, dann ist meine Rechnung auch entsprechend. Das vergisst man leicht mal, weil ChatGPT ja vordergründig, wenn ich damit rumspiele, nichts kostet. In dem Moment, wo ich Large Language Models wirklich im Kern meiner Firma irgendwie einsetze, idealerweise noch irgendwie in einem GDPR-konformen Environment, kann das unter Umständen ein relativ drastischer Kostenfaktor werden. Wir haben Kunden, die tatsächlich intensiv die Kosten monitoren, weil die AI-Kosten, die KI-Kosten mittlerweile ihr größter Kostenblock sind, wenn sie ihre Software laufen lassen. Das kann trotzdem immer noch natürlich in einem sinnvollen Verhältnis stehen, kann trotzdem richtig sein, weil der Mehrwert diese Kosten ausgleicht, aber oft ist es halt auch nicht so. Oft, wenn man ein Experiment macht mit irgendeinem Large Language Model und ein paar alten Daten, die man rumliegen hat, wundert man sich darüber, was anschließend auf dem Kassenzettel da erscheint. Ich glaube, damit dürfte klar geworden sein, dass es mehr als nur die Halluzinationen, über die man häufig hört, wirklich krasse Probleme mit generativen Ansätzen gibt, aber es gibt zum Glück auch Lösungen für alle die. Es gibt sowohl mehr Probleme, muss man fairerweise sagen, als ich jetzt hier in der kurzen Folge erwähnen kann, als auch Lösungen dafür, aber man muss sich erstmal bewusst machen, generative KI ist bei weitem nicht so golden, wie sie glänzig ist und das, was ich mit JetGPT in meinem persönlichen Alltag erlebe, ist noch nicht wirklich repräsentativ für das, was bei einer Integration in einen Geschäftsprozess mit dem Ganzen passieren würde. Die Kosten können höher sein, das Alignment kann mehr reinfunken, die Halluzinationen können unkontrollierbar werden und ich kann in Performance-Probleme reinlaufen, die ich nicht gelöst kriege. Das heißt, der Übergang von dieser, ich sage mal, verspielten Verwendung via Chat-Interface zu einer produktisierten Verwendung als Infrastrukturkomponente, der ist aus diesen Gründen einfach relativ hart. Ich denke, das ist einer der Gründe, warum sich auch die generative KI, so wie auch viele KI-Ansätze vor ihr, nicht durchgesetzt haben, weil eben die Handhabbarkeit doch anders ist als bei irgendeinem Framework. Wenn ich meine Webseite auf irgendeine neue technologische Basis stellen will, dann ist das viel berechenbarer, als wenn ich meine Geschäftsprozesse mit KI anreichern will. Wir haben für die Leute, die noch mehr von diesen Problemen wissen wollen, haben wir ein White Paper zusammengestellt, in dem genau diese Probleme besprochen werden und in dem genau für jedes einzelne dieser Probleme auch eine oder mehrere mögliche Lösungen aufgezeigt werden. Das White Paper findet ihr, indem ihr auf die Website der Episode geht, das ist neomo.link forward slash 3, die Ziffer 3, und dort das Formular kurz ausfüllt, dann schicken wir euch das White Paper gerne per E-Mail zu. Ich würde mich freuen, wenn es dazu Interesse gibt. Ich glaube, das ist tatsächlich lehrreich und erklärt ein bisschen, welche Limits man im Auge behalten muss, wenn man wirklich die Potenziale von KI heben will. Es wäre wirklich schade, und wir sehen auch das viel zu oft, wenn mangelndes Problembewusstsein dann letzten Endes dazu führt, dass das Kind mit dem Bader ausgegossen wird und das ganze Thema KI für Geschäftsprozesse komplett auf der Strecke bleibt. Das war Digitale Wissenswissen. Bleibt dran, um mehr über Trends und Technologien und deren praktischen Nutzen für dein Unternehmen zu erfahren. Danke fürs Zuhören und bis zur nächsten Episode. Bis zum nächsten Mal. Musik Vielen Dank.