Digitale Wissensbissen - gelungene Software-Projekte, wirksame KI, zukunftsfähige Architekturen
Welche Technologie kann meinen Geschäftsprozessen auf die Sprünge helfen? Ist generative KI schon reif für den Unternehmenseinsatz? Wie kommt meine Applikation in die "Cloud" und was habe ich davon? Diese und weitere Fragen am Schnittpunkt von Business und Tech beantworten wir im Podcast "Digitale Wissensbissen"!
Digitale Wissensbissen - gelungene Software-Projekte, wirksame KI, zukunftsfähige Architekturen
KI in Banken und Versicherungen: Wenn Scheitern richtig teuer ist
•Johannes Stiehler•Season 2•Episode 4
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
0:00
|
23:15
KI in Banken, Versicherungen und Kanzleien beschleunigt die Wissensarbeit – und holt in Sekunden ans Licht, was jahrelang im Verborgenen lag: zu breite Freigaben, vergessene Projektordner, vererbte Zugriffsrechte. Microsoft nennt das Oversharing, und im regulierten Umfeld ist daraus automatisch ein meldepflichtiger Datenschutzvorfall. Die KI macht dabei nichts kaputt, sie aktiviert vorhandene Organisationsfehler, weil plötzlich jede Ablage in Alltagssprache durchsuchbar wird. Vier Fragen entscheiden darüber, ob euer Projekt die erste Prüfung übersteht – und keine einzige handelt vom Modell.
In dieser Folge
Oversharing bedeutet, dass ein KI-Assistent Dateien zutage fördert, die jemand technisch öffnen kann, aber nie hätte sehen sollen – die Berechtigungsfehler von Jahren werden mit einer einzigen Frage durchsuchbar.
In Banken, Versicherungen, Kanzleien und Medizintechnik hat dieselbe Panne einen völlig anderen Preis: Was in einer normalen Firma peinlich ist, ist dort ein meldepflichtiges Ereignis mit Bußgeld-, Klage- und Aufsichtsfolgen.
Frage 1 lautet: Wer darf was sehen? Eine korrekt implementierte KI-Anwendung erbt die bestehende Rechtelandschaft samt aller Löcher – vergessener Projektfreigaben, nie zurückgenommener Berechtigungen nach Abteilungswechseln, unklarer Vererbung zwischen Ordnern.
Frage 2 lautet: Dürfen diese Daten überhaupt so verarbeitet werden? Personenbezogene Daten dürfen nach DSGVO nur für den Zweck verwendet werden, für den sie erhoben wurden – dreißig Jahre nicht anonymisierter Schadenakten ins Modell zu kippen, ist kein Effizienzprojekt, sondern ein Rechtsverstoß. Für Gesundheits-, Bonitäts- und Mandantendaten gelten dabei die strengsten Regeln, die es überhaupt gibt.
Bei automatisierten Entscheidungen, die Menschen erheblich betreffen – Kredit abgelehnt, Police gekündigt, Leistung verweigert –, hat der Betroffene das Recht darauf, dass am Ende ein Mensch eingreift.
Frage 3 lautet: Kann ich nachweisen, was die KI getan hat? Die EU-KI-Verordnung verlangt für hochriskante Systeme Protokollierung, Dokumentation, menschliche Aufsicht, Transparenz und ein Recht auf Erklärung der Einzelfallentscheidung. Nachvollziehbarkeit ist kein Feature zum Nachrüsten, sondern eine architektonische Entscheidung.
Frage 4 lautet: Wer haftet? Der Fall Air Canada zeigt, dass die Aussage eines Chatbots dem Unternehmen zugerechnet wird. Die EU-KI-Verordnung liefert die Preisliste: bis zu 35 Millionen Euro oder 7 % Weltjahresumsatz für verbotene Praktiken, bis zu 15 Millionen oder 3 % für vernachlässigte Pflichten bei Hochrisikoanwendungen, 7,5 Millionen für Falschangaben gegenüber der Aufsicht.
Ein Praxisfall aus der NEOMO-Arbeit: Bei einem Anbieter von Compliance-Software war die erste Entscheidung eine Organisationsentscheidung, keine Modellentscheidung. Kundendaten verlassen die europäische Cloud-Umgebung nicht, Zugriff läuft über ein Rollenmodell, alles ist Ende-zu-Ende verschlüsselt – und das System sagt lieber „steht nicht in den Unterlagen“, als zu raten. Genau das ist der Unterschied zwischen Pilot und Produktion.
EU-KI-Verordnung, Artikel 99 — Bußgelder: bis 35 Mio. € oder 7 % des weltweiten Jahresumsatzes für verbotene Praktiken, bis 15 Mio. € oder 3 % für verletzte Pflichten bei hochriskanten Systemen, bis 7,5 Mio. € oder 1 % für falsche Angaben gegenüber der Aufsicht. https://artificialintelligenceact.eu/article/99/
EU-KI-Verordnung, Volltext mit Artikelnavigation — die vier Fragen der Folge als Artikel gelesen: Daten-Governance (Art. 10), technische Dokumentation (Art. 11), Protokollierung (Art. 12), Transparenz (Art. 13), menschliche Aufsicht (Art. 14), Recht auf Erklärung einer Einzelfallentscheidung (Art. 86). Die Verbote gelten seit dem 2. Februar 2025, die Bußgeldvorschriften seit dem 2. August 2025, die letzte Stufe tritt im August 2026 in Kraft. https://artificialintelligenceact.eu/
DSGVO, Verordnung (EU) 2016/679, amtlicher Volltext auf EUR-Lex — Zweckbindung (Art. 5) und Recht auf menschliches Eingreifen bei rein automatisierten Einzelentscheidungen (Art. 22). https://eur-lex.europa.eu/eli/reg/2016/679/oj
Wenn ihr einen schnellen Realitätscheck wollt – welche Stelle kippt bei euch am ehesten? Unser kostenloser Check zeigt die sechs üblichen Verdächtigen: https://neomo.link/check
Stellt euch vor, ihr schaltet in eurem Unternehmen einen KI-Assistenten frei, bringt ihn live, einen von der bequemen Sorte, der auf alles zugreift, was in euren Systemen liegt. Euer Datenbestand ist auch geordnet, strukturiert, sortiert, wie in der letzten Folge besprochen, und der dann in normaler menschlicher Sprache Fragen beantwortet. Am zweiten Tag tippt jemand aus dem Marketing eine völlig harmlose Frage ein, irgendetwas über ein Budget und bekommt als Antwort die Gehaltsliste der Geschäftsführung serviert. Am dritten Tag fragt ein Praktikant nach einer Kundenübersicht und bekommt nebenbei die Unterlagen zu einer laufenden Übernahme mitgeliefert. Nicht, weil die KI etwas gehackt hätte, sondern weil diese Dateien irgendwann einmal zu großzügig freigegeben wurden und die Leute technisch schon immer Zugriff hatten, sie wussten es noch nie, weil sie die Dokumente ohne die KI niemals gefunden hätten. Die KI hat nichts kaputt gemacht, sie hat nur mit einem einzigen Satz in Alltagssprache sichtbar gemacht, was seit Jahren schief lief. Das ist kein ausgedachtes Schreckensszenario und ihr müsst es mir nicht glauben, aber glaubt es Microsoft. Der Konzern hat für genau dieses Problem einen eigenen Namen geprägt, nämlich Oversharing, und baut inzwischen eigene Werkzeuge dagegen. Im Wortlaut aus diesem Haus Oversharing ist, wenn der Assistent Dateien zutage fördert, die jemand zwar technisch öffnen kann, aber nie hätte sehen sollen. Der KI-Assistent liest schlicht alles, worauf eine Person Zugriff hat, quer über alle Ablagen, E-Mails, Chatkanäle und plötzlich werden Jahre von zu nachlässig gesetzten Freigaben, vererbten Rechten und von jeder Darf-Ablag mit einer einzigen Frage durchsuchbar. Was vorher irgendwo in der Tiefe eines Netzwerklaufwerks verborgen war, liegt jetzt eine Abfrage entfernt.
Willkommen zu digitaler Wissensbissen. Heute geht es um KI genau dort, wo Fehler am teuresten sind. Nämlich im regulierten Umfeld. Versicherungen, Banken, Kanzleien, Medizintechnik und um die unbequeme Wahrheit, dass die schwierigste KI-Frage dort gar keine Technikfrage ist, sondern eine Organisationsfrage. Wer die zuerst beantwortet, baut etwas, das einer Prüfung übersteht. Wer sie überspringt, riskiert einen ziemlich teuren Fehler. Wenn in Unternehmen Large Language Models ausgerollt werden, wenn Unternehmen sich mit KI zu beschäftigen beginnen, dann gibt es oft erstmal den Reflex und er klingt auch irgendwie vernünftig. Hey, wir nehmen eine KI von der Stange, richten sie auf alles, was wir haben und legen los. Und es muss doch so sein, je mehr diese KI sehen darf, desto hilfreicher ist es. Das ist natürlich im normalen Büro, in einer normalen Firma schon heikel. Im regulierten Umfeld ist es natürlich fahrlässig. Die KI darf alles sehen, die KI darf alle meine Systeme einlesen. Das bedeutet, sie darf sehen, was seit Jahren potenziell aus Versehen offen steht. Man kann nicht die Prüfung verschieben, ob das erlaubt ist. Sonst hat man den Datenschutzvorfall im Prinzip schon ausgelöst, bevor die KI ausgerollt ist. Der bequeme Weg ist hier der teuerste. Einmal durchdenken ist die preisfährdere Variante. Warum ist das ausgerechnet im regulierten Umfeld so ein Thema? Ich betrifft natürlich alle und deswegen ist auch diese Podcast-Folge natürlich für alle vielleicht interessant. Aber in einem regulierten Bereich ist die gleiche Panne natürlich völlig anders teuer. Zwar eurosatorisch teuer und auch finanziell teuer. In einer normalen Firma ist etwas vielleicht nur peinlich. In einer Bank ist etwas das gleiche Vorkommen letzten Endes ein meldepflichtiges Ereignis und hat potenziell ein Bußgeld oder eine Klage oder Schlimmeres zur Folge. Halluzinationen zum Beispiel, über die wir ja schon geredet haben, kostet in einem Versicherungschatbot potenziell echtes Geld und im Extremfall hat sie regulatorische Folgen. Oversharing, das heißt zu breiter Zugriff auf Dateien, ist in einem regulierten Unternehmen ein Datenschutzvorfall. Automatisch. Man muss ihn binnen weniger Tage der Aufsicht melden und muss mit den Folgen leben. Eine falsche Auskunft gegenüber Kunden oder eine Falschberatung hat im regulierten Umfeld Rechtsfolgen. Es ist auch im nicht regulierten Umfeld nicht angenehm, wenn man einem Kunden was Falsches erzählt. Und es ist auch nicht unbedingt kostenlos, weil die Aussagen von einem Chatbot zum Beispiel auf meiner Unternehmensseite, von denen kann ich mir nicht einfach distanzieren, die werden so oder so meinem Unternehmen zugerechnet. Aber im regulierten Umfeld hat dieser gleiche Fehler einen ganz anderen Preis. Wie in der letzten Folge ausführlich diskutiert, ist das Unangenehme, dass die Häuser mit den höchsten Anforderungen, also die Firmen mit den striktesten regulatorischen Vorgaben, oft die schwierigsten Datenbestände und die verworrensten Rechtekonzepte haben. Weil da sind meistens Jahrzehnte an Altsystemen, an Fusionen, an Duplikaten und an Strukturen vorhanden, die eigentlich niemand mehr überschaut. Und auch das habe ich schon gesagt, wo die Organisationsfragen am kompliziertesten sind. Da ist natürlich auch am reizvollsten ein Large Language Model überall drauf zu schmeißen und mal zu schauen, was passiert. Dort ist aber auch ein Scheitern eben am folgenreichsten.
Deswegen sollte man sich gerade im regulierten Umfeld vier Fragen stellen, auf die wir in dieser Folge genau eingehen werden. Und keine einzige beschäftigt sich mit dem Large Language Model. Das ist auch für andere Firmen, also für nicht regulierte Firmen, keine akademische Übung mehr, weil die Verbote der EU-KI-Verordnung gelten seit 2025 und im August 2026 tritt sozusagen die letzte Stufe in Kraft. Das heißt, heute irgendein KI-System einschalten, ohne die Hausaufgaben gemacht zu haben, ist dann ein Verstoß gegen geltendes Recht, nicht gegen eine künftige Regel. Erstmal einschalten, spät in Ruhe klären, das war gestern, ab jetzt muss man die Sachen in der richtigen Reihenfolge machen. Und das ist auch unabhängig davon, wie man zur Regulierung steht, in diesem Bereich schon auch sinnvoll. Frage
1, die zu klären, ist, wer darf was sehen? Die KI, also wer darf jetzt was sehen? Die KI erbt eure rechte Landschaft 1 zu 1 mit allen Löchern. Was jeder eröffnen konnte, aber niemand findet, das findet eure KI-Anwendung unter Umständen in Sekunden und legt es auf den Tisch. Es muss ja nicht so sein, dass die Sachen für alle freigegeben sind. Es kann so sein, dass ein Ordner für eine Person freigegeben wurde. Die Person hat danach die Abteilung gewechselt, hat jetzt gar kein Recht mehr darauf, den Ordner zu sehen, aber diese Permission wurde nie korrigiert und jetzt hat diese Person immer noch Zugriff auf alle neuen Dateien, die in diesem Ordner entstanden sind. Das ist nicht irgendwie konstruiert, das ist auch nicht selten, das passiert häufig. In vielen Organisationen werden auch mal so Freigaben, nur mal für das eben für dieses eine Projekt ausgerollt, werden ja nie zurückgenommen. In vielen Unternehmen ist auch nicht so ganz klar, wie die Vererbung von Rechten-Konzepten funktioniert, also wie verschiedene Ordner ihre Rechte aneinander weitergeben. Und manche Sachen werden auch einfach auf Ablagen geschoben, von den bekanntesten alle im Haus drauf zugreifen dürfen. Aber das wird halt in dem Moment nicht nachgedacht. Solange nicht sicher bekannt ist, wer was sehen darf, solange nicht das rechte Konzept geklärt ist und auch validiert gegenüber der Realität, ist jede KI-Einführung ein Datenschutzvorfall im Anlauf, kann man so sagen. Und die Lösung ist auch hier wieder keine bessere KI, kein tolleres Model, kein nicht mehr Geld an OpenAI-Zahlen oder irgendwas in dieser Art, sondern die Lösung ist, die Rechte muss vorher aufräumen. Die Zugriffsrechte müssen klar sein, es muss klar sein, was darf welcher Mitarbeiter sehen, was darf die KI sehen und was bedeutet die Kombination aus beiden. Wenn ich ein Large Language Model mit einer Frage konfrontiere, dann, wenn das korrekt implementiert ist, verwendet es meine Berechtigungen, um diese Frage zu beantworten. Das heißt, die Antwort basiert auf ganz anderen Dokumenten als die Antwort für meinen Kollegen, der vielleicht andere Berechtigungen hat. Und genau so muss das auch sein. Meine Rechte müssen an die KI weitergegeben werden. Das muss passieren, das muss korrekt implementiert sein. Und meine Berechtigungen müssen aber auch korrekt gesetzt sein, weil jede falsche Berechtigung jetzt eben viel gravierendere Konsequenzen haben kann. Das Tückische ist eben die Geschwindigkeit, mit der so eine KI-Enwendung diese Daten an die Oberfläche spült. Eine falsch freigegebene Personalakte wäre vielleicht ohne KI nie gefunden worden. Oder irgendjemand hätte sie gefunden, hätte einfach Bescheid gesagt, oh hier die Personalachse von XY ist öffentlich einsehbar, verschieb dir mal woanders hin. Mit KI reicht eine beiläufige Frage und das Ding wird nach oben gespült und plötzlich sieht es jemand, der überhaupt nicht darauf zugreifen könnt. Und so wird aus einem schlummernden Konfigurationsfehler, den vielleicht keiner gemerkt hat, ein aktiver Datenschutzvorfall mit Meldung an die Aufsicht, mit entsprechenden Fristen, mit unangenehmen Fragen, mit potenziellen Bußgeldern. Die KI, dieser KI-Assistent, den wir gerade gebaut haben, das Large Language Model, die Technologie, das hat das Risiko nicht geschaffen. Sondern die KI hat das Risiko aktiviert. Das Risiko war natürlich schon immer da.
Die zweite Frage, die man sich stellen muss in diesen Umfällen, ist, dürfen die Daten, über die wir gerade reden, also dieser Dokumentenbestand, darf der überhaupt so verarbeitet werden? Das klingt irgendwie langweilig, ist es aber nicht, weil personenbezogene Daten zum Beispiel sind fast immer im Spiel. Besonders sensibel wären natürlich Gesundheitsdaten. Das heißt, Daten, für die die DSGVO, die Datenschutzgrundverordnung mit voller Härte gilt, nämlich dass sie nur für den Zweck, für den sie erhoben wurden, verwendet werden dürfen, werden unter Umständen eine KI vorgeworfen und die KI findet es dann sicher auch praktisch, die zu verwenden. Also ich kann nicht letzten Endes 30 Jahre nicht anonymisierte Schadenakten ins Modell kippen, bloß weil es technisch geht und weil ich mir irgendwas davon verspreche. Sondern da muss ich vorher konzeptionell bearbeiten, darf ich das? Und wenn ja, sollte ich das? Und auch wenn da, ja, sollte ich das in der aktuellen Form oder sollte ich das pseudonymisieren oder anonymisieren oder sonst irgendwie einen Extrakt oder eine Veränderung dieser Daten eigentlich herstellen. Und die sensibelsten Daten liegen natürlich gerade in regulierten Umfeldern überall rum. Da hat man Gesundheitsangaben von Studien in Versicherungen und in Pharmaunternehmen, man hat Bonitätsdaten in Banken, man hat Mandantengeheimnisse in Kanzleien, da gelten dann jeweils wirklich die strengsten Regeln, die für Daten gelten können. Und einfach mal alles lesen, selbst wenn das jetzt meinen Berechtigungen entspricht, also wenn wir Frage 1 geklärt haben, ist dann trotzdem potenziell ein Rechtsverstoß. Aus einem harmlosen Effizienzprojekt wird so ein Rechtsverstoß, was sich keiner die Frage stellte, dürfen diese Daten überhaupt in so ein System? Wenn der Einsatz von KI über so ein reines Auskunftssystem hinausgeht, wenn es nicht mehr darum geht, meinen Mitarbeitern Dokumente in anderer Form zur Verfügung zu stellen oder mit KI durchsuchbar zu machen, dann wird es noch ein bisschen komplizierter. Weil wenn ich eine KI-Anwendung baue, was durchaus sinnvoll sein kann, die rein automatische Entscheidungen, die Menschen erheblich betreffen, trifft, also zum Beispiel einen Kredit ablehnt, eine Police kündigt, eine Leistung verweigert oder irgendwas ähnliches, dann hat der Betroffene das Recht darauf, dass am Ende ein Mensch eingreift. Bei KI-Voreentscheidung zeigt nicht die Trefferquote, sondern darf ich die Daten überhaupt so verwenden? Das gilt nach wie vor. Und trägt ein Mensch am Ende die Gesamtverantwortung? Wenn ich das vorher kläre, ist das solides Handwerk, wenn ich das erst hinterher kläre, ist es potenziell ein Gerichtsverfahren. Also das ist Frage 2. Dürfen diese Daten gemäß der Rechtslage überhaupt so verarbeitet werden im Kontext von meiner KI-Anwendung. Die Frage
3, die man sich stellen muss, und zwar innerhalb und außerhalb von regulierten Unternehmen, ist, kann ich nachweisen, nachvollziehen, was die KI getan hat? Das ist eine Frage, die wir in Produktdemos nie sehen oder auch in so kleinen Piloten. Die Nachvollziehbarkeit. Es reicht nicht, dass es funktioniert, sondern ich muss nachvollziehbar machen, wie es funktioniert und warum es bestimmte Antworten gegeben hat, was es geprüft hat, wie es diese Entscheidung getroffen hat, auf welche Grundlage und wann. Die KI-Verordnung der EU schreibt für hochriskante Systeme, die Definition von einem hochriskanten System muss man uns jetzt nicht kümmern, aber das kann viele Systeme betreffen, vor, dass die Nachvollziehbarkeit gegeben ist. Es schreibt vor, dass ich die Entscheidung protokollieren muss. Es muss Dokumentationen geben, die abbildet, wie so eine Entscheidungsfindung abläuft. Es muss menschliche Aufsicht geben. Es muss Transparenz geben gegenüber dem Betroffenen, also er muss wissen, dass es eine KI im Spiel war. Und es gibt ein Recht auf Erklärung einer Einzelfallentscheidung. Das hat unsere KI so entschieden oder das hat das Large Language Model so ausgespuckt, ist keine Erklärung. Das heißt, ich brauche wieder das, worüber wir die ganze Zeit eigentlich auch reden, auch in den vergangenen Folgen, ich brauche eine KI, ein Large Language Model, das mir Ergebnisse ausspuckt, mit einer Fundstelle zu jeder Aussage, mit einem lückenlosen Protokoll, was gemacht wurde, welche Schritte durchlaufen wurden und warum bestimmte Abzeugen genommen wurden. Und das besteht die Prüfung. Eine Antwort, die total cool klingt, auf der ich aber keine einzige Quelle angegeben habe, die ist natürlich nicht zulassungsfähig. Nachvollziehbarkeit ist kein Feature, was man irgendwie nachrüsten kann, sondern es sind Bedingungen für den Betrieb solcher Anwendungen. Ein Revisor wird niemals fragen, ist eure KI klug oder ist die beeindruckend, sondern er wird fragen, diese eine Entscheidung, auf welchen Dokumenten basiert die, auf welchen Prinzipien, wer hat sie freigegeben, wer hat den Oversight gehabt und was passiert in solchen Fällen, wenn es zu Unsicherheiten kommt. Und dann gibt es eigentlich nur eine von zwei Antworten. Es gibt entweder einen komplett sauberen Audit Trail, wo das drinsteht, oder Schulterzucken und das Schulterzucken ist an der Stelle richtig teuer. Diese Nachvollziehbarkeit von Anfang an in ein KI-System einzubauen, ist möglich. Ist auch nicht jetzt irgendwie gigantisch aufwendig, aber es ist eine architektonische Entscheidung, die unter Umständen das Tool an vielen Stellen ändert und eine andere Implementierung erzwingt, als man das vielleicht naiv vorgenommen hätte. Die Frage
4, die wir uns stellen müssen, die Frage 4, die wir beantworten müssen natürlich, ist, wer haftet im Zweifelsfall, was kostet das und kann man es verhindern? Das habe ich in der früheren Folge auch schon mal erwähnt, dieses Air Canada-Beispiel. Es gab diesen Vorfall, wo ein Chatbot auf der Website von Air Canada einem Kunden gesagt hat, es gäbe einen Rabatt bei Trauerfällen. Und den gab es aber in Wirklichkeit nicht. Der Kunde ist daraufhin geflogen, hat den Rabatt eingeklagt und hat ihn auch erhalten, weil die Aussage des Chatbots als Aussage, offizielle Aussage von Air Canada gewertet wurde. Das war ein Einzelurteil. Mittlerweile wäre auch in der EU sowas mit bestimmten Geldstrafen belegt. Die EU-KI-Verordnung legt die Preisliste dazu fest, also verbotene Praktiken zum Beispiel können verbotene Praktiken im Umgang mit KI, muss man dazu sagen, können bis zu 35 Millionen Euro oder 7% Weltjahresumsatz kosten. Die Pflichten zu vernachlässigen, die man für hochriskante Anwendungen hat, also zum Beispiel diese Nachvollziehbarkeit, das kann bis 15 Millionen bzw. 3% kosten und gegenüber der Aufsichtsbehörde zu lügen bzw. falsche Angaben zu machen, kostet 7,5 Millionen Euro. Und das ist seit August 2025 auch scharfgestellt, diese Regelung. Und wenn man da fair drauf guckt, muss man auch sagen, es ist jetzt nicht irgendwie abgehobener Bürokratenkam. Während die ganze KI-Verordnung kann man durchaus als abgehobenen Bürokratenkram sehen. Aber diese Grundprinzipien, die hier gefordert werden, nämlich saubere Datenverwaltung, Nachvollziehbarkeit, menschliche Aufsicht, Transparenz, das sind sowieso die Hausaufgaben, die man für so ein KI-System machen sollte. Der Gesetzgeber hat hier die Hausaufgabe nur zur Pflicht gemacht, zur Vorschrift und einen Preisschritt dran geklebt. Das heißt, wenn ich diese Hausaufgaben ordentlich mache, die vernünftigerweise sowieso zu jedem KI-System gehören, dann habe ich nebenbei die halbe EU-KI-Vordnung sowieso erfüllt. Und wenn ich sie überspringe, dann habe ich den doppelten Schaden, nämlich einerseits meinen eigenen Schaden, durch diese Anwendung und zweitens noch ein Bußgeldpotenziell. Und das Muster ist wieder klar, keine der vier Fragen handelt vom Modell. Es geht nicht um GPT oder Anthropic bzw. GPT oder Sonnet. Es geht um Rechte. Es geht um Datenschutz, es geht um nachweisbarkraft, Haftung, es geht um Organisations- und Prozessfragen. Es geht wieder um Fragen, die wir beantworten müssen, bevor die erste KI eingeschaltet wird. Und wie in jeder Podcast-Folge in den letzten Wochen zumindest, ist die gute Nachricht, auch diese Frage ist natürlich beantwortbar. Natürlich kann ich Rechte aufräumen. Natürlich muss ich sowieso oder sollte sowieso Datenschutz sauber aufsetzen. Natürlich macht es total Sinn, Nachvollziehbarkeit schon ins Fundament meiner KI-Anwendung einzubacken. Und natürlich ist es überlebensnotwendig, Haftung vorher zu klären. Das ist absehbare, planbare Arbeit und jede geleistete Stunde für diese Arbeit ist billiger als ein einziger meldepflichtiger Vorfall. Trotzdem wird es sehr oft übersprungen im Eifer des Gefechts, wenn man irgendeine coole KI-Anwendung halt einfach live bringen will. Das heißt, umgekehrt muss ich wieder als Unternehmen, das vor so einem Projekt steht, mich einem Selbsttest unterziehen, einer Selbstdiagnose für regulierte Unternehmen sozusagen. Erstens kann jemand mit Sicherheit sagen, wer auf welche Dokumente Zugriff hat, gibt es dieses Wissen und ist es tatsächlich in der Organisation verankert. Zweitens dürfen die Daten, die für diese KI-Anwendung verwendet werden sollen, zu diesem Zweck verwendet werden, gemäß DSGVO, gemäß anderer Verordnungen und Regularien. Drittens ist für eine einzelne KI-Antwort mökenlos zeigbar, worauf sie beruht und wer sie freigegeben hat, wenn es entsprechenden Impact hat, wenn es um ein Hochrisikosystem geht. Und viertens ist klar geregelt, wie die Verantwortlichkeiten und Haftungen verteilt sind. Wenn man bei einer dieser Fragen zögert oder die Antwort nicht weiß, dann liegt das Problem nicht in der KI, sondern wie so oft in der Organisation. Auch dieses Thema haben wir natürlich mit unseren Klienten schon zigmal durchgespielt. Es gibt
eine eigene Folge im Podcast übrigens über einen Use Case, wo es um einen Anbieter von Compliance Software für regulierte Branchen geht, also quasi einen Softwareanbieter, der genau in diese Industrien reinverkauft. Dort war unsere Aufgabe, also quasi die Aufgabe der KI-Implementierung, Anforderungen aus Regularien automatisch mit internen Dokumenten zu verknüpfen. Also quasi zu zeigen, dass Regularien erfüllt werden, auf Basis von internen Dokumenten Prozessbeschreibungen auch intern nachweisen und zu erlauben, dass die KI diese Verknüpfung herstellt und dass es auch einen Assistenten gibt, der Fragen dazu beantwortet. Das Heikle auch da war nicht unbedingt die KI, das war auch tatsächlich herausfordernd und schwierig, aber das Heikle ist natürlich auch da, dass ein Umgang existiert mit hochvertraulichen Dokumenten, mit strengen Sicherheitsanforderungen, weil dieser Klient sich natürlich und dessen Kunden sich einen Datenabfluss natürlich hier nicht leisten können. Das heißt, die allererste Entscheidung, die unsere Klient getätigt hat, ist eine Organisationsentscheidung, keine Modellentscheidung. Bevor er irgendwelche KI-Implementierungen gestartet hat mit uns, wurde festgelegt, okay, die Kundendaten verlassen nicht die europäische Cloud-Umgebung. Die Kundendaten sind end-to-end über ein Recht- und Rollenkonzept abgesichert und end-to-end verschlüsselt. Es gibt kontrollierten Zugriff, es gibt saubere Nachvollziehbarkeit. Und diese Anforderungen haben wir dann auch in die KI-Bausteine, die wir da entwickelt haben, natürlich mit reingezogen. Das geht los dabei, dass das System lieber sagt, es steht nicht in den Unterlagen, statt zu raten, dass es klar nachvollziehbar ist, auf welcher Basis bestimmte Antworten generiert wurden. Es gibt sehr, sehr wenig Halluzinationen in diesem Falle, weil Abwesenheit von Halluzinationen wichtiger ist als Eleganz oder Antwort, ja, Häufigkeit, sagen wir mal so. Und es läuft in Produktion, im regulierten Umfeld, weil genau die vier Fragen, über die wir jetzt geredet haben, alle vorher korrekt beantwortet wurden und auch auf dieser Basis implementiert wurde. Wenn man dieses Fundament einmal gegossen hat, das ist natürlich genau das gleiche wie mit der Datenqualität, dann trägt das natürlich mehr als eine Anwendung. Ein sauberes rechte Konzept, da braucht man, glaube ich, nicht drüber reden, dass das außerhalb von der KI-Anwendung auch eine Rolle spielt und einen Nutzen hat. Das trägt auch natürlich dann die nächste KI-Anwendung mit. Also nochmal, ich muss mich dann nicht mit diesen Compliance-Fragen nochmal von vorn beschäftigen. Ich mache die Hausaufgabe einmal und habe den Nutzen vielfach.
Noch eine Anmerkung in eigener Sache. Gefällt euch dieser halbkritische, halb enthusiastische Blick auf KI, immer mit einer Perspektive aus der Praxis. Wenn ihr wissen wollt, wie man KI produktiv einsetzt, gerade dort, wo Scheitern am teuersten ist. Wenn ihr wissen wollt, wie man diese unleugbaren Probleme in den Griff bekommt und trotzdem mit KI richtig coole Sachen machen kann, dann abonniert doch diesen Podcast, weil darüber reden wir eigentlich die ganze Zeit. Zusammengefasst, im regulierten Umfeld sind die schwierigsten KI-Fragen keine Technikfragen. Sie lauten nicht, welches Modell nehme ich her, sondern wer darf was sehen, dürfen wir die Daten verarbeiten, können wir nachweisen, was passiert ist, wer haftet, wenn es schief geht. Das sind Organisationsfragen. Und die EU-KI-Verordnung, zu der es übrigens auch eine Podcast-Folge gibt, wenn ihr ein bisschen weiter nach hinten sucht, hat sie mit Fristen und Millionenbeträgen von der Kür zu Pflicht gemacht. Die Reihenfolge sollte also sein, erst die Organisation, dann die Daten, wenn man in der letzten Folge folgt, und dann das Modell. Wer zuerst eine KI einkauft und die Hausaufgaben aufspart, baut ein System, das in der ersten Prüfung durchfällt, ist klar. Und das im schlimmsten Fall in der Zeitung landet, wie halt auch ab und zu schon passiert ist. Wer diese Fragen vorher beantwortet, baut eines, das trägt und baut auf dem gleichen Fundament vielleicht noch zwei, drei andere Anwendungen. Im regulierten Umfeld ist es ganz besonders kein Luxus, sondern eine notwendige Eintrittskarte in die Welt der KI, wenn man so will. Investiert jetzt fünf Minuten, anstatt später vielleicht ein fünfstelliges Lehrgeld zu zahlen. Unser kostenloser Check zeigt euch, an welchen sechs Stellen euer KI-Vorhaben in Produktion kippen könnte. Jetzt einfach ausfüllen unter neomo.link/check. Den Link findet ihr auch in den Shownotes.