Fünf Erkenntnisse der letzten zwei Jahre: Ein Plädoyer für datenschutz-zentrierte LLM-Chatbots auf eigener Infrastruktur

Seit wir bei intercorp. intensiver damit begonnen haben, uns aufgrund der hohen thematischen Exposition mit generativer KI zu beschäftigen (das war um den Jahreswechsel 22/23), ist ziemlich viel passiert. In der Zeit haben wir einiges gelernt.

Wir schreiben das Jahr 2 n. EBGKI.

EBGKI = Explosion des Bekanntheitsgrads generativer künstlicher Intelligenz.

Anfangs war da nur OpenAI mit GPT-3, und plötzlich schien es, als würden alle Prophezeiungen diverser Science Fiction-Geschichten Realität. Andere Anbieter rückten langsam nach, boten vergleichbare Services - nicht nur Textgenerierung, sondern Bilderzeugung, Musik, andere Kreativa. 

Es schossen zahllose LLM-Frameworks aus dem Boden (und verschwanden wieder). Die Tech-Giganten (Ausnahme Apple, die sich vornehm zurückhielten) aus dem Silicon Valley überboten sich regelmäßig mit Allheils-Versprechen und der Bewerbung schier unendlicher Potenziale, menschliches Leid am Büro-Schreibtisch für immer zu beseitigen. Der Quellekatalog der LLM-Welt "Huggingface.co" öffnete seine Pforten, und wir hatten mitunter Schwierigkeiten, neben unserem unverändert intensiven Softwareentwicklungs-Tagesgeschäft, mit der rasanten Entwicklung Schritt zu halten.

Es gibt einen zynisch-unterhaltsamen, aber durchaus wahrheitsnahen Rant über GenKI, den ich als Lektüre empfehlen möchte.

Eine der Kernthesen des Beitrags, der ich beipflichten kann, besagt, dass Generative KI wesentlich von einer gesunden Datenbasis lebt. Insbesondere, wenn es um RAG (Retrieval Augmented Generation) geht - also der Extraktion von Wissen aus Unternehmensdokumenten. Ist die Datenbasis ungeeignet, ist jedes GenKI-Projekt zum Scheitern verurteilt.

Nach diesen bald zwei Jahren der "GenKI-Revolution" können wir aus unseren eigenen Erfahrungen mit Kundenprojekten folgende Schlüsse ziehen:

  1. Generative KI kann ein hilfreiches Tool in bestimmten Anwendungsfällen sein, ist aber - aufgrund der Eigenart als nicht-deterministisches System - nicht dazu geeignet wirklich kritische Entscheidungen oder Informationsmengen zu liefern. Man kann prinzipbedingt nicht (und wird auch nie) sich darauf verlassen können, dass stets kompetente und wahrheitsgetreue Ergebnisse geliefert werden, es wird immer Kontrolle und Sicherheitsmechanismen geben müssen, und je nachdem, wie aufwändig diese Leitplanken in Implementierung und Betrieb sind, desto mehr kann man den Nutzen von GenKI in Frage stellen. Wenn GenKI-Anbieter versprechen, dass ihre Systeme auf einmal unternehmenskritische, durchoptimierte Vorhersagen treffen können, die den Umsatz im kommenden Jahr um 300% steigern, lügen sie. Schlicht und ergreifend.
  2. Manche unserer Partner und Kollegen wundern sich immer wieder darüber, warum wir im Gegensatz zu vielen anderen Wettbewerbern der Entwicklung Generativer KI von Anfang an nicht vorbehaltlos positiv gegenüber standen und stehen. Und das, obwohl wir solche Systeme in unser Entwicklungsportfolio aufgenommen haben. Fakt ist: Auch uns helfen LLMs im Alltag bei kleineren Aufgaben und wir sehen bei vielen Kunden mal mehr, mal weniger gewinnbringende Anwendungsfälle. Aber wir haben auch ein großes Interesse daran, unsere Kunden vor Enttäuschungen zu bewahren, deren Erwartungshaltung durch eine sehr optimistische Bewerbung der Fähigkeiten von GenKI verzerrt wurde.
  3. Der Wunsch, an der KI-Revolution teilzuhaben, wird bei vielen Unternehmen nach wie vor durch eine nicht ausreichende Qualität der Dokumentenbasis gebremst, die in der Regel als Grundlage für einen auf generativer KI basierenden Chatbot genutzt werden soll.
  4. Für viele unserer Kunden und Kontakte ist der Schutz unternehmensinterner Daten ungebrochen wichtig. Nach den zahllosen Datenschutz- und Provisioning-Mishaps, die sich in den letzten Jahren auch bei den Tech-Giganten zugetragen haben, schwindet allmählich das Vertrauen in Kompetenz und Sorgfalt der einschlägigen Cloud-Anbieter wie Google, Microsoft et al. Und der Wunsch nach Lösungen, über die man via eigener Infrastruktur volle Hoheit hat, wächst.
  5. Zu Beginn des GenKI-Hypes haben wir noch - wie viele andere Softwareanbieter auch - Chatbots mit einem eigenen User Interface entwickelt. Mittlerweile ist der Initial-Aufwand für das Ausrollen einer solchen Lösung für uns erheblich geringer: Es gibt hervorragende Frameworks auf dem Markt, die selbstgehostete, datenschutzkonforme und kompentente LLM-Chatbots auf Open Source Basis kostengünstig ermöglichen - inklusive User- und Workspace-Verwaltung sowie der Möglichkeit, mehrere Sprachmodelle gleichzeitig zu testen (z.B. Gemma2, Llama3 u.a.).

Der deutsche Mittelstand tut sich nach wie vor sehr schwer damit, Entwicklungen rund um Künstliche Intelligenz ernsthaft zu untersuchen und die richtigen Schlüsse zu ziehen - das muss sich unbedingt ändern, wenn sich die Prophezeiungen prominenter Deutschland-Kritiker (auch im Ausland) nicht bewahrheiten sollen.

Daneben fordert der Artikel 4 des EU AI Acts von den Unternehmen, die z.B. Sprachmodelle auf KI-Basis einsetzen, dass die Mitarbeitenden angemessenen für den Umgang mit solchen Systemen geschult werden. Zur Kompetenz rund um KI gehört also auch, sich die Grenzen und Herausforderungen, die solche Systeme mit sich bringen, vor Augen zu führen und entsprechende Richtlinien und Leitplanken zu etablieren.

Sprechen Sie mit uns. Klartext, offen, ohne Scheu, über Unangenehmes oder Versäumtes - auch im Bereich Künstliche Intelligenz. Und dann ziehen wir gemeinsam die richtigen Schlüsse. Nur so kommen wir, kommt Deutschland weiter.

Hier geht's zu unserem Beratungsangebot.

Übrigens ist dieser Beitrag zu 100% menschlichen Ursprungs. Muss man ja mittlerweile schon explizit herausstellen.