AI Snacks - die Kolumne V

Wie Unternehmen die eigenen Daten mit AI nutzen können, ohne diese an OpenAI & Co. publizieren zu müssen, soll heute in unserer AI Kolumne behandelt werden.

Keine Angst und nicht abschrecken lassen, wir werden uns nicht auf “Nerd-Ebene” bewegen, sondern machen das ganze als AI Snack wie immer leicht verdaulich!
 

“Houston, we have Problem.”

Ein kurzes Experiment mit Hinblick auf die dieses Jahr bevorstehende Fußball Europameisterschaft, wir wollen ChatGPT kurz befragen, welche Mannschaften denn eigentlich mitspielen?

Exkurs: spielt Norwegen eigentlich mit oder nicht?
[Auflösung am Ende der Kolumne]

Die Antwort lässt uns dann wieder an der Intelligenz solcher Systeme zweifeln, und Endzeit Visionen a la Terminator verblassen, denn wie soll eine KI uns jemals überlegen sein, wenn diese noch nicht einmal die Informationen zur Fußball-EM liefern kann?
 

Glücklicherweise, sind wir ja mittlerweile alle mit den Grundlagen von KI vertraut und wissen entsprechend: Eine KI, bzw. das dahinter stehende sog. Large Language Model (LLM) muss entsprechend trainiert sein. Und wenn Informationen zum Zeitpunkt des Trainings noch nicht vorhanden waren, können diese entsprechend auch nicht berücksichtigt werden.

Die Alternative wäre ein höherfrequentes Training des Modells, dies ist jedoch Zeit- und vor allen Dingen Rechentechnisch gar nicht möglich, das Training des LLMs hinter Chat GPT-4 betrug ca. 5-6 Monate.

Fun Fact: unter der Annahme, dass 25’000 Nvidia A100 GPUs für das Training des GPT-4 Modells verwendet wurden, hätte man einen Energieverbrauch von gesamthaft ca. 55’000’000 KWh was 55 Gigawattstunden entspricht¹. Kurze Vergleichsrechnung: 550’000 Teslas hätte man mit dieser Energie komplett laden können, oder mit einem Tesla (Annahme Reichweite pro Ladung 450km) 247’500’000km fahren können, was in etwa 6187 Erdumrunden entspricht.

Noch deutlicher wird das Problem, wenn mittels Large Language Model beispielsweise interne Daten wie z.B. der Speiseplan für die Kantine erfragt werden sollen (jetzt kommen wir zu den echten AI-Killer-Cases).

Hier treffen gleich zwei Herausforderungen aufeinander: Real Time Daten und dazu noch hoch spezifische Daten. LLMs stoßen hier an ihre Grenzen, bzw. die Architektur von LLMs ist (noch!) nicht darauf ausgerichtet z.B. stündlich neu trainiert zu werden. Hier hat die schöne neue AI Welt also Defizite, die es für Unternehmen schwierig machen “klassische” LLM Architekturen für interne bzw. Real Time Data einzusetzen.

¹https://towardsdatascience.com/the-carbon-footprint-of-gpt-4-d6c676eb21ae
 

Mission Control: “We have a solution for you.”

Bei dem aktuellen Tempo, das aktuell im AI Bereich eingeschlagen wurde, wäre es unvorstellbar, wenn nicht für jedes Problem in kürzester Zeit eine Lösung entwickelt wird, und so verhält es sich auch mit unserer oben skizzierten Real Time/Company Herausforderung, das Zauberwort an dieser Stellen lautet:

Retrieval-Augmented Generation, kurz RAG.

Bei der RAG Architektur handelt es sich um ein neues AI-Architektur Paradigma, das es stark vereinfacht dargestellt, Unternehmen erlaubt, eigene Datenquellen anzubinden, z.B. Company eigene PDFs oder aber auch dynamische Daten wie z.B. Schnittstellen. Das Ganze kann man sich vorstellen wie eine Art “Weichenstellung”, bei welcher der Smart Retriever als erstes versucht, die relevanten Informationen basierend auf den eigenen Datenquellen ausfindig zu machen. Dies müssen natürlich noch “geglättet” werden und ggf. mit weiteren Informationen aus dem LLM angereichert werden, so dass dann eine sauber Antwort an den User zurück geliefert werden kann:
 

Die RAG Architektur bietet Unternehmen entsprechend völlig neue Möglichkeiten, da man hier im eigenen Datensilo mit eigenen LLMs oder LLM-Forks arbeiten kann, Themen wie Datenschutz werden dadurch sauber adressiert und gleichzeitig eine skalierbare Grundlage geschaffen, welche den Einsatz von AI in Unternehmen auf ein komplett neues Level bringt.

Der Hype und die Wellen, welche RAG Architekturen verglichen zu ChatGPT & Co schlagen ist verhältnismäßig klein - der Impact auf Unternehmen jedoch um ein Vielfaches größer.

Fazit: from Hype to Real World

Ich gebe zu: die Generierung neuer Bild- oder Videomaterial und damit verbundener Tools ist deutlich einfacher zu vermitteln, als das Konzept von RAGs. Genau an dieser Stelle offenbart sich jedoch, dass wir aktuell in der nächsten AI Transition Phase angekommen sind, nämlich in der Phase der Real-World-Cases.

Chat-GPT, Dall-E & Co sind mittlerweile fest verankert in unserem Daily Business, wenn es jedoch darum geht echte Corporate Cases zu erstellen, war die Luft jedoch eher dünn: klar, ein Prototyp Chatbot ist schnell zusammengebaut, diesen jedoch dann auf Enterprise Level zu liften war in der Vergangenheit schlicht und einfach nicht möglich durch das Fehlen entsprechende Architekturen.

Sprich, AI verlagert sich von der Spitze des Eisberges langsam unter die Oberfläche, wo die echten neuen Cases auf uns warten. Nachteil dabei jedoch auch ganz klar: eine RAG Architektur beispielsweise ohne die eigene IT mit an Bord zu haben, ist fast unmöglich umzusetzen und hier droht sich das Dilemma der mobilen Revolution zu wiederholen: wird die eigene Unternehmenstechnik zum Bremsschuh statt zum Enabler, laufen Unternehmen Gefahr, den Anschluss zu verpassen.

Die Lücke, die auf diese Art und Weise gerissen wird, gleicht der Lücke bei einem Radrennen: einmal vom Hauptfeld abgehängt, kostet es extreme Kraftreserven, das Hauptfeld wieder zu erreichen...