Inside LLMs: Wie ChatGPT denkt

Wer gefragt wird, wie die ChatGPT, der derzeit beliebteste KI-Agent, arbeitet, liegt vielen die Antwort auf der Zunge: künstliche Intelligenz. Aber diese Antwort ist sehr vage. Obwohl künstliche Intelligenz heute zu den Studienbereichen mit der größten Forschung und Entwicklung in der Informatik zählt, umfasst sie mehrere wissenschaftliche Themen.

Einer davon ist der Schlüssel zur Funktionsweise von ChatGPT und den meisten im Web verfügbaren KI-Agenten: LLMs. In diesem Artikel werden wir im Detail untersuchen, wie dieses Konzept die künstliche Intelligenz und unsere Welt revolutioniert hat.

Was sind Large Language Models (LLMs)?

Large Language Models (LLMs, Large Language Models, auf Portugiesisch) sind Algorithmen für Tiefes Lernen (Deep Learning, auf Portugiesisch) in der Lage, eine Reihe von Aufgaben auszuführen Verarbeitung natürlicher Sprache (Verarbeitung natürlicher Sprache, auf Portugiesisch). Puh, so viele Akronyme, oder?

LLMs verwenden Transformer-Modelle und werden anhand riesiger Datensätze trainiert. Einige Beispiele für beliebte Datensätze sind: LAION-2B-de, CCAW-Erweiterung e WikiText-103. Ein Transformer-Modell mag wie ein Roboter erscheinen, der sich in ein Auto verwandelt, im Bereich der KI ist es jedoch die gängigste Architektur für ein LLM.

Der Transformator besteht aus einem Encoder (Encoder, auf Portugiesisch) und ein Decoder (Decoder, auf Portugiesisch). Grundsätzlich ist der Encoder dafür verantwortlich, die Wörter eines Satzes oder Textes in kleine Teile, sogenannte Token, zu zerlegen, und der Decoder führt mathematische Operationen durch, um Beziehungen zwischen diesen Token zu identifizieren.

Der große Unterschied zwischen Transformatoren und der vor Jahren verwendeten Architektur, LSTM (Langes Kurzzeitgedächtnis, oder Long Short Term Memory), besteht darin, dass Transformatoren mit Selbstaufmerksamkeitsmechanismen arbeiten, d. h., sie sind in der Lage, schneller zu lernen, wenn sie Teile eines Satzes oder sogar seinen Kontext berücksichtigen, um Vorhersagen zu generieren.

LLMs sind vielseitige KI-Systeme, die neben der Verarbeitung menschlicher Sprache auch andere Aufgaben wie die Analyse von Proteinstrukturen und die Generierung von Programmcode übernehmen können. Um effizient zu funktionieren, erfordern LLMs ein Vortraining und eine sorgfältige Feinabstimmung, um Funktionen wie Textklassifizierung, Zusammenfassung und Beantwortung von Fragen zu bewältigen, was sie für Branchen wie das Gesundheitswesen, das Finanzwesen und die Unterhaltungsbranche wertvoll macht.

Schlüsselkomponenten

LLMs bestehen aus mehreren Schichten neuronaler Netzwerke. In einem neuronalen Netzwerk (Neurales Netzwerk, auf Englisch), wird grundsätzlich eine Variable als Eingabe verwendet, von einer oder mehreren Schichten mit unterschiedlichen Gewichtungen und mathematischen Gleichungen verarbeitet und ein Ausgabewert erzeugt.

Der erste Typ neuronaler Netzwerke, der in LLMs vorhanden ist, ist die Einbettungsschicht (Einbettungsschicht, auf Englisch). Es ist für den Einbettungsprozess verantwortlich und erfasst die Semantik und syntaktische Bedeutung der Eingabe, damit das Modell den Kontext verstehen kann.

Dann haben wir die Feedforward-Schicht (FFN, Feedforward Network, auf Englisch), die aus mehreren miteinander verbundenen Schichten besteht, die die eingebetteten Eingaben transformieren. Dabei ermöglichen diese Schichten dem Modell, Abstraktionen höherer Ebene zu erfassen, d. h. die Absicht des Benutzers mit der Texteingabe zu verstehen.

Als nächstes haben wir die rekurrierende Schicht, die die Wörter im Eingabetext der Reihe nach interpretiert. Es ist dafür verantwortlich, die Beziehung zwischen Wörtern in einem Satz zu erfassen.

Und nicht zuletzt gibt es den Aufmerksamkeitsmechanismus, der es dem LLM ermöglicht, sich auf einzelne Teile des Eingabetextes zu konzentrieren, die für die zugewiesene Aufgabe relevant sind. Diese Schicht ermöglicht es dem Modell, die geeignetsten und genauesten Ausgaben zu generieren.

wie sie arbeiten

Nachdem wir nun wissen, was LLMs sind und welche Hauptkomponenten sie haben, können wir ihre Funktionsweise besser verstehen. Grundsätzlich nehmen transformerbasierte LLMs eine Eingabe entgegen, kodieren sie und dekodieren sie dann, um eine vorhergesagte Ausgabe zu erzeugen. Bevor ein LLM jedoch eine Texteingabe verarbeiten und eine vorhergesagte Ausgabe generieren kann, muss es für die Ausführung allgemeiner Funktionen trainiert und für die Ausführung spezifischer Aufgaben feinabgestimmt werden.

Vortraining (Vortraining, auf Englisch) ist ein klassisches Verfahren im Bereich der Maschinelles Lernen (Maschinelles lernen, auf Englisch) im Bereich Künstliche Intelligenz. Dieser Prozess besteht, wie der Name schon sagt, aus dem Vortraining von LLMs mithilfe großer Textdatensätze mit Billionen von Wörtern von Websites wie Wikipedia , GitHub, unter anderem. Schließlich muss der LLM ja irgendwo lernen, wie ein kleines Kind, oder?

In dieser Phase führt der LLM sogenanntes unüberwachtes Lernen durch (Unbeaufsichtigtes Lernen, auf Englisch) – ein Verfahren, bei dem Datensätze ohne spezifische Manipulationsanweisungen einfach gelesen werden. Mit anderen Worten: Ohne einen „Lehrer“ ist der eigene KI-Algorithmus des LLM dafür verantwortlich, die Bedeutung jedes Wortes und die Beziehungen zwischen ihnen zu lernen. Darüber hinaus lernt LLM auch, Wörter kontextbezogen zu unterscheiden. Sie lernt beispielsweise zu verstehen, ob „rechts“ „richtig“ bedeutet oder nur „das Gegenteil von links“ ist.

Nun beginnt der Feinabstimmungsprozess (Feintuning, auf Englisch) dient dazu, den LLM präzise „einzustellen“, um bestimmte Aufgaben, wie beispielsweise die Textübersetzung, effizient auszuführen und seine Leistung zu optimieren. Das Anpassen von Eingabeaufforderungen (Fragen und Anweisungen an den LLM) funktioniert wie eine Feinabstimmung, da das Modell dadurch für die Ausführung einer bestimmten Aufgabe trainiert werden kann.

Damit ein großes Sprachmodell eine bestimmte Aufgabe, beispielsweise eine Übersetzung, ausführen kann, muss es für diese spezielle Aufgabe optimiert werden. Durch Feinabstimmung wird die Leistung für bestimmte Aufgaben optimiert.

Die Prompt-Optimierung erfüllt eine ähnliche Funktion wie die Feinabstimmung, indem ein Modell trainiert wird, eine bestimmte Aufgabe durch Eingabeaufforderungen mit wenigen oder gar keinen Versuchen auszuführen. Nachfolgend sehen Sie ein Beispiel für eine Übung zur „Stimmungsanalyse“ mit einer Eingabeaufforderung mit wenigen Beispielen:

Texto de entrada: Essa casa é linda!
Sentimento da frase: Positivo

Texto de entrada: Essa casa é horrível!
Sentimento da frase: Negativo

Basierend auf den in diesem Beispiel erzielten Ergebnissen würde LLM aufgrund der semantischen Bedeutung von „schrecklich“ und weil ein gegenteiliges Beispiel bereitgestellt wurde, verstehen, dass die Stimmung des Benutzers im zweiten Beispiel „negativ“ ist.

Anwendungsszenarien

Wie bereits erwähnt, können LLMs für verschiedene Zwecke verwendet werden:

• Informationsabruf: In diesem Fall können wir uns den Einsatz in Websuchmaschinen wie Google oder Bing vorstellen. Wenn ein Benutzer die Suchfunktion dieser Dienste verwendet, verwendet er LLMs, um Informationen in Form einer Antwort auf seine Anfrage zu erzeugen. LLMs sind in der Lage, Informationen abzurufen, zusammenzufassen und die Antwort in Form einer Konversation mit dem Benutzer zu kommunizieren.
• Text- und Programmcodegenerierung: LLMs sind der Hauptmotor hinter generativer KI wie ChatGPT und können basierend auf Eingaben und Aufforderungen Text und Programmcode generieren. Beispielsweise ist chatGPT in der Lage, Muster zu erkennen und effizient auf Benutzeranfragen wie „Schreiben Sie ein Gedicht über Blumen im Stil von Manuel Bandeira“ oder „Schreiben Sie einen Python-Code, der eine Liste von Filmen alphabetisch sortieren kann“ zu reagieren.
• Chatbots und Konversations-KIs: LLMs können bereits Kundenservice durch Chatbot-Agenten anbieten, die mit Verbrauchern kommunizieren, die Bedeutung ihrer Fragen und Anliegen interpretieren und entsprechende Antworten oder Anleitungen bieten.

Neben diesen Einsatzszenarien erweisen sich LLMs als vielversprechendes KI-Tool in den Bereichen Technologie, Gesundheit und Wissenschaft, Marketing, Recht sowie für den Einsatz in Banksystemen. Um Ihnen eine Vorstellung zu geben: LLMs sind derzeit in der Lage, mit einem hohen Grad an Genauigkeit vorherzusagen, Auftreten von Brustkrebs Sie analysieren einfach Sätze von Zellproben mit einer höheren Genauigkeit als viele erfahrene Kliniker.

LLMs und Generative Pre-Trained Transformer (GPT)

O Generativer vortrainierter Transformator (GPT) ist ein spezieller LLM-Typ, der eine Transformer-Architektur verwendet und von der Firma OpenAI entwickelt wurde. Es ist darauf ausgelegt, natürliche Sprache (wie Portugiesisch oder Englisch) auf äußerst effiziente und realistische Weise zu verstehen, zu generieren und zu bearbeiten.

Wenn wir den Namen aufschlüsseln, können wir besser verstehen, was ein GPT ist:

• Generativ (Generativ, auf Portugiesisch): gibt an, dass das Modell Text generiert, d. h., es ist in der Lage, neue Sätze, Antworten, Zusammenfassungen, Codes usw. zu erstellen.
• Vorab trainiert (Vortrainiert, auf Portugiesisch): Dies bedeutet, dass es anhand einer großen Menge an Text aus dem Internet, wie Büchern, Artikeln, Websites und mehr, vortrainiert ist. Es kann dann für bestimmte Aufgaben angepasst werden.
• Transformator: Wie bereits erwähnt, ist dies die neuronale Netzwerkarchitektur, die die Grundlage für das Modell bildet. Es ist hochgradig parallelisierbar (kann mehrere Aufgaben gleichzeitig ausführen) und effizient bei der Verarbeitung langer Textsequenzen.

Der große Unterschied zwischen GPT und anderen LLMs ist die Trainingsphase, die aus drei verschiedenen Prozessen besteht:

• Vor dem Training: Riesige Datenmengen werden aus dem Internet, Büchern und sogar Videos und Musik extrahiert und dann zu Token verarbeitet.
• Anleitung zur Feineinstellung: Dabei wird dem Modell „beigebracht“, wie es auf bestimmte Anweisungen reagieren soll, und seine Antworten werden so angepasst, dass sie genauer sind.
• Bestärkendes Lernen durch menschliches Feedback: Ähnlich wie bei der Feinabstimmung erfolgt das „Lernen“ hier durch menschliches Feedback, das den Prozess des „bestärkenden Lernens“ einleitet, bei dem die KI durch Wiederholungen und Informationen lernt, die von einem externen Agenten bereitgestellt werden, in diesem Fall dem Benutzer, der die KI verwendet.

Geschichte: Von Milliarden Wörtern zu komplexen Texten

Obwohl der Boom bei Sprachmodellen erst im Jahr 2017 begann, waren die Alignment-Modelle von IBM bereits seit 1990 Vorreiter in der statistischen Sprachmodellierung. Im Jahr 2001 erreichte ein Modell, das mit 3 Millionen Wörtern trainiert wurde, die "Stand der Technik" in Bezug auf die Genauigkeit bei der Interpretation von Texten und der Konstruktion zusammenhängender Sätze.

Ab 2012 Neuronale Netze gewann in der Welt der KI an Bedeutung und wurde bald auch für Sprachaufgaben eingesetzt. Im Jahr 2016 übernahm Google die Neuronale maschinelle Übersetzung (Neurale maschinelle Übersetzung, auf Portugiesisch) unter Verwendung von Modellen, die auf diesem Konzept basieren. Im Jahr 2018 konzentrierte sich das Unternehmen OpenAI voll und ganz auf die Entwicklung von KI-Agenten auf Basis von LLMs und brachte GPT-1 zu Testzwecken auf den Markt. Erst im darauffolgenden Jahr erregte GPT-2 aufgrund seiner potenziell unethischen Verwendung die Aufmerksamkeit der Öffentlichkeit.

In 2020 ist das GPT-3 kam mit eingeschränktem Zugriff nur über API auf den Markt, aber erst im Jahr 2022 erregte ChatGPT (der von GPT-3 „betriebene“ KI-Agent) die Aufmerksamkeit der Öffentlichkeit auf der ganzen Welt.
GPT-4 soll 2023 mit multimodalen Fähigkeiten auf den Markt kommen, technische Details wurden jedoch noch nicht veröffentlicht. Im Jahr 2024 startete OpenAI die Modell o1, konzentrierte sich auf die Generierung langer Argumentationsketten. Diese Tools haben zu einer weitverbreiteten Einführung von LLMs in unterschiedlichsten Forschungsfeldern geführt.

Ab 2024 basieren alle größten und effizientesten LLMs auf der Transformer-Architektur, wobei einige Forscher mit anderen Architekturen experimentieren und diese testen, wie zum Beispiel Wiederkehrende neuronale Netze (Rekurrierende neuronale Netzwerke, auf Portugiesisch).

Die Vorteile und Grenzen von LLMs

Aufgrund ihres breiten Anwendungsspektrums sind LLMs für die Problemlösung außerordentlich nützlich, da sie Informationen in einem klaren und einfachen Stil bereitstellen, der für die Benutzer leicht verständlich ist. Darüber hinaus können sie für Sprachübersetzungen, Satzvervollständigungen, Stimmungsanalysen, Fragenbeantwortungen, mathematische Gleichungen und mehr verwendet werden.

Die Leistung von LLMs verbessert sich ständig, da sie mit der Hinzufügung weiterer Daten und Parameter wächst. Mit anderen Worten: Je mehr Sie lernen, desto besser werden Sie. Darüber hinaus können große Sprachmodelle das sogenannte „Lernen im Kontext“ aufweisen. Sobald ein LLM vortrainiert wurde, ermöglicht die Eingabeaufforderung mit wenigen Versuchen dem Modell, ohne zusätzliche Parameter aus der Eingabeaufforderung zu lernen. Auf diese Weise lernt er kontinuierlich.

Durch die Demonstration des Lernens im Kontext lernen LLMs schnell, da sie kein zusätzliches Gewicht, keine zusätzlichen Ressourcen und Parameter für das Training benötigen. Sie sind schnell in dem Sinne, dass sie nicht viele Beispiele benötigen, um „intelligenter“ zu werden.

Ein wesentliches Merkmal von LLMs ist ihre Fähigkeit, auf unvorhersehbare Anfragen zu reagieren. Ein herkömmliches Computerprogramm empfängt beispielsweise Befehle in seiner akzeptierten Syntax oder aus einem bestimmten Satz von Benutzereingaben. Ein LLM hingegen kann auf natürliche menschliche Sprache reagieren und mithilfe von Datenanalysen eine unstrukturierte Frage oder Anfrage auf sinnvolle Weise beantworten. Während ein typisches Computerprogramm eine Eingabeaufforderung wie „Welches sind die fünf größten Rockbands der Geschichte?“ nicht erkennen würde, könnte ein LLM mit einer Liste von fünf dieser Bands und einer einigermaßen überzeugenden Begründung antworten, warum sie die besten sind.

Allerdings können LLMs hinsichtlich der von ihnen bereitgestellten Informationen nur so zuverlässig sein wie die Daten, die sie erhalten. Wenn sie in der Vortrainingsphase falsche Informationen erhalten, geben sie als Antwort auf Benutzeranfragen falsche Informationen weiter. Manchmal kommt es auch vor, dass LLMs „halluzinieren“, indem sie Antworten erfinden und sogar literarische Quellen fälschen, wenn sie nicht in der Lage sind, eine genaue Antwort zu liefern.

Zum Beispiel im Jahr 2022 die Nachrichtenagentur Fast Company fragte ChatGPT nach dem letzten Finanzquartal des Unternehmens Tesla. ChatGPT lieferte zwar als Antwort einen zusammenhängenden Nachrichtenartikel, viele der darin enthaltenen Informationen waren jedoch erfunden. Da es sich um ein KI-basiertes System handelt, ist bekannt, dass es ständig verbessert wird. Dennoch ist es falsch, den Antworten der LLMs hundertprozentig zu vertrauen.

In Bezug auf die Sicherheit sind benutzerorientierte Anwendungen auf Basis von LLMs genauso fehleranfällig wie jede andere Anwendung. LLMs können auch durch böswillige Eingaben manipuliert werden, um bestimmte Arten von Antworten gegenüber anderen vorzuziehen, darunter auch gefährliche oder unethische Antworten.

Schließlich besteht eines der Sicherheitsprobleme bei LLMs darin, dass Benutzer sichere und vertrauliche Daten hochladen können, um ihre eigene Produktivität zu steigern. LLMs verwenden die erhaltenen Eingaben jedoch zum weiteren Trainieren ihrer Modelle und sind nicht als sichere Tresore konzipiert, da sie als Reaktion auf Anfragen anderer Benutzer vertrauliche Daten preisgeben können.

LLMs und die Intelligenz hinter Worten

Wie ein Kind, das in einer riesigen Bibliothek frei herumläuft, sind LLMs intelligente KI-Systeme, die lernen, die natürliche menschliche Sprache auf der Grundlage riesiger Datenmengen zu verstehen und wiederzugeben. Obwohl LLMs normalen Benutzern viele Vorteile bieten und im professionellen Umfeld zu einem leistungsstarken Hilfsmittel werden, müssen die Möglichkeiten und Gefahren von LLMs noch immer sehr sorgfältig untersucht werden.

Und Sie, was halten Sie von der Erklärung in diesem Artikel zum LLM? Hinterlassen Sie Ihre Meinung in den Kommentaren.

Weitere

Die besten KI-Eingabeaufforderungen für den Einsatz bei der Arbeit

Fontes: ElasticSearch, Cloud-Fare, IBM

Rezensiert von Tiago Rodrigues in 16 / 04 / 2025