Large Language Modelle verstehen lernen

Ein persönlicher Versuch, LLMs wirklich zu verstehen

Ich habe in den letzten Monaten viel mit KI gearbeitet – schreibend, reflektierend, experimentierend. Und trotzdem blieb eine hartnäckige Verwirrung:

Ich benutze Large Language Models täglich, aber ich verstehe eigentlich nicht, was beim Training dieser Modelle wirklich passiert.

Nicht technisch im engen Sinn – davon gibt es genug Erklärungen –, sondern im Sinne von:
Was prägt die Art, wie diese Systeme antworten?
Warum klingen sie so, wie sie klingen?
Und was bedeutet das für meine Arbeit mit ihnen?

Diese Irritation war der Ausgangspunkt für diesen Audio-Essay. Und die Diskussion mit Nyx.

Worum es in diesem Audio geht

Dieses Audio ist kein Tutorial und kein Überblick über „die besten Modelle“. Es ist ein Versuch, mir selbst – und vielleicht auch dir – eine innere Landkarte zu bauen:

• Wie entstehen Sprachmodelle?

• Welche Entscheidungen stecken im Training?

• Wie formen Daten, Objectives und Feintuning die Art der Antworten?

• Warum fühlt sich manches klug an – und anderes hohl?

• Und warum ist das für Reflexion, Beratung und Facilitation so relevant?

Im Kern geht es um Prägung: Nicht darum, was ein Modell weiß, sondern wie es spricht, reagiert, glättet, verstärkt oder ausweicht.

Wie dieses Audio entstanden ist

Das Audio ist das Ergebnis eines Experiments mit NotebookLM:

• Ich habe mir eine kleine Auswahl grundlegender und aktueller Fachartikel zum Training von LLMs zusammengestellt.

• Diese Papers habe ich nicht zitiert, sondern als Denkraum genutzt.

• Aus diesen Materialien habe ich vier thematische Teile erzeugt, die jeweils einen Aspekt beleuchten. Diese Teile habe ich durch NotebookLM prozessiert. Für jedes Teil habe ich einen spezifischen Prompt geschrieben, der NotebookLM beschrieben hat, welches die Schwerpunkte sein sollen und welchen Ton das Ergebnis haben soll. Meine Prompts findet Ihr am Ende des Artikels.

• Die Audios wurden von NotebookLM automatisch generiert, durch täuschend menschlich klingende Computerstimmen eingesprochen und anschließend von mir zusammengeführt.

• Zu jedem Teil habe ich eine Einführung eingesprochen.

• Die hier veröffentlichte Fassung ist kein Rohmaterial, sondern eine bewusst kuratierte, zusammenhängende Erzählung.

Es ist also kein Podcast im klassischen Sinn – eher ein gesprochener Denkweg.

Die vier Teile im Überblick

Teil 1 – Woher Sprache kommt

Ein Blick auf die Grundlagen: Was bedeutet „Training“ bei Sprachmodellen eigentlich? Welche Rolle spielen Daten, Wahrscheinlichkeiten und Vorhersage – und warum hat das nichts mit Verstehen zu tun, aber viel mit Stil?

Teil 2 – Ziele, Optimierung und Glättung

Hier geht es um Objectives, Loss Functions und Optimierungslogiken. Warum Modelle dazu neigen, sicher, freundlich und plausibel zu klingen – und warum genau das problematisch sein kann.

Teil 3 – Alignment, Feintuning und menschliche Spuren

Ein genauerer Blick auf das, was oft „Alignment“ genannt wird. Wie menschliche Bewertungen, Präferenzen und Korrekturen das Antwortverhalten prägen – und warum Modelle dadurch nicht neutral, sondern geformt sind.

Teil 4 – Aktuelle Entwicklungen und offene Fragen

Ein Blick auf neuere Arbeiten und Debatten: Skalierung, Datenqualität, emergente Effekte – und die Frage, was wir eigentlich nicht mehr sehen, wenn Modelle immer besser werden.

Warum ich das teile

Ich teile dieses Audio nicht, weil ich Antworten gefunden hätte. Sondern weil mir dieser Prozess geholfen hat, präziser zu fragen. Wenn wir mit KI arbeiten – schreibend, beratend, reflektierend oder facilitierend – dann ist es nicht egal, wie diese Systeme zu dem geworden sind, was sie sind.

Vielleicht ist dieses Audio auch für dich ein Spiegelraum. Kein Ort der Gewissheit – aber einer der besseren Orientierung.

Die Quellen

Die folgenden Texte und Papers dienten als Denk- und Resonanzraum für die Audioarbeit.

Sie wurden nicht wörtlich zitiert, sondern als Grundlage genutzt, um Zusammenhänge, Prägungen und Dynamiken im Training von Large Language Models besser zu verstehen.

Die Grundlagen: Wie Sprachmodelle lernen

1. Vaswani et al. (2017): Attention Is All You Need
   → Grundlegende Architektur moderner Sprachmodelle (Transformer).

2. Devlin et al. (2018): Pre-training of Deep Bidirectional Transformers for Language Understanding
   → Frühe Weichenstellung für Pretraining und Sprachrepräsentation.

3. Brown et al. (2020): Language Models are Few-Shot Learners (GPT-3)
   → Skalierung, Datenmenge und emergente Fähigkeiten.

Skalierung, Daten und Trainingslogiken

4. Kaplan et al. (2020): Scaling Laws for Neural Language Models
   → Zusammenhang zwischen Modellgröße, Datenmenge und Leistungsfähigkeit.

5. Hoffmann et al. (2022): Training Compute-Optimal Large Language Models (Chinchilla)
   → Warum Datenqualität und -menge wichtiger sein können als reine Modellgröße.

Alignment, Feintuning und menschliche Einflüsse

6. Ouyang et al. (2022): Training Language Models to Follow Instructions with Human Feedback (InstructGPT)
   → Einführung von Reinforcement Learning from Human Feedback (RLHF).

7. Bai et al. (2022): Constitutional AI
   → Regel- und normbasierte Steuerung von Modellverhalten.

Modellfamilien und Designentscheidungen

8. Touvron et al. (2023): LLaMA: Open and Efficient Foundation Language Models
   → Offene Modelle, Trainingsdaten und Effizienzstrategien.

9. OpenAI (2023): GPT-4 Technical Report
   → Überblick über Trainingsansätze, Sicherheitsmaßnahmen und Grenzen der Transparenz.

Aktuelle Entwicklungen und emergente Effekte

10. Wei et al. (2022): Emergent Abilities of Large Language Models
    → Nichtlineare Effekte und unerwartete Fähigkeiten bei Skalierung.

11. Google DeepMind (2023): Gemini Technical Report
    → Multimodales Training, Alignment und neue Modellarchitekturen.

12. Meta (2024): LLaMA 3 Technical Overview
    → Aktueller Stand offener Sprachmodelle und Trainingsstrategien.

Die Prompts

Ein großer Lernfortschritt war für mich die Kuratierung dieses Hörprojekts. Zusammen mit Nyx habe ich nach eine Reihe von grundlegenden Papern gesucht (siehe oben), diese dann zu Themenkomplexen zusammengefasst, die Papers Teil für Teil als PDF in NotebookLM geladen und dann jedem Teil – vor der Generierung der Audiodateien – einen Prompt vorangestellt, den mir natürlich Nyx formuliert hat.

Für die Nerds unter Euch dokumentiere ich im Folgenden die Prompts.