TECHNOLOGIEGRAPH
KI-Technologien
Von Modellarchitektur und Training bis Inferenz, Bereitstellung und Fallbeispielen offener Gewichte
Eine kuratierte Karte der technischen Schichten, die Forschungsideen in trainierbare Modelle und nutzbare Systeme verwandeln. Jeder Eintrag verbindet Arbeiten, Geschichte, Modellfälle, Werkzeuge und Primärquellen.
Modellarchitektur
Strukturen, die bestimmen, wie Modelle Informationen darstellen und umformen.
Transformer
Eine aufmerksamkeitsbasierte neuronale Architektur, die Sequenzpositionen parallel verarbeitet. Sie bildet die Grundlage vieler moderner Sprach- und multimodaler Modelle.
- Self-Attention
- Encoder
- Decoder
Mixture of Experts (MoE)
Eine Familie gerouteter Expertenarchitekturen. Moderne dünn aktivierte Varianten wählen pro Eingabe nur bestimmte Experten und erhöhen so die Kapazität, ohne für jedes Token alle Parameter zu nutzen.
- Experten
- Router
- spärliche Aktivierung
Diffusionsmodell
Ein generatives Modell, das die Umkehrung eines schrittweisen Rauschprozesses lernt. Iteratives Entrauschen wurde zu einem wichtigen Ansatz für Bild-, Audio-, Video- und multimodale Erzeugung.
- Vorwärts-Verrauschen
- Entrauschen
- Score Matching
Frameworks und Repräsentation
Software- und Datenschnittstellen zum Bauen, Trainieren und Ausführen von Modellen.
PyTorch
Ein Open-Source-Framework für Tensoren und Deep Learning mit automatischer Differenzierung, neuronalen Modulen, Kompilierung und verteilter Ausführung. Es reicht vom Forschungsprototyp bis zum Produktionstraining.
- Tensor
- autograd
- Modul
Hugging Face Transformers
Eine Bibliothek für Modelldefinitionen, die vortrainierte Architekturen mit Trainings- und Inferenzökosystemen verbindet. Sie vereinheitlicht Konfiguration, Vorverarbeitung, Laden, Generierung und Aufgaben-Schnittstellen.
- Modelldefinitionen
- vortrainierte Prüfpunkte
- Trainer
Tokenisierung
Die Abbildung von Rohtext auf diskrete Einheiten, die ein Modell verarbeitet. Wortschatz und Segmentierung beeinflussen Sequenzlänge, Mehrsprachigkeit, Kosten und Modellverhalten.
- Token
- Wortschatz
- BPE
Training und Nachtraining
Skalierungs-, Anpassungs- und Präferenzmethoden, die Fähigkeiten und Verhalten prägen.
Verteiltes Training
Techniken, die Daten, Parameter, Aktivierungen oder Berechnungen auf Geräte und Knoten verteilen. Sie ermöglichen das Training großer Modelle, bringen aber Kommunikations-, Synchronisations- und Fehlertoleranzabwägungen mit sich.
- Datenparallelität
- Tensorparallelität
- Pipeline-Parallelität
SFT / RLHF / DPO
Eine Familie von Nachtrainingsmethoden für Anweisungsbefolgung und präferenzorientiertes Verhalten. SFT lernt aus Demonstrationen; RLHF und DPO nutzen Präferenzvergleiche mit unterschiedlichen Optimierungsverfahren.
- überwachtes Feintuning
- Präferenzdaten
- Belohnungsmodell
Schlussfolgern und Rechenzeit zur Inferenz
Ein Nachtraining, das ein Modell dazu bringt, vor der Antwort eine lange Argumentationsspur zu erzeugen und bei schwereren Aufgaben mehr Rechenzeit zur Inferenz aufzuwenden. Bestärkendes Lernen mit überprüfbaren Belohnungen — bei dem eine nachprüfbare Antwort das Trainingssignal liefert — machte den Ansatz auch außerhalb geschlossener Labore reproduzierbar. Der Handel gehört klar benannt: Genauigkeit über die Länge der Generierung statt über ein größeres Modell, bezahlt mit Latenz und Betriebskosten.
- Denkspuren
- überprüfbare Belohnungen
- Inferenzbudget
LoRA / QLoRA
Parametereffiziente Feinabstimmung, bei der kleine Niedrigrang-Adapter trainiert und Basisgewichte eingefroren werden. QLoRA kombiniert Adapter mit einem quantisierten Basismodell und senkt den Speicherbedarf weiter.
- Niedrigrang-Adapter
- eingefrorenes Basismodell
- 4-Bit-Training
Inferenz und Bereitstellung
Speicher-, Planungs-, Kompressions- und Laufzeittechniken für den Modellbetrieb.
Quantisierung
Die Darstellung von Gewichten, Aktivierungen oder Caches mit geringerer numerischer Genauigkeit. Sie reduziert Speicher-, Bandbreiten- und Rechenkosten, erfordert aber Genauigkeits- und Hardwareabwägungen.
- numerische Genauigkeit
- INT8
- INT4
KV Cache
Ein Cache der Attention-Schlüssel und -Werte früherer Tokens bei autoregressiver Generierung. Er vermeidet die Neuberechnung des gesamten Präfixes, benötigt aber häufig viel Speicher.
- Schlüssel
- Werte
- Prefill
Continuous Batching / PagedAttention
Serving-Techniken, die Anfragen fortlaufend aufnehmen und abschließen und den KV-Cache seitenweise verwalten. Sie verbessern Auslastung und Durchsatz bei variablen Sequenzlängen.
- Anfrageplanung
- Speicher-Paging
- Durchsatz
Speculative Decoding
Ein Inferenzverfahren, bei dem ein schnelleres Entwurfsmodell mehrere Tokens vorschlägt und das Zielmodell sie parallel prüft. Es kann die Latenz senken, ohne die Zielverteilung zu verändern.
- Entwurfsmodell
- Verifizierung
- Latenz
Inferenz-Ökosystem für offene Modelle
Engines und Laufzeiten wie vLLM und llama.cpp machen herunterladbare Modellgewichte lokal oder auf Servern nutzbar. Sie gewichten Durchsatz, Hardwareportabilität, Formate und Betriebsaufwand unterschiedlich.
- vLLM
- llama.cpp
- GGUF
ANWENDUNGSSCHICHT
Anwendungsarchitektur
Modelle werden durch Workflows, Werkzeuge, Kontextaustausch, Schutzmechanismen und Evaluation zu Produkten. Die bestehenden MCP- und Werkzeugbereiche decken diese Anwendungsschicht ohne Dopplung ab.
Fallbeispiele offener Modelle
Modellfamilien nach Code, Gewichten, Trainingsangaben und Lizenz betrachtet.
Llama
Metas Modellfamilie mit herunterladbaren Gewichten erweiterte lokale Inferenz und Feinabstimmung. Wegen Llama-spezifischer Bedingungen ist „offene Gewichte“ präziser als eine pauschale OSI-Open-Source-Einstufung.
- offene Gewichte
- Community-Lizenz
- Modellfamilie
Qwen
Alibabas Qwen-Familie umfasst dichte, Experten-, mehrsprachige und multimodale Modelle. Viele Checkpoints sind verfügbar, doch Lizenz und Offenlegung müssen pro Modellkarte geprüft werden.
- mehrsprachig
- dicht und MoE
- offene Gewichte
Mistral / Mixtral
Mistral AIs Familie umfasst dichte Mistral- und Expertenmodelle der Mixtral-Reihe. Einige Releases sind freizügig lizenziert, andere nicht; Offenheit ist daher pro Artefakt zu bewerten.
- dichte Modelle
- MoE
- offene Gewichte
DeepSeek
DeepSeeks verfügbare Releases machten MoE-Design, Reasoning-Nachtraining und effizientes Serving breit untersucht. Code und Gewichte können unterschiedlichen Lizenzen folgen; Trainingsdaten sind eine eigene Dimension.
- MoE
- Reasoning
- offene Gewichte
Gemma
Googles Modellfamilie mit herunterladbaren Gewichten verbindet Gemini-basierte Forschung mit lokaler, Edge- und gehosteter Bereitstellung. Google nennt sie offene Modelle, doch die Lizenzen unterscheiden sich je nach Veröffentlichung.
- offene Gewichte
- leichtgewichtige Modelle
- Edge-Einsatz
OLMo
Ai2 veröffentlicht die OLMo-Familie neben den Gewichten auch mit Vortrainingsdaten, Trainingscode, Zwischenprüfpunkten und Protokollen. Es ist der Fall, in dem alle vier getrennt zu prüfenden Punkte — Code, Gewichte, Trainingsangaben und Lizenz — tatsächlich veröffentlicht sind, und damit ein Bezugspunkt gegenüber Familien, die nur Gewichte herausgeben.
- vollständig offen
- offene Trainingsdaten
- Zwischenprüfpunkte
gpt-oss
OpenAIs gpt-oss-120b und 20b sind herunterladbare MoE-Reasoning-Modelle für lokale oder gehostete Inferenz. Gewichte und Referenzimplementierungen unter Apache 2.0 erweitern die Bereitstellung, der Vortrainingsdatensatz selbst ist jedoch nicht veröffentlicht.
- offene Gewichte
- Reasoning
- MoE
GLM-5
Die GLM-5-Reihe von Z.ai ist eine große MoE-Sprachmodellfamilie für Schlussfolgern, Programmieren und langfristige agentische Arbeit. GLM-5 erschien im Februar 2026, 5.1 im April, 5.2 im Juni mit 753 Milliarden Parametern und einem Kontextfenster von einer Million Token, und 5.3 im August auf derselben Basis mit Nachtrainings-Änderungen; das kleinere GLM-5.3-Flash folgte wenige Tage später mit 320 Milliarden Parametern insgesamt und 18 Milliarden aktiven. Die Größe der größeren Mitglieder macht Self-Hosting ressourcenintensiv.
- offene Gewichte
- MoE
- langer Kontext
Kimi K3
Moonshot AI veröffentlichte Kimi K3 im Juli 2026 als offen gewichtetes, nativ multimodales MoE-Sprachmodell mit insgesamt 2,8 Billionen und 104 Milliarden aktiven Parametern sowie einer Million Token Kontext. Es zielt auf lang laufende Programmierung, Wissensarbeit und Werkzeugagenten; lokale Bereitstellung ist anspruchsvoll.
- offene Gewichte
- MoE
- langer Kontext
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.