TECHNOLOGY GRAPH
KI-Technologien
Von Modellarchitektur und Training bis Inferenz, Bereitstellung und Fallbeispielen offener Gewichte
Eine kuratierte Karte der technischen Schichten, die Forschungsideen in trainierbare Modelle und nutzbare Systeme verwandeln. Jeder Eintrag verbindet Arbeiten, Geschichte, Modellfälle, Werkzeuge und Primärquellen.
Modellarchitektur
Strukturen, die bestimmen, wie Modelle Informationen darstellen und umformen.
Transformer
Eine aufmerksamkeitsbasierte neuronale Architektur, die Sequenzpositionen parallel verarbeitet. Sie bildet die Grundlage vieler moderner Sprach- und multimodaler Modelle.
- self-attention
- encoder
- decoder
Mixture of Experts (MoE)
Eine Familie gerouteter Expertenarchitekturen. Moderne dünn aktivierte Varianten wählen pro Eingabe nur bestimmte Experten und erhöhen so die Kapazität, ohne für jedes Token alle Parameter zu nutzen.
- experts
- router
- sparse activation
Diffusion Model
Ein generatives Modell, das die Umkehrung eines schrittweisen Rauschprozesses lernt. Iteratives Entrauschen wurde zu einem wichtigen Ansatz für Bild-, Audio-, Video- und multimodale Erzeugung.
- forward noise
- denoising
- score matching
Frameworks und Repräsentation
Software- und Datenschnittstellen zum Bauen, Trainieren und Ausführen von Modellen.
PyTorch
Ein Open-Source-Framework für Tensoren und Deep Learning mit automatischer Differenzierung, neuronalen Modulen, Kompilierung und verteilter Ausführung. Es reicht vom Forschungsprototyp bis zum Produktionstraining.
- tensor
- autograd
- module
Hugging Face Transformers
Eine Bibliothek für Modelldefinitionen, die vortrainierte Architekturen mit Trainings- und Inferenzökosystemen verbindet. Sie vereinheitlicht Konfiguration, Vorverarbeitung, Laden, Generierung und Aufgaben-Schnittstellen.
- model definitions
- pretrained checkpoints
- Trainer
Tokenization
Die Abbildung von Rohtext auf diskrete Einheiten, die ein Modell verarbeitet. Wortschatz und Segmentierung beeinflussen Sequenzlänge, Mehrsprachigkeit, Kosten und Modellverhalten.
- token
- vocabulary
- BPE
Training und Nachtraining
Skalierungs-, Anpassungs- und Präferenzmethoden, die Fähigkeiten und Verhalten prägen.
Distributed Training
Techniken, die Daten, Parameter, Aktivierungen oder Berechnungen auf Geräte und Knoten verteilen. Sie ermöglichen das Training großer Modelle, bringen aber Kommunikations-, Synchronisations- und Fehlertoleranzabwägungen mit sich.
- data parallelism
- tensor parallelism
- pipeline parallelism
SFT / RLHF / DPO
Eine Familie von Nachtrainingsmethoden für Anweisungsbefolgung und präferenzorientiertes Verhalten. SFT lernt aus Demonstrationen; RLHF und DPO nutzen Präferenzvergleiche mit unterschiedlichen Optimierungsverfahren.
- supervised fine-tuning
- preference data
- reward model
Reasoning and test-time compute
Ein Nachtraining, das ein Modell dazu bringt, vor der Antwort eine lange Argumentationsspur zu erzeugen und bei schwereren Aufgaben mehr Rechenzeit zur Inferenz aufzuwenden. Bestärkendes Lernen mit überprüfbaren Belohnungen — bei dem eine nachprüfbare Antwort das Trainingssignal liefert — machte den Ansatz auch außerhalb geschlossener Labore reproduzierbar. Der Handel gehört klar benannt: Genauigkeit über die Länge der Generierung statt über ein größeres Modell, bezahlt mit Latenz und Betriebskosten.
- reasoning traces
- verifiable rewards
- inference budget
LoRA / QLoRA
Parametereffiziente Feinabstimmung, bei der kleine Niedrigrang-Adapter trainiert und Basisgewichte eingefroren werden. QLoRA kombiniert Adapter mit einem quantisierten Basismodell und senkt den Speicherbedarf weiter.
- low-rank adapters
- frozen base model
- 4-bit training
Inferenz und Bereitstellung
Speicher-, Planungs-, Kompressions- und Laufzeittechniken für den Modellbetrieb.
Quantization
Die Darstellung von Gewichten, Aktivierungen oder Caches mit geringerer numerischer Genauigkeit. Sie reduziert Speicher-, Bandbreiten- und Rechenkosten, erfordert aber Genauigkeits- und Hardwareabwägungen.
- precision
- INT8
- INT4
KV Cache
Ein Cache der Attention-Schlüssel und -Werte früherer Tokens bei autoregressiver Generierung. Er vermeidet die Neuberechnung des gesamten Präfixes, benötigt aber häufig viel Speicher.
- keys
- values
- prefill
Continuous Batching / PagedAttention
Serving-Techniken, die Anfragen fortlaufend aufnehmen und abschließen und den KV-Cache seitenweise verwalten. Sie verbessern Auslastung und Durchsatz bei variablen Sequenzlängen.
- request scheduling
- memory paging
- throughput
Speculative Decoding
Ein Inferenzverfahren, bei dem ein schnelleres Entwurfsmodell mehrere Tokens vorschlägt und das Zielmodell sie parallel prüft. Es kann die Latenz senken, ohne die Zielverteilung zu verändern.
- draft model
- verification
- latency
Open-model Inference Ecosystem
Engines und Laufzeiten wie vLLM und llama.cpp machen herunterladbare Modellgewichte lokal oder auf Servern nutzbar. Sie gewichten Durchsatz, Hardwareportabilität, Formate und Betriebsaufwand unterschiedlich.
- vLLM
- llama.cpp
- GGUF
APPLICATION LAYER
Anwendungsarchitektur
Modelle werden durch Workflows, Werkzeuge, Kontextaustausch, Schutzmechanismen und Evaluation zu Produkten. Die bestehenden MCP- und Werkzeugbereiche decken diese Anwendungsschicht ohne Dopplung ab.
Fallbeispiele offener Modelle
Modellfamilien nach Code, Gewichten, Trainingsangaben und Lizenz betrachtet.
Llama
Metas Modellfamilie mit herunterladbaren Gewichten erweiterte lokale Inferenz und Feinabstimmung. Wegen Llama-spezifischer Bedingungen ist „offene Gewichte“ präziser als eine pauschale OSI-Open-Source-Einstufung.
- open weights
- community license
- model family
Qwen
Alibabas Qwen-Familie umfasst dichte, Experten-, mehrsprachige und multimodale Modelle. Viele Checkpoints sind verfügbar, doch Lizenz und Offenlegung müssen pro Modellkarte geprüft werden.
- multilingual
- dense and MoE
- open weights
Mistral / Mixtral
Mistral AIs Familie umfasst dichte Mistral- und Expertenmodelle der Mixtral-Reihe. Einige Releases sind freizügig lizenziert, andere nicht; Offenheit ist daher pro Artefakt zu bewerten.
- dense models
- MoE
- open weights
DeepSeek
DeepSeeks verfügbare Releases machten MoE-Design, Reasoning-Nachtraining und effizientes Serving breit untersucht. Code und Gewichte können unterschiedlichen Lizenzen folgen; Trainingsdaten sind eine eigene Dimension.
- MoE
- reasoning
- open weights
Gemma
Googles Modellfamilie mit herunterladbaren Gewichten verbindet Gemini-basierte Forschung mit lokaler, Edge- und gehosteter Bereitstellung. Google nennt sie offene Modelle; die Nutzung folgt dennoch Gemma-Bedingungen.
- open weights
- lightweight models
- edge deployment
OLMo
Ai2 veröffentlicht die OLMo-Familie neben den Gewichten auch mit Vortrainingsdaten, Trainingscode, Zwischenprüfpunkten und Protokollen. Das erste OLMo erschien im Februar 2024, OLMo 2 im November desselben Jahres und Olmo 3 im November 2025 mit Base-, Instruct- und Think-Varianten in 7B und 32B unter Apache 2.0. Es ist der Fall, in dem alle vier getrennt zu prüfenden Punkte — Code, Gewichte, Trainingsangaben und Lizenz — tatsächlich veröffentlicht sind, und damit ein Bezugspunkt gegenüber Familien, die nur Gewichte herausgeben.
- fully open
- open training data
- intermediate checkpoints
gpt-oss
OpenAIs gpt-oss-120b und 20b sind herunterladbare MoE-Reasoning-Modelle für lokale oder gehostete Inferenz. Gewichte und Referenzimplementierungen unter Apache 2.0 erweitern die Bereitstellung, der Vortrainingsdatensatz selbst ist jedoch nicht veröffentlicht.
- open weights
- reasoning
- MoE
GLM-5
Die GLM-5-Reihe von Z.ai ist eine große MoE-Sprachmodellfamilie für Schlussfolgern, Programmieren und langfristige agentische Arbeit. GLM-5 erschien im Februar 2026, 5.1 im April, 5.2 im Juni mit 753 Milliarden Parametern und einem Kontextfenster von einer Million Token, und 5.3 im August auf derselben Basis mit Nachtrainings-Änderungen; das kleinere GLM-5.3-Flash folgte wenige Tage später mit 320 Milliarden Parametern insgesamt und 18 Milliarden aktiven. Die Größe der größeren Mitglieder macht Self-Hosting ressourcenintensiv.
- open weights
- MoE
- long context
Kimi K3
Moonshot AI veröffentlichte Kimi K3 im Juli 2026 als offen gewichtetes, nativ multimodales MoE-Sprachmodell mit insgesamt 2,8 Billionen und 104 Milliarden aktiven Parametern sowie einer Million Token Kontext. Es zielt auf lang laufende Programmierung, Wissensarbeit und Werkzeugagenten; lokale Bereitstellung ist anspruchsvoll.
- open weights
- MoE
- long context
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.