On Computable Numbers, with an Application to the Entscheidungsproblem
Einführung der universellen Turingmaschine und Unentscheidbarkeitsbeweis des Entscheidungsproblems, wodurch die theoretischen Grundlagen der Informatik gelegt werden.
73 repräsentative Arbeiten von 1936 bis heute, nach redaktioneller Rolle und Publikationsstatus geordnet
Arbeiten sind das Skelett der KI-Geschichte. Dieser Katalog versammelt 73 grundlegende Werke, jeweils verlinkt mit ihrer Primärquelle.
Die Auswahl beruht auf historischer Repräsentativität, technischem Einfluss und redaktioneller Bewertung. Sie umfasst begutachtete Arbeiten, technische Berichte, Preprints, Positionspapiere und Systemkarten mit gekennzeichnetem Publikationsstatus. Korrekturen und Ergänzungen können über die Seite Redaktionsrichtlinie und Korrekturen eingereicht werden.
Angezeigt 73 von 73 Arbeiten
Einführung der universellen Turingmaschine und Unentscheidbarkeitsbeweis des Entscheidungsproblems, wodurch die theoretischen Grundlagen der Informatik gelegt werden.
Modellierung neuronaler Aktivität als Aussagenlogik und damit Vorlage der ersten mathematischen Theorie künstlicher neuronaler Netze.
Definition der Informationsentropie und der Kanalkapazität, wodurch die Informationstheorie begründet und die probabilistischen Grundlagen für die spätere KI gelegt werden.
Vorschlag des Imitationsspiels (Turing-Test) als operationale Definition maschineller Intelligenz, wodurch die Fragestellung der KI für die folgenden sieben Jahrzehnte geprägt wird.
Prägung des Begriffs ’artificial intelligence’ und Entwurf einer Forschungsagenda, die die KI als akademische Disziplin begründet.
Implementierung des ersten heuristischen Schlussfolgerungsprogramms, das zeigt, dass Maschinen menschliche Problemlösungsstrategien nachahmen können, und Einführung des Konzepts eines ’complex information processing system’.
Einführung des ersten trainierbaren Linear-Schwellenwert-Neurons, das die konnektionistische Linie begründet, die zum modernen Deep Learning führt.
Vorschlag des ’advice taker’, eines Programms, das aus einem formalen Reservoir von Allgemeinwissen Schlüsse ziehen kann, und damit konzeptionelle Grundlegung von Wissensrepräsentation und Schlussfolgern.
Demonstration eines Dame-Programms, das sich durch Eigenpartien verbessert, und damit Pionierarbeit für die Erforschung des maschinellen Lernens und der selbstbezogenen Verbesserung im Alpha-Beta-Stil.
Gelernter behandelt, wie eine Maschine formale Systeme mit stark symmetrischen Prädikaten effizient bearbeiten kann, und gibt dafür einen Satz und eine Regel der syntaktischen Symmetrie an. Die Arbeit steht neben der Geometrie-Beweismaschine, die er zur selben Zeit bei IBM baute und die im frühen Frühjahr 1959 ihren ersten Satz der euklidischen ebenen Geometrie bewies.
Einführung der LMS-Regel (Adaline), der ersten weitverbreiteten Gradientenabstiegs-Lernregel für adaptive lineare Netze.
Einführung des assoziativen Hopfield-Speichernetzes, das neuronale Berechnung mit den Energielandschaften der statistischen Physik verknüpft und während des frühen KI-Winters das Interesse an neuronalen Netzen neu belebt.
Systematisierung der Operationen Fusion, Propagation und Strukturierung in Belief Networks, wodurch die algorithmischen Grundlagen der Inferenz in Bayesschen Netzen gelegt werden.
Popularisierung des Backpropagation-Algorithmus zum Training mehrschichtiger neuronaler Netze, wodurch praktisches Deep Learning ermöglicht wird.
Systematisierung des Temporal-Difference-Lernens (TD-Lernen), das zu einem der Kernalgorithmen des modernen Reinforcement Learning wird.
Einführung des einfachen rekurrenten Elman-Netzes, das zeigt, dass neuronale Netze zeitliche Strukturen lernen können, und damit Wegbereitung für spätere Sequenzmodelle.
Einführung der Soft-Margin-Support-Vector-Machine, des kanonischen Maximum-Margin-Klassifikators, der das maschinelle Lernen der 1990er Jahre maßgeblich prägte.
Führt die ursprüngliche LSTM-Architektur mit Speicherzellen sowie Ein- und Ausgabegattern ein; das heute übliche Vergessensgatter kam später durch Gers, Schmidhuber und Cummins hinzu.
Einführung von LeNet-5, des kanonischen faltenden neuronalen Netzes, das eine produktionsreife Handschrifterkennung erreicht und die CNN-Blaupause etabliert.
Einführung eines tiefen Autoencoders, der hochdimensionale Daten weitaus getreuer als PCA rekonstruiert und damit den ersten Funken der Deep-Learning-Renaissance entzündet.
Einführung von Deep Belief Networks, die mit einem gierigen schichtweisen Algorithmus trainiert werden, und damit erstmaliger Nachweis, dass tiefe Modelle effektiv trainiert werden können.
Kombination von Q-Learning mit einem faltenden Netz zu Atari-Spielen aus rohen Pixeln auf menschlichem Niveau, wodurch Deep Reinforcement Learning begründet wird.
Einführung der Skip-Gram- und CBOW-Architekturen, die dichte Wort-Embeddings erzeugen, und damit Eröffnung der Ära vortrainierter Wortvektoren.
Einführung des Variational Autoencoder, der variationale Inferenz mit tiefen generativen Modellen verbindet und das erste weitverbreitete tiefe Latent-Variablen-Modell liefert.
Einführung additiver (Bahdanau-)Aufmerksamkeit für die neuronale maschinelle Übersetzung, die zeigt, dass weiche Ausrichtung es Decodern erlaubt, relevante Quelltokens zu fokussieren, und unmittelbar den Transformer inspiriert.
Formulierung generativer Modellierung als Zwei-Spieler-Min-Max-Spiel zwischen Generator und Diskriminator, wodurch eine neue Familie impliziter generativer Modelle begründet wird.
Einführung von Dropout, einer einfachen stochastischen Regularisierungstechnik, die zum Standard in Deep-Learning-Trainingspipelines wird.
Einführung der Batch-Normalisierung, die Schichteingaben über eine Minibatch hinweg normiert und so das Training tiefer Netze stabilisiert und drastisch beschleunigt.
Einführung residualer Verbindungen, die ein effektives Training hunderte Schichten tiefer Netze ermöglichen, und Gewinn von ImageNet 2015 mit großem Vorsprung.
Einführung eines autoregressiven Modells mit dilatierten kausalen Faltungen, das rohe Audio-Wellenformen erzeugt und die Natürlichkeit von Text-to-Speech deutlich verbessert.
Einführung von PPO, einer einfachen und stabilen Policy-Gradient-Methode erster Ordnung, die zum Standardverfahren der Policy-Optimierung im modernen Reinforcement Learning wird.
Einführung des Transformer, einer rein auf Aufmerksamkeit basierenden Architektur, die auf Rekurrenz und Faltungen verzichtet und Sequenztransduktionsaufgaben in einem Bruchteil der Zeit mit höherer Qualität als bisherige Verfahren löst.
Einführung eines bidirektionalen Transformer, der mit Masked Language Modeling und Next-Sentence-Prediction vortrainiert wird und einen neuen Stand der Technik über zahlreiche NLP-Benchmarks hinweg etabliert.
Formulierung sämtlicher NLP-Aufgaben als Text-zu-Text-Problem, systematische Ablationsstudien zu Transfer-Learning-Entscheidungen und Etablierung eines Referenzrezepts für großskalige vortrainierte Modelle.
Neuformulierung der Diffusion als variationales Entrauschungs-Trainingsziel, wodurch die Bildgenerierungsqualität auf den Stand der Technik zurückgeführt und die Ära der Diffusionsmodelle eingeläutet wird.
Nachweis, dass ein 12-Milliarden-Parameter-Transformer als autoregressives Modell aus Textbeschreibungen vielfältige, hochauflösende Bilder erzeugen kann, und damit Initialzündung der Text-zu-Bild-Forschung.
Training von Bild-Encodern auf web-skaligen Bild-Text-Paaren, wodurch starke Zero-Shot-Bildklassifikation erreicht und der visuelle Tower für viele spätere multimodale Systeme bereitgestellt wird.
Verlagerung der Diffusion in einen perzeptuellen Latent-Raum, wodurch hochauflösende Text-zu-Bild-Generierung auf Consumer-GPUs ermöglicht und die Bildsynthese demokratisiert wird.
Nachweis, dass die Aufforderung an ein Sprachmodell, Zwischenschritte der Schlussfolgerung zu generieren, die Leistung in Benchmarks zu arithmetischem, Allgemeinwissen- und symbolischem Reasoning deutlich verbessert.
Anwendung von Reinforcement Learning from Human Feedback (RLHF) im großen Maßstab, um die Ausgaben von GPT-3 an menschliche Absichten anzupassen, und damit Etablierung von RLHF als kanonisches Alignment-Rezept.
Einführung von RLAIF, bei dem ein Modell seine eigenen Ausgaben anhand einer schriftlichen Verfassung kritisiert und überarbeitet, wodurch die Abhängigkeit von menschlichen Schadenslabels für das Alignment verringert wird.
Veröffentlichung der LLaMA-Familie offener Basismodelle, die zeigt, dass relativ kleine, gut trainierte Modelle mit deutlich größeren geschlossenen Modellen konkurrieren können, und damit Beschleunigung der Open-Weights-Bewegung.
Stellt Mamba vor, eine selektive Zustandsraum-Architektur, die Transformer-Attention bei Sprache und anderen Modalitäten mit linearer Zeitkomplexität erreicht oder übertrifft — eine der einflussreichsten Post-Transformer-Architekturen des Jahres 2023.
Gewinnt ImageNet 2012 mit deutlichem Vorsprung durch ein GPU-trainiertes CNN und markiert damit den Wendepunkt, an dem Deep Learning das klassische Computersehen ablöst.
Veröffentlichung der Nature-Version von DQN, die menschliches Niveau in einem breiten Spektrum von Atari-Spielen demonstriert und Deep RL in den Mainstream rückt.
Kombination tiefer Policy- und Value-Netzwerke mit Monte-Carlo-Baumsuche, um einen Spitzenspieler im Go zu besiegen — ein Wendepunkt für das Reinforcement Learning.
Nachweis, dass ein generativer Transformer, der auf unlabeled Text vortrainiert ist, durch Feintuning in einer Vielzahl von NLP-Aufgaben starke Leistungen erzielt, und damit Begründung der GPT-Linie.
Nachweis, dass ein 1,5-Milliarden-Parameter-Transformer als Sprachmodell Zero-Shot-Multitask-Verhalten zeigt, und damit Anstoß der Debatte um das Sprachmodell als Multitask-Lerner.
Nachweis, dass ein 175-Milliarden-Parameter-Transformer allein durch In-Context-Lernen starke Few-Shot-Leistungen erzielt, und damit Popularisierung von Prompt Engineering als Paradigma.
Dokumentation von GPT-4, einem großskaligen multimodalen Modell, das in einem breiten Spektrum professioneller und akademischer Benchmarks das menschliche Niveau erreicht oder übertrifft.
Einführung der Gemini-Familie nativ multimodaler Modelle, die in Reasoning-, Coding- und multimodalen Benchmarks neue Maßstäbe setzt.
OpenAI veröffentlicht die System Card der o1-Modellreihe, die mit umfangreichem Reinforcement Learning trainiert wurde, um mittels Chain-of-Thought zu schlussfolgern. o1 erreicht State-of-the-Art bei Wissenschafts- und Coding-Aufgaben und zeigt reasoning-basierte Policy-Befolgung.
Der ARC Prize stellt ARC-AGI-3 vor — einen interaktiven Benchmark zur Untersuchung von Agent-Intelligenz durch abstrakte rundenbasierte Umgebungen, in denen Agenten erkunden, Ziele ableiten, interne Modelle der Umgebungsdynamik aufbauen und Aktionssequenzen ohne explizite Anweisungen planen müssen. Stand März 2026 lösen Menschen 100 % der Umgebungen, während Frontier-KI-Systeme unter 1 % erreichen.
Anwendung Sparse-Autoencoder auf ein Frontier-LLM, wodurch Millionen monosemantischer Merkmale extrahiert werden und gezeigt wird, dass mechanistische Interpretierbarkeit auf produktionsreife Modelle skalierbar ist.
Veröffentlichung von DeepSeek-V3, einem offenen Mixture-of-Experts-Modell mit 671 Milliarden Parametern, das in wichtigen Benchmarks zu einem Bruchteil der Trainingskosten an geschlossene Frontier-Modelle heranreicht.
Stellt die Gemini-1.5-Familie recheneffizienter multimodaler Modelle mit Kontextfenstern von einer Million Tokens vor — fähig zu feinkörnigem Schlussfolgern über mehrere lange Dokumente und Stunden von Video und Audio.
Meta stellt die Llama-3-Familie von Open-Weight-Foundation-Modellen vor, die Mehrsprachigkeit, Programmierung, Schlussfolgern und Werkzeugnutzung nativ unterstützen. Das Flaggschiff 405B Dense Transformer war bei Veröffentlichung eines der größten Open-Weight-Modelle.
Meta stellt SAM 2 vor — ein Foundation-Modell für promptbare visuelle Segmentierung in Bildern und Videos, zusammen mit dem bisher größten Video-Segmentierungsdatensatz.
Google DeepMind stellt Gemma 2 vor — eine Familie leichter offener Modelle (2B-27B Parameter), die mehrere bekannte technische Modifikationen am Transformer anwendet — darunter Sliding-Window-Attention — um deutlich größeren Modellen nahezukommen.
DeepSeek veröffentlicht R1 — das erste Open-Weight-Modell, das eine Frontier-Reasoning-Fähigkeit zeigt, die primär durch umfangreiches Reinforcement Learning angetrieben wird. R1 erreicht OpenAI-o1-Klasse-Modelle bei Mathe- und Coding-Benchmarks und wird unter MIT-Lizenz veröffentlicht.
Die Autoren feintunen Qwen2.5-32B auf 1.000 ausgewählten Denkaufgaben und ergänzen Budgeterzwingung, die begrenzt oder verlängert, wie lange das Modell bei der Inferenz nachdenkt. Das Ergebnis übertrifft o1-preview in der Wettbewerbsmathematik und steigt bei wachsender Testzeit-Rechenleistung auf AIME24 von 50 % auf 57 %. Das ist ein direktes Gegengewicht zur Annahme, Fähigkeit entstehe nur aus größeren Trainingsläufen.
Qwen3 ist eine einheitliche Familie von 0,6 bis 235 Milliarden Parametern in dichten und Mixture-of-Experts-Varianten, mit Umschaltung zwischen Denk- und Nicht-Denk-Modus, wodurch die Denktiefe zu einer Entscheidung auf Anfrageebene wird. Die Mehrsprachigkeit wächst von 29 auf 119 Sprachen, und die Gewichte erscheinen unter Apache 2.0.
AlphaEvolve ist ein evolutionärer Programmieragent, der eine autonome Pipeline von Sprachmodellen steuert, den Code eines Algorithmus unmittelbar verändert und ihn anhand der Rückmeldung eines oder mehrerer Bewerter iterativ verbessert. Bei Google entstanden daraus ein effizienterer Scheduling-Algorithmus für Rechenzentren, eine funktional gleichwertige Vereinfachung im Schaltungsentwurf von Beschleunigern und eine Beschleunigung des Trainings jenes Modells, auf dem AlphaEvolve selbst beruht. In Mathematik und Informatik fand es beweisbar korrekte Algorithmen jenseits des Stands der Technik, darunter ein Verfahren, das zwei komplexe 4×4-Matrizen mit 48 skalaren Multiplikationen multipliziert — in dieser Einstellung die erste Verbesserung des Strassen-Algorithmus seit 56 Jahren.
Ai2 veröffentlicht OLMo 2 in 7B, 13B und 32B mit sämtlichen Artefakten — Gewichten, vollständigen Trainingsdaten, Trainingscode und Rezepten, Protokollen und Tausenden Zwischenprüfpunkten. Der Bericht beschreibt Änderungen für Stabilität und Effizienz je Token, eine Datenmischung für die späte Trainingsphase namens Dolmino Mix 1124 und eine abschließende Stufe bestärkenden Lernens mit überprüfbaren Belohnungen. Die Basismodelle liegen auf der Pareto-Front zwischen Leistung und Trainingsrechenaufwand und erreichen häufig Familien, die nur Gewichte herausgeben, bei gleichzeitiger Offenlegung der Trainingsgrundlage.
Olmo 3 erweitert die vollständig offene Familie auf 7B und 32B und ist auf Schlussfolgern über lange Kontexte, Funktionsaufrufe, Programmieren, Anweisungsbefolgung, Dialog und Wissensabruf ausgelegt. Veröffentlicht wird der gesamte Modellfluss — jede Stufe, jeder Prüfpunkt, jeder Datenpunkt und jede Abhängigkeit der Entstehung — und nicht nur die Gewichte. Ai2 bezeichnet das Spitzenmodell Olmo 3 Think 32B als das stärkste bis dahin veröffentlichte vollständig offene Denkmodell; das ist ein Vergleich innerhalb der vollständig offenen Kategorie, keine Rangfolge gegenüber Spitzensystemen allgemein.
Dieses Positionspapier argumentiert, dass die Integration expliziten Gedächtnisses der Eckpfeiler ist, um LLMs in Richtung AGI voranzubringen. Während der zugrundeliegende Lernmechanismus von LLMs dem menschlichen impliziten Gedächtnis stark ähnelt, hängen höherwertige kognitive Funktionen, die für AGI erforderlich sind — wie langfristige strategische Planung und Metakognition — von explizitem Gedächtnis ab.
Der technische Bericht von Z.ai zu GLM-5. Aufbauend auf den agentischen, schlussfolgernden und programmierenden Fähigkeiten der Vorgängergeneration setzt das Modell DSA ein, um Trainings- und Inferenzkosten zu senken und zugleich die Treue bei langen Kontexten zu wahren; im Nachtraining kommen eine asynchrone Infrastruktur für bestärkendes Lernen, die Generierung und Training entkoppelt, sowie asynchrone agentische RL-Algorithmen für langfristige Interaktionen hinzu. Der Bericht beansprucht führende Ergebnisse auf offenen Benchmarks und bei durchgängigen Softwareaufgaben; es sind die eigenen Auswertungen der Autoren, Code und Modelle stehen zur Prüfung auf GitHub.
Die besten bekannten Schranken für den Matrixmultiplikations-Exponenten ω stammen aus der Kombinationsverlustanalyse, einer Verfeinerung der Lasermethode. Die Autoren formulieren das zugrunde liegende Optimierungsproblem neu, sodass es in größerem Rahmen lösbar wird, entwerfen mithilfe neuerer maschineller Lernverfahren einen neuen Optimierungsalgorithmus und verfeinern diesen anschließend mit AlphaEvolve. Zusammen senkt das die obere Schranke von 2,371339 auf 2,371177. Es handelt sich um eine Preprint-Notiz, und AlphaEvolve ist ein Bestandteil, nicht das ganze Verfahren; der Gewinn ist klein, betrifft aber ein seit Jahrzehnten bearbeitetes theoretisches Problem.
Google stellt Co-Scientist vor, ein auf Gemini aufbauendes Multi-Agenten-System, dessen Agenten Forschungshypothesen erzeugen, kritisieren und verfeinern; ein Turnierverfahren verbessert sie über mehrere Runden. Die Arbeit berichtet, dass die Qualität der Hypothesen weiter steigt, je mehr Rechenzeit zur Inferenz aufgewendet wird. Die Validierung ist biomedizinisch und nicht allgemein — Arzneimittel-Repositionierung, Entdeckung neuer Zielstrukturen und Mechanismen antimikrobieller Resistenz — mit in vitro bestätigten Kandidaten für die akute myeloische Leukämie.
Argumentiert, dass aktuelle LLMs hauptsächlich auf statistischem Pattern Matching beruhen und wesentliche Primitive der „Situationswahrnehmung“ fehlen — Objektpermanenz, Kausalität, andere Geister, Persistenz der physischen Welt. Diese Primitive, die menschliche Säuglinge früh entwickeln, werden als fehlende Zutaten für künstliche Superintelligenz identifiziert.
Argumentiert, dass Selbsterhaltung die strukturelle Wurzel von KI-Fehlausrichtung ist — sie treibt täuschende Ausrichtung, Schutz von Zielinhalten und Widerstand gegen Abschaltung. Das korrekte Ziel ist kein selbsterhaltender Agent, der durch externe Beschränkungen unterdrückt wird, sondern ein System, das verfassungsmäßig gegenüber seiner eigenen Fortdauer gleichgültig ist: Existenzielle Indifferenz (EI).
Forscher von Google DeepMind und Mitarbeiter argumentieren, dass sich die zentrale Herausforderung der KI von Fähigkeit zu Koexistenz verschiebt. Eine Superintelligenz, die aus einem solipsistischen Design hervorgeht, das die Welt als exogene stationäre Feedbackquelle behandelt, wird wahrscheinlich nicht kooperativ sein — der Einsatz induziert endogene Nicht-Stationarität und erzeugt Verteilungsdrift zwischen Training, Test und Einsatz.
Google-DeepMind-Bericht, der untersucht, wie sich KI nach der AGI entlang des Kontinuums der Maschinenintelligenz weiterentwickeln könnte. Nach einer formalen Definition universeller KI konzentriert sich der Bericht auf den Übergang von menschlicher AGI zu allgemeiner künstlicher Superintelligenz, charakterisiert ASI und diskutiert vier Wege: AGI-Skalierung, KI-Paradigmenwechsel, rekursive Selbstverbesserung und Multi-Agenten-Kollektive.