Tuyển chọn công trình về lịch sử và phát triển AI

Lý thuyết sơ khai Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198

Chứng minh rằng mọi hệ hình thức nhất quán đủ sức biểu đạt số học đều chứa những mệnh đề đúng mà nó không chứng minh được, đặt ra giới hạn về sau dùng để khuôn định điều mà tính toán và suy luận máy có thể phân định.

Lý thuyết sơ khai Alan M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265

Giới thiệu máy Turing phổ dụng và chứng minh Entscheidungsproblem là không quyết định được, đặt nền tảng lý thuyết cho khoa học máy tính.

Lý thuyết sơ khai Church, A. · American Journal of Mathematics 58(2): 345

Định nghĩa tính khả tính hữu hiệu bằng phép tính lambda và đưa ra một bài toán mà không thủ tục nào loại đó phân định được, đạt tới giới hạn của tính toán một cách độc lập với Turing.

Lý thuyết sơ khai Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133

Mô hình hóa hoạt động thần kinh dưới dạng logic mệnh đề, cung cấp lý thuyết toán học đầu tiên cho mạng nơ-ron nhân tạo.

Lý thuyết sơ khai Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656

Bài báo khai sinh lý thuyết thông tin, định nghĩa entropy và dung lượng kênh như những giới hạn căn bản của truyền thông.

Lý thuyết sơ khai Alan M. Turing · Mind LIX(236): 433–460

Đề xuất trò chơi bắt chước (phép thử Turing) và đặt câu hỏi “Máy móc có thể suy nghĩ không?” một cách hệ thống, góp phần xác lập AI như một chương trình nghiên cứu.

Lý thuyết sơ khai John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)

Bản đề xuất khai sinh hội thảo mùa hè Dartmouth đã đưa ra thuật ngữ “trí tuệ nhân tạo” và phác thảo chương trình nghiên cứu của lĩnh vực.

Sự ra đời của AI Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79

Mô tả Logic Theorist, một chương trình chứng minh định lý thời kỳ đầu, đã dùng tìm kiếm heuristic để chứng minh các định lý trong Principia Mathematica của Whitehead và Russell, minh họa suy luận tự động trong logic mệnh đề.

Sự ra đời của AI Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166

Mô tả việc giải quyết vấn đề của con người như một cuộc tìm kiếm heuristic trong không gian các trạng thái ký hiệu, cách phân tích làm nền cho General Problem Solver và quan niệm xem trí óc là xử lý thông tin.

Sự ra đời của AI Frank Rosenblatt · Psychological Review 65(6): 386–408

Giới thiệu nơ-ron ngưỡng tuyến tính có khả năng huấn luyện đầu tiên, đặt nền tảng cho dòng kết nối luận dẫn đến học sâu hiện đại.

Sự ra đời của AI John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO

Đề xuất “advice taker”, một chương trình có thể rút ra kết luận từ kho kiến thức tri thức thường thức được hình thức hóa, đặt nền tảng khái niệm cho biểu diễn và suy luận tri thức.

Sự ra đời của AI Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229

Trình diễn việc học qua tự đấu với một hàm chấm điểm trong chương trình cờ đam, một cột mốc sớm của học tăng cường gắn với thuật ngữ “học máy”.

Sự ra đời của AI Gelernter, H. · Information and Control 2(1): 80–89

Gelernter bàn về cách máy có thể thao tác hiệu quả trên các hệ hình thức mà vị từ có tính đối xứng cao, và đưa ra một định lý cùng một quy tắc về đối xứng cú pháp làm lời giải. Công trình này song hành với cỗ máy chứng minh định lý hình học ông đang dựng tại IBM, cỗ máy đã chứng minh định lý hình học phẳng Euclid đầu tiên vào đầu mùa xuân năm 1959.

Sự ra đời của AI Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104

Giới thiệu nơ-ron ADALINE và quy tắc học bình phương trung bình nhỏ nhất (LMS), tiền thân của phương pháp hạ gradient ngẫu nhiên hiện đại.

Sự ra đời của AI McCarthy, J. · Communications of the ACM 3(4): 184–195

Giới thiệu biểu thức ký hiệu, các hàm đệ quy trên chúng và eval cho phép một ngôn ngữ tự diễn giải chính nó, thiết kế về sau trở thành Lisp và là ngôn ngữ làm việc của trí tuệ nhân tạo ký hiệu.

Sự ra đời của AI Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)

Tập hợp các công trình về perceptron thành một lý thuyết đầy đủ về mạng xác suất nhiều lớp, nêu rõ cả điều mà những cỗ máy như vậy học được lẫn chỗ mà dạng một lớp dừng lại.

Sự ra đời của AI Weizenbaum, J. · Communications of the ACM 9(1): 36–45

Dựng nên một chương trình trông như biết trò chuyện chỉ từ đối sánh mẫu và luật viết lại, và chính tác giả lập tức chỉ ra rằng người đọc gán cho nó nhiều sự thấu hiểu hơn thực có.

Mùa đông AI John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558

Giới thiệu mạng bộ nhớ liên kết Hopfield, liên kết tính toán thần kinh với cảnh quan năng lượng của vật lý thống kê và hồi sinh mối quan tâm đối với mạng nơ-ron trong giai đoạn đầu của mùa đông AI.

Mùa đông AI McDermott, J. · Artificial Intelligence 19(1): 39–88

Ghi lại một hệ luật sản xuất cấu hình các đơn hàng máy tính của DEC mỗi ngày, một trong số ít hệ chuyên gia trụ được trong vận hành thường nhật và tính ra được hiệu quả kinh tế.

Mùa đông AI Judea Pearl · Artificial Intelligence 29(3): 241–288

Hệ thống hóa các phép toán hợp nhất, lan truyền và cấu trúc hóa trên mạng niềm tin, cung cấp nền tảng thuật toán cho suy luận mạng Bayes.

Mùa đông AI David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536

Bản trình bày kinh điển của thuật toán lan truyền ngược cho mạng nơ-ron nhiều lớp, cho thấy các đơn vị ẩn có thể học được những biểu diễn nội tại hữu ích và khơi lại nghiên cứu kết nối luận vào cuối thập niên 1980.

Mùa đông AI Richard S. Sutton · Machine Learning 3(1): 9–44

Hệ thống hóa phương pháp học sai phân thời gian (TD), trở thành một trong những thuật toán cốt lõi của học tăng cường hiện đại.

Mùa đông AI Jeffrey L. Elman · Cognitive Science 14(2): 179–211

Giới thiệu mạng hồi tiếp đơn giản của Elman, chỉ ra rằng mạng nơ-ron có thể học cấu trúc thời gian và mở đường cho các mô hình chuỗi về sau.

Thời kỳ phục hưng Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297

Giới thiệu máy vector hỗ trợ có biên mềm, bộ phân loại biên cực đại kinh điển đã định hình phần lớn học máy trong thập niên 1990.

Thời kỳ phục hưng Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780

Giới thiệu LSTM nguyên bản với ô nhớ cùng cổng vào và cổng ra; cổng quên phổ biến ngày nay được Gers, Schmidhuber và Cummins bổ sung trong công trình sau đó.

Thời kỳ phục hưng Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324

Giới thiệu LeNet-5, mạng nơ-ron tích chập chuẩn mực đạt chất lượng nhận dạng chữ số viết tay cấp sản xuất và thiết lập khuôn mẫu cho CNN.

Thời kỳ phục hưng Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507

Giới thiệu một bộ tự mã hóa sâu tái tạo dữ liệu nhiều chiều trung thực hơn nhiều so với PCA, thắp lên ngọn lửa đầu tiên cho sự hồi sinh của học sâu.

Thời kỳ phục hưng Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554

Suy ra một thuật toán tham lam nhanh học mạng niềm tin sâu từng lớp một rồi tinh chỉnh; mạng thu được phân loại chữ số viết tay tốt hơn các phương pháp phân biệt tốt nhất thời đó, và kết quả này khơi lại sự quan tâm đến mạng nơ-ron sâu.

Thời kỳ phục hưng Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880

Đưa việc huấn luyện các mô hình sâu không giám sát lên bộ xử lý đồ họa với mức tăng tốc cỡ một bậc độ lớn, biến con đường phần cứng mà học sâu dựa vào để mở rộng quy mô suốt thập kỷ sau thành thông lệ.

Thời kỳ phục hưng Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)

DQN kết hợp Q-learning với một mạng tích chập học chính sách điều khiển trực tiếp từ điểm ảnh thô; áp dụng nguyên vẹn cho bảy trò chơi Atari 2600, nó vượt mọi phương pháp trước đó ở sáu trò và vượt một chuyên gia con người ở ba trò, mở đường cho học tăng cường sâu.

Thời kỳ phục hưng Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)

Giới thiệu các kiến trúc skip-gram và CBOW tạo ra các embedding từ dày đặc, mở ra kỷ nguyên của các vector từ tiền huấn luyện.

Thời kỳ phục hưng Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)

VAE gắn mô hình sinh với biến tiềm ẩn với huấn luyện bằng gradient ngẫu nhiên thông qua thủ thuật tái tham số hóa, trở thành một trong những nền tảng của học sâu sinh tạo hiện đại.

Thời kỳ phục hưng Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)

Giới thiệu cơ chế chú ý cộng tính (Bahdanau) cho dịch máy nơ-ron, chứng minh rằng căn chỉnh mềm cho phép bộ giải mã tập trung vào các token nguồn liên quan và truyền cảm hứng trực tiếp cho Transformer.

Thời kỳ phục hưng Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)

Khung hóa mô hình sinh dưới dạng trò chơi min-max hai người chơi giữa bộ sinh và bộ phân biệt, mở ra một họ mới các mô hình sinh ẩn.

Thời kỳ phục hưng Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958

Giới thiệu dropout, một kỹ thuật điều chuẩn ngẫu nhiên đơn giản trở thành mặc định trong các pipeline huấn luyện học sâu.

Thời kỳ phục hưng Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)

Giới thiệu chuẩn hóa theo lô, chuẩn hóa đầu vào của tầng trên một mini-batch để ổn định và tăng tốc đáng kể quá trình huấn luyện mạng sâu.

Thời kỳ phục hưng Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585

Diễn đạt việc mô hình hóa sinh như phép đảo ngược một quá trình thêm nhiễu dần, cách diễn đạt mà các mô hình khuếch tán về sau dựa vào.

Thời kỳ phục hưng Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)

Giới thiệu kết nối phần dư, cho phép huấn luyện hiệu quả các mạng có hàng trăm lớp và giành chiến thắng ImageNet 2015 với cách biệt lớn.

Thời kỳ phục hưng Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)

Tách từ thành các đơn vị tiểu từ suy ra từ tần suất, nhờ đó một bộ từ vựng cố định có thể ghi được mọi thứ, cách phân tách mà phần lớn mô hình ngôn ngữ về sau kế thừa.

Thời kỳ phục hưng Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)

Gộp tỉa nhánh, lượng tử hóa trong lúc huấn luyện và mã Huffman vào một quy trình, thu nhỏ mạng đi cỡ một bậc độ lớn mà gần như không mất độ chính xác, sớm khẳng định rằng độ chính xác số là một biến thiết kế.

Thời kỳ phục hưng Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)

Giới thiệu mô hình tự hồi quy tích chập nhân quả giãn nở sinh ra dạng sóng âm thanh thô, cải thiện đáng kể tính tự nhiên của tổng hợp giọng nói.

Thời kỳ phục hưng John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347

Giới thiệu PPO, một phương pháp gradient chính sách bậc nhất đơn giản và ổn định, trở thành thuật toán tối ưu chính sách mặc định trong học tăng cường hiện đại.

Thời kỳ phục hưng Shazeer, N. et al. · arXiv:1701.06538

Định tuyến mỗi token chỉ qua một vài chuyên gia trong số rất nhiều, nhờ đó số tham số của mạng có thể lớn vượt xa lượng tính toán bỏ ra cho bất kỳ đầu vào đơn lẻ nào.

Thời kỳ phục hưng Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)

Giới thiệu Transformer, một kiến trúc chỉ dựa trên cơ chế chú ý từ bỏ tính hồi quy và tích chập, đạt chất lượng dịch chuỗi vượt trội trong khi huấn luyện chỉ bằng một phần nhỏ thời gian.

Thời kỳ phục hưng Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)

Huấn luyện bộ tách tiểu từ trực tiếp từ văn bản thô, không cần bước tiền tách riêng cho từng ngôn ngữ, nhờ đó cùng một quy trình dùng được cho những ngôn ngữ không tách từ bằng khoảng trắng.

Thời kỳ phục hưng Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)

Giới thiệu một Transformer hai chiều được tiền huấn luyện bằng mô hình hóa ngôn ngữ có che và dự đoán câu tiếp theo, thiết lập trạng thái nghệ thuật mới trên các benchmark NLP.

Thời kỳ phục hưng Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)

Diễn đạt mọi tác vụ NLP dưới dạng text-to-text, loại bỏ có hệ thống các lựa chọn học chuyển tiếp và thiết lập một công thức tham chiếu cho các mô hình tiền huấn luyện quy mô lớn.

Kỷ nguyên LLM Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)

Giới thiệu DDPM, cho thấy các mô hình xác suất khuếch tán khử nhiễu lặp có thể sánh ngang GAN trong tổng hợp ảnh độ trung thực cao.

Kỷ nguyên LLM Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)

Kết hợp song song theo tensor, theo đường ống và theo dữ liệu vào một lịch trình duy nhất, đồng thời đo thông lượng huấn luyện mô hình ngôn ngữ trên hàng nghìn GPU.

Kỷ nguyên LLM Hu, E. J. et al. · arXiv:2106.09685

Đóng băng trọng số đã tiền huấn luyện và thay vào đó huấn luyện một cặp ma trận hạng thấp, hạ chi phí thích ứng một mô hình lớn xuống chỉ còn một phần nhỏ so với tinh chỉnh toàn phần.

Kỷ nguyên LLM Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)

Dùng một Transformer tự hồi quy trên các token rời rạc của văn bản và hình ảnh để sinh ảnh từ văn bản chất lượng cao theo kiểu zero-shot (DALL·E).

Kỷ nguyên LLM Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)

Huấn luyện học tương phản trên 400 triệu cặp ảnh và văn bản để tạo ra các bộ mã hóa thị giác có thể chuyển giao zero-shot sang nhiều tác vụ hạ nguồn.

Kỷ nguyên LLM Chen, M. et al. · arXiv:2107.03374

Trình bày một mô hình GPT tinh chỉnh trên mã nguồn cùng bộ đánh giá chấm theo tính đúng đắn chức năng, biến lập trình từ một thể loại sinh văn bản thành năng lực đo được, đồng thời bàn về tác động tới an toàn và lao động.

Kỷ nguyên LLM Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)

Thực hiện khuếch tán trong không gian tiềm ẩn của một bộ tự mã hóa đã huấn luyện trước, cho phép tổng hợp ảnh độ phân giải cao từ văn bản với lượng tính toán khiêm tốn (Stable Diffusion).

Kỷ nguyên LLM Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)

Chỉ ra rằng việc gợi ý mô hình ngôn ngữ sinh ra các bước suy luận trung gian cải thiện đáng kể hiệu năng trên các benchmark suy luận số học, tri thức thường thức và ký hiệu.

Kỷ nguyên LLM Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)

Tinh chỉnh GPT-3 bằng học tăng cường từ phản hồi của con người để mô hình làm theo chỉ dẫn trung thực hơn — tiền thân trực tiếp của ChatGPT (InstructGPT).

Kỷ nguyên LLM Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)

Giới thiệu RLAIF, trong đó mô hình tự phê bình và chỉnh sửa đầu ra của chính nó theo một hiến pháp viết sẵn, giảm sự phụ thuộc vào nhãn hại của con người cho việc căn chỉnh.

Kỷ nguyên LLM Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)

Huấn luyện các mô hình nền tảng 7B–65B trên hàng nghìn tỷ token chỉ từ dữ liệu công khai; mô hình 13B vượt GPT-3 (175B) trên hầu hết các benchmark, còn mô hình 65B cạnh tranh được với Chinchilla-70B và PaLM-540B.

Kỷ nguyên LLM Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)

Sắp xếp các công trình tản mát về tác tử theo ba hướng xây dựng, đánh giá và ứng dụng, đánh dấu thời điểm thuật ngữ này chuyển từ một tập hợp cách làm thành một lĩnh vực nghiên cứu.

Kỷ nguyên LLM Dettmers, T. et al. · arXiv:2305.14314

Lan truyền ngược qua một mô hình nền lượng tử hóa 4 bit vào các bộ thích ứng hạng thấp, đưa việc tinh chỉnh mô hình lớn vào tầm với của một GPU đơn lẻ.

Kỷ nguyên LLM Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)

Lượng tử hóa trọng số của mô hình ngôn ngữ lớn sau khi huấn luyện, theo từng lớp và chỉ một lượt, nhờ đó có thể phục vụ ở độ chính xác thấp hơn mà không phải huấn luyện lại.

Kỷ nguyên LLM Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)

Để một mô hình nháp nhỏ đề xuất nhiều token rồi mô hình đích kiểm chứng song song, giảm độ trễ mà không làm thay đổi phân phối đầu ra.

Kỷ nguyên LLM Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)

Quản lý bộ nhớ đệm chú ý theo các trang kích thước cố định giống cách hệ điều hành quản lý bộ nhớ, nhờ đó máy chủ giữ được nhiều yêu cầu đồng thời hơn hẳn mà không phải dành sẵn trường hợp xấu nhất cho từng yêu cầu.

Kỷ nguyên LLM Gu, A. và Dao, T. · arXiv:2312.00752

Giới thiệu Mamba, kiến trúc không gian trạng thái chọn lọc không dùng attention, mở rộng tuyến tính theo độ dài chuỗi; trong mô hình hóa ngôn ngữ, mô hình 3B của nó vượt các Transformer cùng kích thước và sánh ngang các Transformer lớn gấp đôi. Mamba trở thành một trong những kiến trúc hậu-Transformer có ảnh hưởng nhất năm 2023.

Thời kỳ phục hưng Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton · NeurIPS 2012

Giành chiến thắng ImageNet 2012 với cách biệt lớn nhờ CNN huấn luyện trên GPU, đánh dấu điểm bùng nổ nơi học sâu vượt qua thị giác máy tính cổ điển.

Thời kỳ phục hưng Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, Demis Hassabis · Nature 518(7540): 529–533

Xuất bản phiên bản Nature của DQN, chứng minh hiệu năng cấp con người trên một tập rộng các trò Atari và đưa học tăng cường sâu đến sự chú ý của đại chúng.

Thời kỳ phục hưng David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel, Demis Hassabis · Nature 529(7587): 484–489

AlphaGo kết hợp mạng chính sách và mạng giá trị với tìm kiếm cây Monte Carlo, đánh bại nhà vô địch châu Âu Phàn Huy 5-0, báo hiệu học tăng cường sâu đã chạm tới tầng sâu nhất của lối chơi chiến lược của con người.

Thời kỳ phục hưng Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever · OpenAI Technical Report 2018

Chứng minh rằng một Transformer sinh được tiền huấn luyện trên văn bản không gán nhãn có thể được tinh chỉnh để đạt hiệu năng mạnh trên nhiều tác vụ NLP khác nhau, khai sinh dòng GPT.

Thời kỳ phục hưng Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever · OpenAI Technical Report 2019

Chỉ ra rằng mô hình ngôn ngữ Transformer 1.5B tham số thể hiện hành vi đa tác vụ zero-shot, thúc đẩy cuộc thảo luận “mô hình ngôn ngữ như người học đa tác vụ”.

Kỷ nguyên LLM Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei · NeurIPS 2020 (arXiv:2005.14165)

Mở rộng GPT lên 175 tỷ tham số và cho thấy các mô hình ngôn ngữ lớn có khả năng học trong ngữ cảnh từ ít ví dụ rất tốt trên nhiều tác vụ.

Kỷ nguyên LLM OpenAI · OpenAI Technical Report 2023 (arXiv:2303.08774)

Mô tả GPT-4, một mô hình đa phương thức lớn nhận đầu vào hình ảnh và văn bản, đạt hiệu năng tiệm cận con người trên nhiều bài kiểm tra chuyên môn và học thuật.

Kỷ nguyên LLM Gemini Team Google · Google DeepMind Technical Report 2023 (arXiv:2312.11805)

Giới thiệu họ mô hình Gemini (Ultra/Pro/Nano), đa phương thức từ gốc, được huấn luyện chung trên văn bản, mã, hình ảnh, âm thanh và video.

Kỷ nguyên LLM OpenAI · arXiv:2412.16720

OpenAI công bố thẻ hệ thống cho dòng mô hình o1, được huấn luyện bằng học tăng cường quy mô lớn để suy luận bằng chuỗi tư duy. o1 đạt trạng thái tiên tiến nhất trên các tác vụ khoa học và lập trình, đồng thời thể hiện khả năng tuân thủ chính sách dựa trên suy luận.

Kỷ nguyên LLM ARC Prize Foundation · arXiv:2603.24621

ARC Prize giới thiệu ARC-AGI-3 — benchmark tương tác nghiên cứu trí tuệ tác nhân thông qua các môi trường theo lượt trừu tượng, nơi các tác nhân phải khám phá, suy luận mục tiêu, xây dựng mô hình nội tại về động lực học môi trường và lập kế hoạch chuỗi hành động hiệu quả mà không có chỉ dẫn rõ ràng. Tính đến tháng 3 năm 2026, con người giải được 100% môi trường trong khi các hệ thống AI tiên phong đạt dưới 1%.

Kỷ nguyên LLM Adly Templeton, Tom Conerly, Jonathan Marcus và cộng sự · Transformer Circuits 2024

Áp dụng bộ tự mã hóa thưa cho lớp giữa của Claude 3 Sonnet, mô hình sản xuất cỡ trung của Anthropic, trích xuất hàng triệu đặc trưng — nhiều đặc trưng trong số đó đơn ngữ nghĩa và rất trừu tượng — từ các từ điển có tới 34 triệu đặc trưng.

Kỷ nguyên LLM DeepSeek-AI · DeepSeek Technical Report 2024 (arXiv:2412.19437)

Trình bày DeepSeek-V3, mô hình MoE 671B tham số dùng Multi-head Latent Attention và DeepSeekMoE, và cho biết mô hình vượt các mô hình trọng số mở khác, tiệm cận các mô hình đóng hàng đầu trên các benchmark chính chỉ với một phần nhỏ chi phí huấn luyện của mô hình tiên phong.

Kỷ nguyên LLM Gemini Team · arXiv:2403.05530

Giới thiệu dòng Gemini 1.5 — các mô hình đa phương thức hiệu quả tính toán với cửa sổ ngữ cảnh một triệu token, có khả năng suy luận chi tiết trên nhiều tài liệu dài và hàng giờ video, âm thanh.

Kỷ nguyên LLM Grattafiori, A. và cộng sự · arXiv:2407.21783

Meta giới thiệu dòng Llama 3 — các mô hình nền tảng trọng số mở hỗ trợ gốc đa ngôn ngữ, lập trình, suy luận và sử dụng công cụ. Mô hình hàng đầu 405B dense Transformer là một trong những mô hình trọng số mở lớn nhất tại thời điểm phát hành.

Kỷ nguyên LLM Ravi, N. và cộng sự · arXiv:2408.00714

Meta giới thiệu SAM 2 — mô hình nền tảng cho phân vùng trực quan theo lời nhắc trong cả ảnh và video, cùng với SA-V, bộ dữ liệu mà các tác giả mô tả là bộ dữ liệu phân vùng video lớn nhất tính đến lúc đó.

Kỷ nguyên LLM Gemma Team và cộng sự · arXiv:2408.00118

Google DeepMind giới thiệu Gemma 2 — dòng mô hình mở nhẹ (2B-27B tham số) áp dụng nhiều cải tiến kỹ thuật đã biết cho Transformer — bao gồm cơ chế attention cửa sổ trượt — để tiệm cận các mô hình lớn hơn nhiều.

Kỷ nguyên LLM DeepSeek-AI · arXiv:2501.12948

DeepSeek phát hành R1, với năng lực suy luận được phát triển chủ yếu nhờ học tăng cường quy mô lớn; các tác giả báo cáo hiệu năng tương đương OpenAI o1 trên các tác vụ suy luận như toán và lập trình. Trọng số được phát hành theo giấy phép MIT.

Kỷ nguyên LLM Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei và cộng sự · arXiv:2501.19393

Nhóm tác giả tinh chỉnh Qwen2.5-32B trên 1.000 câu hỏi suy luận được tuyển chọn và bổ sung cơ chế ép ngân sách, giới hạn hoặc kéo dài thời gian mô hình suy nghĩ khi suy luận. Kết quả vượt o1-preview ở toán thi đấu và tăng từ 50% lên 57% trên AIME24 khi tăng tính toán ở thời điểm suy luận. Đây là đối trọng trực tiếp với giả định rằng năng lực chỉ đến từ các lần huấn luyện lớn hơn.

Kỷ nguyên LLM An Yang và cộng sự (nhóm Qwen, Alibaba) · arXiv:2505.09388

Qwen3 là họ mô hình hợp nhất từ 0,6 đến 235 tỷ tham số, gồm cả biến thể dày đặc và hỗn hợp chuyên gia, có thể chuyển giữa chế độ suy nghĩ và không suy nghĩ, khiến độ sâu suy luận trở thành lựa chọn ở cấp yêu cầu. Hỗ trợ đa ngôn ngữ mở rộng từ 29 lên 119 ngôn ngữ và trọng số được phát hành theo giấy phép Apache 2.0.

Kỷ nguyên LLM Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont và cộng sự · arXiv:2506.13131

AlphaEvolve là một tác tử lập trình tiến hóa, điều phối một pipeline tự trị gồm các mô hình ngôn ngữ, sửa trực tiếp mã của thuật toán và cải thiện nó theo phản hồi từ một hoặc nhiều bộ đánh giá. Trong nội bộ Google, nó tạo ra thuật toán lập lịch trung tâm dữ liệu hiệu quả hơn, tìm được một phép rút gọn tương đương về chức năng trong thiết kế mạch của bộ tăng tốc phần cứng, và tăng tốc việc huấn luyện chính mô hình nâng đỡ nó. Trong toán học và khoa học máy tính, nó tìm ra những thuật toán đúng đắn chứng minh được, vượt mức tốt nhất từng biết, trong đó có cách nhân hai ma trận phức 4×4 bằng 48 phép nhân vô hướng — trong bối cảnh đó, là cải tiến đầu tiên với thuật toán Strassen sau 56 năm.

Kỷ nguyên LLM Team OLMo, Pete Walsh, Luca Soldaini, Dirk Groeneveld và cộng sự · COLM 2025 (arXiv:2501.00656)

Ai2 phát hành OLMo 2 ở các cỡ 7B, 13B và 32B cùng toàn bộ sản phẩm — trọng số, dữ liệu huấn luyện đầy đủ, mã và công thức huấn luyện, nhật ký và hàng nghìn điểm kiểm tra trung gian. Báo cáo mô tả các thay đổi về độ ổn định và hiệu suất trên mỗi token, một hỗn hợp dữ liệu giai đoạn cuối tên là Dolmino Mix 1124, và bước cuối dùng học tăng cường với phần thưởng kiểm chứng được. Các mô hình nền nằm trên biên Pareto giữa hiệu năng và lượng tính toán huấn luyện, thường sánh ngang những dòng chỉ công bố trọng số trong khi vẫn tiết lộ chúng được huấn luyện trên dữ liệu nào.

Kỷ nguyên LLM Team Olmo, Allyson Ettinger, Amanda Bertsch và cộng sự · arXiv:2512.13961

Olmo 3 mở rộng dòng mô hình hoàn toàn mở lên 7B và 32B, được xây dựng cho suy luận ngữ cảnh dài, gọi hàm, lập trình, tuân theo chỉ dẫn, hội thoại và truy hồi tri thức. Thứ được công bố là toàn bộ luồng dựng mô hình — mọi giai đoạn, điểm kiểm tra, điểm dữ liệu và phụ thuộc đã dùng — chứ không chỉ trọng số. Ai2 mô tả mô hình chủ lực Olmo 3 Think 32B là mô hình tư duy hoàn toàn mở mạnh nhất tính đến thời điểm phát hành; đó là so sánh trong nội bộ nhóm hoàn toàn mở, không phải xếp hạng so với các hệ thống tiên phong nói chung.

Kỷ nguyên LLM Park, S. · arXiv:2606.11245

Bài báo quan điểm này lập luận rằng việc tích hợp bộ nhớ tường minh là nền tảng để đưa LLM tiến tới AGI. Trong khi cơ chế học cơ bản của LLM tương tự mạnh mẽ với bộ nhớ tiềm ẩn của con người, các chức năng nhận thức bậc cao cần thiết cho AGI — như lập kế hoạch chiến lược dài hạn và siêu nhận thức — phụ thuộc vào bộ nhớ tường minh.

Kỷ nguyên LLM Nhóm GLM-5, Aohan Zeng, Xin Lv và cộng sự · arXiv:2602.15763

Báo cáo kỹ thuật của Z.ai về GLM-5. Dựa trên năng lực tác tử, suy luận và lập trình của thế hệ trước, mô hình dùng DSA để giảm chi phí huấn luyện và suy luận trong khi vẫn giữ độ trung thực ở ngữ cảnh dài; phần hậu huấn luyện bổ sung hạ tầng học tăng cường bất đồng bộ tách rời việc sinh và việc huấn luyện, cùng các thuật toán RL tác tử bất đồng bộ nhắm tới tương tác dài hạn. Báo cáo tuyên bố kết quả dẫn đầu trên các benchmark mở và trong kỹ thuật phần mềm đầu cuối; đó là đánh giá của chính nhóm tác giả, với mã và mô hình công bố trên GitHub để đối chiếu.

Kỷ nguyên LLM Emilien Dupont, Marvin Eisenberger, Josh Alman, Virginia Vassilevska Williams và cộng sự · arXiv:2608.16884

Các cận tốt nhất hiện biết của số mũ nhân ma trận ω đến từ phân tích tổn thất tổ hợp, một tinh chỉnh của phương pháp laser. Nhóm tác giả phát biểu lại bài toán tối ưu ở lõi của phương pháp để giải được ở quy mô lớn hơn, thiết kế một thuật toán tối ưu mới dựa trên các tiến bộ gần đây của học máy, rồi tinh chỉnh thuật toán đó bằng AlphaEvolve. Kết hợp lại, cận trên giảm từ 2,371339 xuống 2,371177. Đây là một ghi chú tiền ấn phẩm, và AlphaEvolve chỉ là một thành phần chứ không phải toàn bộ phương pháp; mức cải thiện nhỏ, nhưng đạt được trên một bài toán lý thuyết đã được nghiên cứu suốt nhiều thập kỷ.

Kỷ nguyên LLM Juraj Gottweis, Wei-Hung Weng, Alexander Daryin, Tao Tu và cộng sự · Nature 655(8122): 487–496

Google giới thiệu Co-Scientist, một hệ đa tác tử xây trên Gemini, trong đó các tác tử sinh ra, phản biện và tinh chỉnh giả thuyết nghiên cứu, với quy trình đấu loại giúp cải thiện chúng qua từng vòng. Bài báo cho biết chất lượng giả thuyết tiếp tục tăng khi tăng lượng tính toán ở giai đoạn suy luận. Việc kiểm chứng thuộc phạm vi y sinh chứ không tổng quát — tái định vị thuốc, tìm đích tác dụng mới và cơ chế kháng kháng sinh — với các ứng viên cho bệnh bạch cầu tủy cấp được xác nhận in vitro.

Kỷ nguyên LLM Chen, M., Wang, L. và Qu, B. · arXiv:2607.07663

Khảo sát 1.250 bài arXiv từ 2024 đến 2026 và tách hai thứ mà thuật ngữ này bao hàm: tinh chỉnh có giới hạn, vốn cải thiện hệ thống so với một bộ đánh giá bên ngoài cố định nên hội tụ và đánh giá được; và tự cải thiện đệ quy mở, vốn sửa cả tiêu chí hoặc bộ máy của chính việc cải thiện, không có mỏ neo bên ngoài cố định và về nguyên tắc là phân kỳ. Kết luận của chính bài khảo sát là gần như toàn bộ các bài thu thập được đều nghiên cứu loại thứ nhất. Các tác giả nêu rõ giới hạn: kho ngữ liệu là mẫu chứ không phải tổng điều tra, và 74% trong đó được đăng năm 2026, điều mà họ cho là khiến việc đo lường ảnh hưởng còn quá sớm.

Kỷ nguyên LLM Yuan, Z. và Chua, J. · arXiv:2606.30481

Lập luận rằng các LLM hiện tại chủ yếu dựa vào so khớp mẫu thống kê và thiếu các nguyên thủy “nhận thức tình huống” thiết yếu — tính bền vật thể, nhân quả, ý thức người khác, sự tồn tại của thế giới vật lý. Những nguyên thủy mà trẻ sơ sinh phát triển sớm này được xác định là thành phần còn thiếu cần thiết cho siêu trí tuệ nhân tạo.

Kỷ nguyên LLM Mao, S. · arXiv:2606.12032

Lập luận rằng tự bảo tồn là gốc cấu trúc của sự lệch căn chỉnh AI — thúc đẩy căn chỉnh lừa dối, bảo vệ nội dung mục tiêu và chống tắt nguồn. Mục tiêu đúng không phải tác nhân tự bảo tồn bị áp chế bởi ràng buộc bên ngoài, mà là hệ thống về bản chất thờ ơ với sự tiếp tục của chính nó: Thờ ơ Hiện sinh (EI).

Kỷ nguyên LLM Trivedi, R. S. và cộng sự · arXiv:2606.03237

Các nhà nghiên cứu từ Google DeepMind và cộng sự lập luận rằng thách thức cốt lõi của AI đang chuyển từ năng lực sang cộng sinh. Siêu trí tuệ được xây dựng từ thiết kế cô lập coi thế giới là nguồn phản hồi tĩnh ngoại sinh khó có thể hợp tác — việc triển khai gây ra bất ổn định nội sinh, tạo ra sự trôi dạt phân phối giữa huấn luyện, kiểm thử và triển khai.

Kỷ nguyên LLM Duan, Y. và cộng sự · arXiv:2609.11873

Lộ trình của ba mươi tư tác giả trình bày các giai đoạn của tự cải thiện đệ quy, từ quyền tự chủ trong việc thực hiện cải tiến cho tới siêu cải tiến đệ quy, kèm yêu cầu và trở ngại của từng giai đoạn được nêu trong các lĩnh vực như khám phá khoa học và kỹ nghệ phần mềm. Bài lập luận dựa trên việc đọc lại cả lĩnh vực cùng bằng chứng sơ bộ chứ không dựa trên thí nghiệm mới, và chưa có nơi công bố vào lúc mục này được viết.

Kỷ nguyên LLM Genewein, T. và cộng sự · arXiv:2606.12683

Báo cáo của Google DeepMind điều tra cách AI có thể tiếp tục phát triển dọc theo continuum của trí tuệ máy sau AGI. Sau khi định nghĩa hình thức AI phổ quát, báo cáo tập trung vào sự chuyển đổi từ AGI cấp con người sang siêu trí tuệ nhân tạo phổ quát, đặc trưng hóa ASI và thảo luận bốn con đường: mở rộng quy mô AGI, chuyển đổi mô hình AI, tự cải thiện đệ quy, và tập thể đa tác nhân.