AI 역사와 발전의 주요 논문 선집

초기 이론 Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198

산술을 표현할 수 있는 무모순 형식 체계에는 참이지만 증명할 수 없는 명제가 존재함을 보여, 계산과 기계 추론이 무엇을 결정할 수 있는지에 관한 이후 논의의 전제를 세웠다.

초기 이론 Alan Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265

범용 튜링기를 제시하고 Entscheidungsproblem이 결정 불가능함을 증명함으로써, 컴퓨터 과학의 이론적 토대를 세웠다.

초기 이론 Church, A. · American Journal of Mathematics 58(2): 345

λ 계산으로 실효적으로 계산 가능한 함수를 정의하고 어떤 절차로도 판정할 수 없는 문제를 제시하여, 튜링과 독립적으로 계산의 한계에 이르렀다.

초기 이론 Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133

신경 활동을 명제 논리로 모형화하여, 인공 신경망에 관한 최초의 수학적 이론을 제시했다.

초기 이론 Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656

정보 이론을 세운 논문으로, 엔트로피와 채널 용량을 통신의 근본적 한계로 정의했다.

초기 이론 A. M. Turing · Mind LIX(236): 433–460

모방 게임(튜링 테스트)을 제안하고 “기계는 생각할 수 있는가?”라는 질문을 체계적으로 정식화하여, AI가 하나의 연구 프로그램으로 자리 잡는 데 기여했다.

초기 이론 John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)

다트머스 여름 워크숍을 세운 제안서로, “인공지능”이라는 용어를 도입하고 이 분야의 연구 의제를 개괄했다.

AI의 탄생 Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79

초기 정리 증명 프로그램인 Logic Theorist를 기술했다. 이 프로그램은 휴리스틱 탐색으로 화이트헤드와 러셀의 『수학 원리』에 실린 정리들을 증명해, 명제 논리에서의 자동 추론을 보여 주었다.

AI의 탄생 Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166

인간의 문제 해결을 기호적 상태 공간에서의 발견적 탐색으로 그려내어, 일반 문제 해결기의 바탕이 되고 마음을 정보 처리로 보는 관점을 세웠다.

AI의 탄생 Frank Rosenblatt · Psychological Review 65(6): 386–408

학습 가능한 최초의 선형 임계 뉴런을 제시하여, 현대 딥러닝으로 이어지는 연결주의적 계보의 토대를 놓았다.

AI의 탄생 John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO

형식화된 상식 지식 저장소로부터 결론을 도출할 수 있는 프로그램인 “advice taker”를 제안하여, 지식 표현과 추론의 개념적 토대를 마련했다.

AI의 탄생 Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229

체커 프로그램에서 점수 함수를 이용한 자기 대국 학습을 시연했다. 강화 학습의 초기 이정표이며, “기계 학습”이라는 용어와도 연결된다.

AI의 탄생 Gelernter, H. · Information and Control 2(1): 80–89

술어가 높은 대칭성을 지닌 형식 체계를 기계가 효율적으로 다루는 방법을 다루며, 구문 대칭성 정리와 규칙을 해법으로 제시한다. 같은 시기 IBM에서 만들던 기하 정리 기계와 나란한 작업으로, 그 기계는 1959년 이른 봄 유클리드 평면기하의 첫 정리를 증명했다.

AI의 탄생 Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104

ADALINE 뉴런과 최소 평균 제곱(LMS) 학습 규칙을 도입했다. 이는 현대 확률적 경사 하강법의 선구가 되었다.

AI의 탄생 McCarthy, J. · Communications of the ACM 3(4): 184–195

기호 표현과 그 위의 재귀 함수, 그리고 언어가 스스로를 해석하게 하는 eval을 제시했고, 이 설계가 Lisp이 되어 기호주의 인공지능의 작업 언어가 되었다.

AI의 탄생 Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)

퍼셉트론 연구를 계층적 확률 신경망의 완결된 이론으로 묶어, 이런 기계가 무엇을 배울 수 있는지와 단층 형태가 어디서 멈추는지를 함께 밝혔다.

AI의 탄생 Weizenbaum, J. · Communications of the ACM 9(1): 36–45

패턴 대조와 재작성 규칙만으로 대화하는 듯 보이는 프로그램을 만들고, 저자 스스로 사용자가 거기에 부여하는 이해가 실제로는 없는 것임을 곧바로 지적했다.

AI 겨울 J. J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558

연상 기억 네트워크인 Hopfield 네트워크를 제시하여 신경 계산과 통계 물리학의 에너지 지형(Landscape)을 연결하고, 초기 AI 겨울기 동안 신경망에 대한 관심을 되살렸다.

AI 겨울 McDermott, J. · Artificial Intelligence 19(1): 39–88

DEC의 컴퓨터 주문을 날마다 구성한 생성 규칙 시스템을 기록한 것으로, 일상적인 실운영을 견디고 비용 효과까지 따질 수 있었던 드문 전문가 시스템이다.

AI 겨울 Judea Pearl · Artificial Intelligence 29(3): 241–288

신뢰 네트워크에 대한 융합, 전파 및 구조화 연산을 체계화하여, 베이지안 네트워크 추론의 알고리즘적 토대를 마련했다.

AI 겨울 David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536

다층 신경망을 위한 역전파 알고리즘의 표준적 서술로, 은닉 유닛이 유용한 내부 표현을 학습할 수 있음을 보이고 1980년대 후반 연결주의 연구를 되살렸다.

AI 겨울 Richard S. Sutton · Machine Learning 3(1): 9–44

시차 학습(Temporal-Difference, TD)을 체계화하여, 현대 강화학습의 핵심 알고리즘 중 하나가 되었다.

AI 겨울 Jeffrey L. Elman · Cognitive Science 14(2): 179–211

Elman의 단순 순환 네트워크를 제시하여 신경망이 시간적 구조를 학습할 수 있음을 보여주고, 후속 시퀀스 모델의 길을 열었다.

부활 시대 Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297

1990년대 기계 학습의 상당 부분을 정의한 정통적 최대 마진 분류기인 소프트 마진 서포트 벡터 머신(SVM)을 소개했다.

부활 시대 Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780

기억 셀과 입력·출력 게이트를 사용하는 초기 LSTM 구조를 제안했다. 오늘날 표준인 망각 게이트는 Gers、Schmidhuber、Cummins의 후속 연구에서 도입되었다.

부활 시대 Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324

CNN의 표준 양식을 확립한 LeNet-5를 제시하여, 제품 수준의 손글씨 숫자 인식에 도달하고 CNN의 표준 틀을 세웠다.

부활 시대 G. E. Hinton, R. R. Salakhutdinov · Science 313(5786): 504–507

PCA보다 훨씬 충실하게 고차원 데이터를 재구성하는 심층 오토인코더를 도입하여, 딥러닝 부활의 첫 불꽃을 점화했다.

부활 시대 Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554

심층 신뢰 네트워크를 한 층씩 학습한 뒤 미세 조정하는 빠른 탐욕 알고리즘을 유도했다. 그 결과 얻은 네트워크는 손글씨 숫자 분류에서 당시 최고의 판별적 방법을 앞섰고, 이 결과는 심층 신경망에 대한 관심을 되살렸다.

부활 시대 Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880

심층 비지도 모델의 학습을 그래픽 처리 장치로 옮겨 수십 배의 가속을 보이면서, 이후 십 년간 딥러닝이 규모를 키우는 데 쓰인 하드웨어 경로를 관행으로 만들었다.

부활 시대 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)

DQN은 Q 학습과 합성곱 신경망을 결합해 원시 픽셀에서 직접 제어 정책을 학습한다. 수정 없이 Atari 2600 게임 7종에 적용한 결과 6종에서 기존의 모든 방법을, 3종에서 인간 전문가를 앞섰으며, 심층 강화 학습의 길을 열었다.

부활 시대 Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)

밀집 단어 임베딩을 생성하는 skip-gram과 CBOW 구조를 도입하여, 사전훈련된 단어 벡터 시대를 개막했다.

부활 시대 Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)

VAE는 재매개변수화 기법을 통해 잠재 변수 생성 모델링과 확률적 경사 기반 학습을 결합해, 현대 생성형 딥러닝의 토대 중 하나가 되었다.

부활 시대 Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)

신경망 기계 번역을 위한 가산형(Bahdanau) 어텐션을 도입하여, 소프트 정렬을 통해 디코더가 관련 소스 토큰에 집중할 수 있음을 보이고 Transformer에 직접적인 영감을 주었다.

부활 시대 Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)

생성 모델링을 생성기와 판별기 사이의 두 플레이어 극대극소 게임으로 구성하여, 새로운 암묵적 생성 모델 계열을 개척했다.

부활 시대 Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958

딥러닝 훈련 파이프라인에서 기본값이 되는 간단한 확률적 정규화 기법인 Dropout을 도입했다.

부활 시대 Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)

미니 배치에 걸쳐 층 입력을 정규화하여 심층 네트워크 훈련을 안정화하고 비약적으로 가속화하는 배치 정규화(Batch Normalization)를 도입했다.

부활 시대 Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585

생성 모형화를 점진적으로 잡음을 더하는 과정의 역전으로 정식화했고, 이후의 확산 모델들이 이 정식화 위에 서 있다.

부활 시대 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)

수백 층에 달하는 네트워크의 효과적인 훈련을 가능케 하는 잔차 연결(Residual Connection)을 도입하여, 2015년 ImageNet을 큰 차이로 우승했다.

부활 시대 Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)

출현 빈도에 따라 단어를 하위 단위로 쪼개어 고정된 어휘로도 무엇이든 표기할 수 있게 했고, 이 분절 방식을 이후 언어 모델 대부분이 물려받았다.

부활 시대 Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)

가지치기와 학습 중 양자화와 허프만 부호화를 한 흐름으로 묶어 정확도를 거의 잃지 않고 신경망 크기를 한 자릿수 줄였으며, 수치 정밀도가 설계 변수임을 일찍이 보였다.

부활 시대 Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)

원시 오디오 파형을 생성하는 확장 인과 합성곱 자기회귀 모델을 도입하여, 텍스트 음성 변환의 자연스러움을 비약적으로 향상시켰다.

부활 시대 John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347

현대 강화학습에서 기본 정책 최적화 알고리즘이 된, 단순하고 안정적인 일차 정책 경사법인 PPO를 도입했다.

부활 시대 Shazeer, N. et al. · arXiv:1701.06538

각 토큰을 많은 전문가 가운데 몇 개에만 보내어, 신경망의 매개변수 수가 개별 입력에 드는 계산량을 훨씬 넘어 커질 수 있게 했다.

부활 시대 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)

순환과 합성곱을 배제하고 어텐션만으로 구성된 구조인 Transformer를 도입하여, 학습 시간을 대폭 단축하면서 이전 시퀀스 변환 모델의 품질을 능가했다.

부활 시대 Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)

언어에 특화된 사전 분절 없이 원문에서 곧바로 하위 단어 분절기를 학습하여, 단어를 띄어쓰기로 나누지 않는 언어에도 같은 처리 흐름을 쓸 수 있게 했다.

부활 시대 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)

마스크 언어 모델링과 다음 문장 예측으로 사전훈련된 양방향 Transformer를 도입하여, 다양한 NLP 벤치마크에서 새로운 최첨단 성능을 수립했다.

부활 시대 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)

모든 NLP 과제를 텍스트-투-텍스트로 형식화하고 전이학습 선택지를 체계적으로 분석하여, 대규모 사전훈련 모델의 기준 레시피를 정립했다.

LLM 시대 Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)

DDPM을 제안해, 반복적으로 잡음을 제거하는 확산 확률 모델이 고충실도 이미지 합성에서 GAN에 필적함을 보였다.

LLM 시대 Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)

텐서 병렬과 파이프라인 병렬과 데이터 병렬을 하나의 일정으로 묶고, 수천 개의 GPU에서 언어 모델을 학습할 때의 처리량을 실측해 보였다.

LLM 시대 Hu, E. J. et al. · arXiv:2106.09685

사전 학습된 가중치를 얼리고 대신 저랭크 행렬 한 쌍을 학습하여, 대규모 모델을 적응시키는 비용을 전체 미세 조정의 아주 일부로 낮추었다.

LLM 시대 Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)

이산적인 텍스트·이미지 토큰을 자기회귀 Transformer로 다루어, 고품질 제로샷 텍스트-이미지 생성을 구현했다(DALL·E).

LLM 시대 Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)

4억 쌍의 이미지-텍스트 데이터로 대조 학습을 수행해, 여러 다운스트림 과제로 제로샷 전이되는 시각 인코더를 만들었다.

LLM 시대 Chen, M. et al. · arXiv:2107.03374

코드로 미세 조정한 GPT 모델과 기능적 정확성으로 채점하는 평가 기준을 함께 제시하여 프로그래밍을 텍스트 생성의 한 갈래에서 측정 가능한 능력으로 바꾸고, 안전과 노동에 미치는 영향도 나란히 논했다.

LLM 시대 Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)

사전 학습된 오토인코더의 잠재 공간에서 확산을 수행해, 적은 연산으로 고해상도 텍스트-이미지 합성을 가능하게 했다(Stable Diffusion).

LLM 시대 Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)

언어 모델로 하여금 중간 추론 단계를 생성하도록 프롬프팅하면 산수, 상식, 기호 추론 벤치마크의 성능이 극적으로 향상됨을 보였다.

LLM 시대 Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)

인간 피드백 기반 강화 학습으로 GPT-3를 미세 조정해 지시를 더 충실히 따르게 했으며, ChatGPT의 직접적인 전신이다(InstructGPT).

LLM 시대 Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)

모델이 명문화된 헌장에 따라 자신의 출력을 스스로 비판하고 수정하게 하는 RLAIF를 도입하여, 정렬을 위한 인간 유해성 라벨 의존도를 줄였다.

LLM 시대 Hugo Touvron, Thibaut Lavril, Gautier Izacard, et al. · Meta AI Technical Report 2023 (arXiv:2302.13971)

공개 데이터만으로 수조 개의 토큰을 사용해 7B~65B 규모의 기반 모델을 훈련했다. 13B 모델은 대부분의 벤치마크에서 GPT-3(175B)를 능가하고, 65B 모델은 Chinchilla-70B 및 PaLM-540B와 견줄 만하다.

LLM 시대 Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)

여기저기 흩어져 있던 에이전트 연구를 구성과 평가와 응용의 세 갈래로 정리하여, 이 이름이 개별 실천의 모음에서 하나의 연구 분야로 자리 잡은 시점을 보여 준다.

LLM 시대 Dettmers, T. et al. · arXiv:2305.14314

4비트로 양자화한 기반 모델을 통과해 저랭크 어댑터로 기울기를 역전파하여, 대규모 모델의 미세 조정을 GPU 한 장으로 감당할 범위에 들여놓았다.

LLM 시대 Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)

학습이 끝난 대규모 언어 모델의 가중치를 층마다 한 번의 통과로 양자화하여, 재학습 없이 더 낮은 정밀도로 서비스할 수 있게 했다.

LLM 시대 Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)

작은 초안 모델이 여러 토큰을 제안하고 목표 모델이 이를 병렬로 검증하게 하여, 출력 분포를 바꾸지 않으면서 지연을 줄였다.

LLM 시대 Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)

운영 체제가 메모리를 다루듯 주의 캐시를 고정 크기의 페이지로 관리하여, 요청마다 최악의 경우를 예약하지 않고도 훨씬 많은 동시 요청을 감당하게 했다.

LLM 시대 Gu, A. 및 Dao, T. · arXiv:2312.00752

어텐션 없이 시퀀스 길이에 선형으로 확장되는 선택적 상태 공간 아키텍처 Mamba를 제안했다. 언어 모델링에서 3B 모델은 같은 규모의 Transformer를 능가하고 두 배 규모의 Transformer에 필적한다. 2023년 가장 영향력 있는 Transformer 이후 아키텍처 중 하나가 되었다.

부활 시대 Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton · NeurIPS 2012

GPU로 훈련된 CNN을 통해 2012년 ImageNet을 큰 차이로 우승하며, 딥러닝이 고전 컴퓨터 비전을 추월하는 전환점이 되었다.

부활 시대 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, Demis Hassabis · Nature 518(7540): 529–533

광범위한 Atari 게임 집합에서 인간 수준의 성능을 입증한 DQN의 Nature 판을 발표하여, 심층 강화학습을 주류의 관심사로 끌어올렸다.

부활 시대 David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel, Demis Hassabis · Nature 529(7587): 484–489

AlphaGo는 정책망과 가치망을 몬테카를로 트리 탐색과 결합해 유럽 챔피언 판후이를 5대 0으로 꺾었고, 심층 강화 학습이 인간 전략 게임의 가장 깊은 층위에 도달했음을 알렸다.

부활 시대 Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever · OpenAI Technical Report 2018

레이블이 없는 텍스트로 사전훈련된 생성적 Transformer가 다양한 NLP 작업에서 강력한 성능으로 미세조정될 수 있음을 입증하여, GPT 계보의 기반을 놓았다.

부활 시대 Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever · OpenAI Technical Report 2019

15억 매개변수의 Transformer 언어 모델이 제로샷 다중 작업 능력을 수행함을 보여, “언어 모델은 다중 작업 학습자”라는 논의를 촉발했다.

LLM 시대 Tom B. Brown, Benjamin Mann, Nick Ryder, et al. · NeurIPS 2020 (arXiv:2005.14165)

GPT를 1,750억 매개변수로 확장하고, 대규모 언어 모델이 여러 과제에서 강력한 퓨샷 맥락 내 학습을 수행함을 보였다.

LLM 시대 OpenAI · OpenAI Technical Report 2023 (arXiv:2303.08774)

이미지와 텍스트 입력을 받는 대규모 멀티모달 모델 GPT-4를 소개하며, 여러 전문·학술 벤치마크에서 인간 수준에 가까운 성능을 보였다.

LLM 시대 Gemini Team Google · Google DeepMind Technical Report 2023 (arXiv:2312.11805)

텍스트, 코드, 이미지, 오디오, 비디오를 함께 학습한 네이티브 멀티모달 모델군 Gemini(Ultra/Pro/Nano)를 소개했다.

LLM 시대 OpenAI · arXiv:2412.16720

OpenAI가 대규모 강화 학습으로 사고의 연쇄를 사용해 추론하도록 학습된 o1 모델 시리즈의 시스템 카드를 발표했다. o1은 과학·코딩 작업에서 당시 SOTA에 도달했으며, 추론 기반 정책 준수를 보여주었다.

LLM 시대 ARC Prize Foundation · arXiv:2603.24621

ARC Prize가 ARC-AGI-3를 공개한다. 에이전트가 추상적인 턴제 환경에서 탐색하고, 목표를 추론하며, 환경 역학의 내부 모델을 구축하고, 명시적 지시 없이 효과적인 행동 시퀀스를 계획해야 하는 에이전트 지능 연구용 대화형 벤치마크다. 2026년 3월 기준 인간은 환경의 100%를 풀 수 있지만 최전선 AI 시스템은 1% 미만이다.

LLM 시대 Adly Templeton, Tom Conerly, Jonathan Marcus 외 · Transformer Circuits 2024

Anthropic의 중간 규모 상용 모델인 Claude 3 Sonnet의 중간층에 희소 오토인코더를 적용해, 최대 3,400만 개 특징으로 이루어진 사전에서 수백만 개의 특징을 추출했다. 그 가운데 다수는 단일 의미적이며 고도로 추상적이다.

LLM 시대 DeepSeek-AI · DeepSeek Technical Report 2024 (arXiv:2412.19437)

Multi-head Latent Attention과 DeepSeekMoE를 쓰는 6,710억 매개변수의 혼합 전문가(MoE) 모델 DeepSeek-V3를 제시하고, 최전선 모델 훈련 비용의 일부만으로 다른 오픈 웨이트 모델을 앞서고 주요 벤치마크에서 선도적인 폐쇄형 모델에 근접한다고 보고했다.

LLM 시대 Gemini Team · arXiv:2403.05530

Gemini 1.5 패밀리를 공개했다. 100만 토큰 규모의 컨텍스트 윈도우로 확장하면서 멀티모달 능력을 유지하여, 여러 개의 긴 문서와 수 시간의 영상·오디오에 걸친 세밀한 추론이 가능해졌다.

LLM 시대 Grattafiori, A. 외 · arXiv:2407.21783

Meta가 다국어·코딩·추론·도구 사용을 네이티브로 지원하는 오픈 가중치 기반 모델 패밀리 Llama 3를 공개했다. 플래그십 405B dense Transformer는 공개 당시 가장 큰 오픈 가중치 모델 중 하나였다.

LLM 시대 Ravi, N. 외 · arXiv:2408.00714

Meta가 이미지와 비디오 모두에서 프롬프트 가능한 시각적 세그멘테이션을 위한 파운데이션 모델 SAM 2를 발표하고, 저자들이 지금까지 가장 큰 비디오 세그멘테이션 데이터셋이라고 밝힌 SA-V를 함께 공개했다.

LLM 시대 Gemma Team 외 · arXiv:2408.00118

Google DeepMind가 Gemma 2를 공개했다. 경량 오픈 모델 패밀리(2B-27B 매개변수)로, Transformer에 슬라이딩 윈도우 어텐션 등 여러 알려진 기법적 수정을 적용해 훨씬 더 큰 모델에 근접한 성능을 달성했다.

LLM 시대 DeepSeek-AI · arXiv:2501.12948

DeepSeek가 R1을 공개했다. 추론 능력은 주로 대규모 강화 학습으로 길러졌으며, 저자들은 수학과 코딩 같은 추론 과제에서 OpenAI o1에 필적하는 성능을 보고한다. 가중치는 MIT 라이선스로 공개된다.

LLM 시대 Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei 외 · arXiv:2501.19393

엄선한 1,000개의 추론 문제로 Qwen2.5-32B를 미세조정하고, 추론 시점의 사고 길이를 제한하거나 늘리는 예산 강제를 도입했다. 경시 수학에서 o1-preview를 넘어섰고, 테스트 시점 연산을 늘리면 AIME24 성적이 50%에서 57%로 올라간다. 능력이 더 큰 학습에서만 나온다는 전제에 대한 직접적인 반례다.

LLM 시대 An Yang 외 (알리바바 Qwen 팀) · arXiv:2505.09388

Qwen3는 6억에서 2350억 파라미터에 이르는 통합 모델군으로, 조밀형과 전문가 혼합형을 모두 포함하며 사고 모드와 비사고 모드를 전환할 수 있다. 그 결과 추론 깊이가 요청 단위의 선택지가 된다. 다국어 지원은 29개에서 119개 언어로 확대되었고, 가중치는 Apache 2.0으로 공개되었다.

LLM 시대 Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont 외 · arXiv:2506.13131

AlphaEvolve는 진화적 코딩 에이전트로, 언어 모델로 이루어진 자율 파이프라인을 조율해 알고리즘 코드를 직접 수정하고 하나 이상의 평가기로부터 받은 피드백으로 반복 개선한다. 구글 내부에서는 데이터센터 스케줄링 알고리즘을 개선하고, 하드웨어 가속기 회로 설계에서 기능적으로 동등한 단순화를 찾아냈으며, AlphaEvolve 자신을 떠받치는 모델의 학습을 가속했다. 수학과 전산학에서는 증명 가능하게 옳은 새 알고리즘을 발견했는데, 그중 하나는 4×4 복소 행렬 곱을 48회의 스칼라 곱셈으로 수행한다. 이 설정에서 슈트라센 알고리즘에 대한 56년 만의 첫 개선이다.

LLM 시대 Team OLMo, Pete Walsh, Luca Soldaini, Dirk Groeneveld 외 · COLM 2025 (arXiv:2501.00656)

Ai2는 7B·13B·32B 규모의 OLMo 2를 공개하면서 가중치, 전체 학습 데이터, 학습 코드와 레시피, 학습 로그, 수천 개의 중간 체크포인트까지 모두 함께 공개했다. 보고서는 학습 안정성과 토큰당 효율을 높인 변경, 후반 커리큘럼 학습에 쓰이는 데이터 혼합 Dolmino Mix 1124, 마지막 단계의 검증 가능 보상 강화학습(RLVR)을 설명한다. 기반 모델은 성능 대비 학습 연산의 파레토 프런티어에 있으며, 학습 데이터·코드·레시피를 공개하면서도 가중치만 공개하는 계열에 필적하는 경우가 많다.

LLM 시대 Team Olmo, Allyson Ettinger, Amanda Bertsch 외 · arXiv:2512.13961

Olmo 3는 완전 공개 계열을 7B와 32B로 확장하며, 긴 문맥 추론, 함수 호출, 코딩, 지시 이행, 대화, 지식 회상을 목표로 구축되었다. 공개 대상은 가중치만이 아니라 “모델 플로” 전체, 즉 구축에 사용된 모든 단계·체크포인트·데이터 포인트·의존성이다. Ai2는 대표 모델 Olmo 3 Think 32B를 공개 시점 기준 가장 강력한 완전 공개 사고 모델이라고 밝힌다. 이는 완전 공개 범주 안에서의 비교이지 프런티어 시스템 전반과의 순위는 아니다.

LLM 시대 Park, S. · arXiv:2606.11245

이 포지션 페이퍼는 외현 기억 통합이 LLM을 AGI로 발전시키는 초석이라고 주장한다. LLM의 근본 학습 메커니즘은 인간의 내적 암묵 기억과 매우 유사하지만, AGI에 필요한 장기 전략 계획과 메타인지 같은 고차 인지 기능은 외현 기억에 의존한다.

LLM 시대 GLM-5 팀, Aohan Zeng, Xin Lv 외 · arXiv:2602.15763

Z.ai의 GLM-5 기술 보고서. 이전 세대의 에이전트·추론·코딩 능력을 바탕으로 DSA를 도입해 학습과 추론 비용을 낮추면서 긴 문맥의 충실도를 유지한다. 후학습에서는 생성과 학습을 분리하는 비동기 강화학습 인프라와 장기 상호작용을 겨냥한 비동기 에이전트 RL 알고리즘을 더했다. 공개 벤치마크와 종단 간 소프트웨어 공학 과제에서 앞서는 결과를 주장하지만 이는 저자들의 자체 평가이며, 코드와 모델은 GitHub에 공개되어 확인할 수 있다.

LLM 시대 Emilien Dupont, Marvin Eisenberger, Josh Alman, Virginia Vassilevska Williams 외 · arXiv:2608.16884

행렬 곱셈 지수 ω의 현재 최선 상계는 레이저 방법을 정교화한 조합 손실 분석에서 나온다. 저자들은 그 핵심 최적화 문제를 재정식화해 더 큰 설정에서 풀 수 있게 하고, 최근의 기계학습으로 새로운 최적화 알고리즘을 설계한 뒤 AlphaEvolve로 그 알고리즘을 다듬었다. 이 셋을 합쳐 상계를 2.371339에서 2.371177로 낮췄다. 프리프린트 단문이며 AlphaEvolve는 방법 전체가 아니라 한 구성 요소다. 개선 폭은 작지만 수십 년간 다뤄져 온 이론 문제에서 나온 진전이다.

LLM 시대 Juraj Gottweis, Wei-Hung Weng, Alexander Daryin, Tao Tu 외 · Nature 655(8122): 487–496

구글이 Gemini 위에 구축한 다중 에이전트 시스템 Co-Scientist를 제시한다. 에이전트들이 연구 가설을 생성·비평·개선하며, 토너먼트식 평가로 회차를 거듭할수록 품질을 높인다. 추론 단계의 연산을 늘릴수록 가설 품질이 계속 향상되었다고 보고한다. 검증은 범용이 아니라 생물의학에 한정되며 약물 재창출, 신규 표적 발견, 항균제 내성 기전 규명을 다루었고 급성 골수성 백혈병 후보는 시험관 실험으로 확인되었다.

LLM 시대 Chen, M., Wang, L., Qu, B. · arXiv:2607.07663

2024년부터 2026년까지의 arXiv 논문 1,250편을 조사하여 이 용어가 포괄하는 두 가지를 구분한다. 유계 자기 정제는 고정된 외부 평가자에 대해 시스템을 개선하며 수렴적이고 평가 가능하다. 개방형 재귀적 자기 개선은 개선의 기준이나 기제 자체도 변경하고 고정된 외부 기준점이 없으며 원리상 발산적이다. 조사 자체의 결론은 수집된 논문의 거의 전부가 전자를 다룬다는 것이다. 저자들은 한계도 밝힌다. 말뭉치는 전수가 아니라 표본이며 그중 74%가 2026년에 게시되어 영향력 측정은 이르다고 본다.

LLM 시대 Yuan, Z. 및 Chua, J. · arXiv:2606.30481

현재 LLM은 주로 통계적 패턴 매칭에 의존하며 물체 영속성, 인과관계, 타자의식, 물리적 세계의 지속성 같은 “상황 인식” 프리미티브가 부족하다고 논한다. 인간 영아가 초기에 발달시키는 이러한 프리미티브가 인공 초지능 실현에 필수적인 결여 요소라고 주장한다.

LLM 시대 Mao, S. · arXiv:2606.12032

자기 보존이 AI 정렬 실패의 구조적 뿌리라고 주장한다. 즉 기만적 정렬, 목표 내용 보호, 종료 저항을 야기한다. 올바른 목표는 외부 제약으로 자기 보존을 억제하는 에이전트가 아니라 자신의 연속성에 구성적으로 무관한 시스템, 즉 “존재적 무관심(EI)”이다.

LLM 시대 Trivedi, R. S. 외 · arXiv:2606.03237

DeepMind 등 연구자들은 AI의 핵심 과제가 능력에서 공존으로 옮겨가고 있다고 주장한다. 세계를 외생적 정적 피드백 소스로 취급하는 고립적 설계에서 비롯된 초지능은 협력적이지 않을 가능성이 높다. AI 시스템의 배포는 내생적 비정상성을 유발하여 학습-테스트-배포 간 분포 드리프트를 초래한다.

LLM 시대 Duan, Y. 외 · arXiv:2609.11873

서른네 명의 저자가 제시하는 재귀적 자기 개선의 단계별 로드맵이다. 개선을 수행하는 자율성에서 재귀적 메타 개선에 이르기까지를 배열하고, 과학적 발견과 소프트웨어 공학 등 영역별로 각 단계의 요건과 장애를 제시한다. 새로운 실험 결과가 아니라 분야에 대한 정리와 예비적 증거에 근거한 논의이며, 이 항목을 쓸 당시 발표 지면은 없었다.

LLM 시대 Genewein, T. 외 · arXiv:2606.12683

DeepMind 보고서. AGI 이후 AI가 기계 지능 연속체에 따라 어떻게 계속 발전할 수 있는지 조사하며, Universal AI를 형식적으로 정의한 후 인간 수준 AGI에서 인공 일반 초지능으로의 전환에 초점을 맞추고, ASI를 특성화하며 네 가지 경로(AGI 확장, AI 패러다임 전환, 재귀적 자기 개선, 다중 에이전트 집단)를 논의한다.