계산 가능한 수에 관하여, 그리고 Entscheidungsproblem에의 응용
범용 튜링기를 제시하고 Entscheidungsproblem이 결정 불가능함을 증명함으로써, 컴퓨터 과학의 이론적 토대를 세웠다.
AI 역사와 발전의 주요 논문 선집
1936년부터 현재까지의 대표적 연구 73편을 편집 역할과 출판 상태별로 구성
논문은 AI 역사의 가장 단단한 뼈대입니다. AI 분야를 형성한 73편의 기초 논문을 모아 각각 원문 링크를 제공합니다.
역사적 대표성, 기술적 영향, 편집 판단을 기준으로 선정했습니다. 동료 심사 논문, 기술 보고서, 프리프린트, 입장 논문, 시스템 카드를 포함하며 출판 유형을 명확히 표시합니다. 정정이나 추가 제안은 “편집 정책 및 정정” 페이지의 공개 창구로 보내 주세요.
시대:
년대:
주제:
표시 중 73 / 총 73 편의 논문
기초 논문
신경계 활동에 내재한 사유의 논리적 계산
신경 활동을 명제 논리로 모형화하여, 인공 신경망에 관한 최초의 수학적 이론을 제시했다.
통신의 수학적 이론
정보 엔트로피와 채널 용량을 정의하여 정보 이론을 창시하고, 이후 AI 전반에 활용될 확률적 토대를 마련했다.
계산 기계와 지능
기계 지능의 조작적 정의로서 모방 게임(튜링 테스트)을 제안함으로써, 향후 70년간의 AI 논의를 규정짓는 틀을 마련했다.
인공지능에 관한 다트머스 여름 연구 프로젝트 제안
'인공지능(artificial intelligence)'이라는 용어를 만들고, AI를 학문적 분야로 정립한 연구 의제를 제안했다.
논리 이론 기계: 복잡한 정보 처리 시스템
최초의 휴리스틱 추론 프로그램을 구현하여 기계가 인간의 문제 해결 전략을 모방할 수 있음을 보여주고, '복잡한 정보 처리 시스템'이라는 개념을 도입했다.
퍼셉트론: 뇌의 정보 저장과 조직에 관한 확률적 모델
학습 가능한 최초의 선형 임계 뉴런을 제시하여, 현대 딥러닝으로 이어지는 연결주의적 계보의 토대를 놓았다.
상식을 갖춘 프로그램
형식화된 상식 지식 저장소로부터 결론을 도출할 수 있는 프로그램인 'advice taker'를 제안하여, 지식 표현과 추론의 개념적 토대를 마련했다.
체커 게임을 이용한 기계 학습에 관한 몇 가지 연구
자기 대국을 통해 성능이 향상되는 체커 프로그램을 시연함으로써, 기계 학습과 알파-베타 자기 개선 연구의 선구적 사례를 제시했다.
구문 대칭성과 기계에 의한 형식 체계 조작에 관한 소고
술어가 높은 대칭성을 지닌 형식 체계를 기계가 효율적으로 다루는 방법을 다루며, 구문 대칭성 정리와 규칙을 해법으로 제시한다. 같은 시기 IBM에서 만들던 기하 정리 기계와 나란한 작업으로, 그 기계는 1959년 이른 봄 유클리드 평면기하의 첫 정리를 증명했다.
적응적 스위칭 회로
적응적 선형 네트워크를 위한 최초의 보편적으로 사용된 경사 하강 학습 규칙인 LMS 규칙(Adaline)을 제시했다.
창발적 집합 계산 능력을 지닌 신경망과 물리적 시스템
연상 기억 네트워크인 Hopfield 네트워크를 제시하여 신경 계산과 통계 물리학의 에너지 지형(Landscape)을 연결하고, 초기 AI 겨울기 동안 신경망에 대한 관심을 되살렸다.
신뢰 네트워크에서의 융합, 전파 및 구조화
신뢰 네트워크에 대한 융합, 전파 및 구조화 연산을 체계화하여, 베이지안 네트워크 추론의 알고리즘적 토대를 마련했다.
오류의 역전파에 의한 표현 학습
다층 신경망을 훈련시키기 위한 역전파 알고리즘을 보편화하여, 실용적인 딥러닝을 가능하게 만들었다.
시차 방법에 의한 예측 학습
시차 학습(Temporal-Difference, TD)을 체계화하여, 현대 강화학습의 핵심 알고리즘 중 하나가 되었다.
시간 속의 구조 발견
Elman의 단순 순환 네트워크를 제시하여 신경망이 시간적 구조를 학습할 수 있음을 보여주고, 후속 시퀀스 모델의 길을 열었다.
서포트 벡터 네트워크
1990년대 기계 학습의 상당 부분을 정의한 정통적 최대 마진 분류기인 소프트 마진 서포트 벡터 머신(SVM)을 소개했다.
장단기 기억
기억 셀과 입력·출력 게이트를 사용하는 초기 LSTM 구조를 제안했다. 오늘날 표준인 망각 게이트는 Gers、Schmidhuber、Cummins의 후속 연구에서 도입되었다.
문서 인식에 응용된 경사 기반 학습 (LeNet)
CNN의 표준 양식을 확립한 LeNet-5를 제시하여, 제품 수준의 손글씨 숫자 인식에 도달하고 CNN의 표준 틀을 세웠다.
신경망을 이용한 데이터 차원 축소
PCA보다 훨씬 충실하게 고차원 데이터를 재구성하는 심층 오토인코더를 도입하여, 딥러닝 부활의 첫 불꽃을 점화했다.
심층 신념 네트워크를 위한 빠른 학습 알고리즘
탐욕적 층별 알고리즘으로 훈련되는 심층 신념 네트워크(DBN)를 도입하여, 심층 모델이 효과적으로 훈련될 수 있음을 처음 실증했다.
심층 강화학습으로 Atari 게임을 플레이하다
Q-러닝과 합성곱 네트워크를 결합하여 원시 픽셀만으로 인간 수준의 성능으로 Atari 게임을 플레이하게 함으로써, 심층 강화학습의 기반을 놓았다.
벡터 공간에서의 단어 표현의 효율적 추정
밀집 단어 임베딩을 생성하는 skip-gram과 CBOW 구조를 도입하여, 사전훈련된 단어 벡터 시대를 개막했다.
오토인코딩 변분 베이즈
변분 추론과 심층 생성 모델링을 결합한 변분 오토인코더(VAE)를 도입하여, 최초로 보편적으로 채택된 심층 잠재 변수 모델을 제시했다.
정렬과 번역을 jointly 학습하는 신경망 기계 번역
신경망 기계 번역을 위한 가산형(Bahdanau) 어텐션을 도입하여, 소프트 정렬을 통해 디코더가 관련 소스 토큰에 집중할 수 있음을 보이고 Transformer에 직접적인 영감을 주었다.
생성 적대 신경망
생성 모델링을 생성기와 판별기 사이의 두 플레이어 극대극소 게임으로 구성하여, 새로운 암묵적 생성 모델 계열을 개척했다.
Dropout: 신경망 과적합을 방지하는 간단한 방법
딥러닝 훈련 파이프라인에서 기본값이 되는 간단한 확률적 정규화 기법인 Dropout을 도입했다.
배치 정규화: 내부 공변량 변화를 줄여 심층 네트워크 훈련을 가속화하다
미니 배치에 걸쳐 층 입력을 정규화하여 심층 네트워크 훈련을 안정화하고 비약적으로 가속화하는 배치 정규화(Batch Normalization)를 도입했다.
이미지 인식을 위한 심층 잔차 학습
수백 층에 달하는 네트워크의 효과적인 훈련을 가능케 하는 잔차 연결(Residual Connection)을 도입하여, 2015년 ImageNet을 큰 차이로 우승했다.
WaveNet: 원시 오디오를 위한 생성 모델
원시 오디오 파형을 생성하는 확장 인과 합성곱 자기회귀 모델을 도입하여, 텍스트 음성 변환의 자연스러움을 비약적으로 향상시켰다.
근접 정책 최적화 알고리즘
현대 강화학습에서 기본 정책 최적화 알고리즘이 된, 단순하고 안정적인 일차 정책 경사법인 PPO를 도입했다.
Attention Is All You Need
순환과 합성곱을 배제하고 어텐션만으로 구성된 구조인 Transformer를 도입하여, 학습 시간을 대폭 단축하면서 이전 시퀀스 변환 모델의 품질을 능가했다.
BERT: 언어 이해를 위한 심층 양방향 Transformer의 사전훈련
마스크 언어 모델링과 다음 문장 예측으로 사전훈련된 양방향 Transformer를 도입하여, 다양한 NLP 벤치마크에서 새로운 최첨단 성능을 수립했다.
통일된 텍스트-투-텍스트 Transformer로 전이학습의 한계를 탐구하다
모든 NLP 과제를 텍스트-투-텍스트로 형식화하고 전이학습 선택지를 체계적으로 분석하여, 대규모 사전훈련 모델의 기준 레시피를 정립했다.
디노이징 확산 확률 모델
확산을 디노이징 변분 학습 목표로 재구성하여 이미지 생성 품질을 다시 최첨단 수준으로 회복시키고, 확산 모델 시대를 개막시켰다.
제로샷 텍스트-이미지 생성
120억 매개변수의 자기회귀 Transformer가 텍스트 캡션으로부터 직접 다양하고 고충실도의 이미지를 생성할 수 있음을 보여, 텍스트-이미지 연구에 불을 붙였다.
자연어 감독으로부터 전이 가능한 시각 모델 학습
웹 규모의 이미지-텍스트 쌍으로 이미지 인코더를 훈련하여 강력한 제로샷 이미지 분류 성능을 달성하였으며, 이후 다수의 다중모달 시스템에 시각 모듈을 제공했다.
잠재 확산 모델을 이용한 고해상도 이미지 합성
확산을 지각 잠재 공간으로 옮겨, 소비자용 GPU에서도 고해상도의 텍스트-이미지 생성을 가능케 하여 이미지 합성을 대중화시켰다.
사고의 사슬 프롬프팅은 대규모 언어 모델에서 추론을 이끌어낸다
언어 모델로 하여금 중간 추론 단계를 생성하도록 프롬프팅하면 산수, 상식, 기호 추론 벤치마크의 성능이 극적으로 향상됨을 보였다.
인간 피드백을 통한 지시 수행형 언어 모델 훈련
인간의 의도에 부합하도록 GPT-3 출력을 정렬하기 위해 인간 피드백으로부터의 강화학습(RLHF)을 대규모로 적용하여, RLHF를 표준 정렬 레시피로 자리잡게 했다.
헌정 AI: AI 피드백으로부터의 무해성
모델이 명문화된 헌장에 따라 자신의 출력을 스스로 비판하고 수정하게 하는 RLAIF를 도입하여, 정렬을 위한 인간 유해성 라벨 의존도를 줄였다.
LLaMA: 개방적이고 효율적인 기반 언어 모델
상대적으로 작지만 잘 훈련된 모델이 훨씬 큰 폐쇄형 모델에 필적할 수 있음을 보여준 개방형 기반 모델 패밀리 LLaMA를 공개하여, 개방형 가중치 운동을 가속화시켰다.
Mamba: 선택적 상태 공간을 통한 선형 시계열 모델링
선택적 상태 공간 모델인 Mamba를 제안하여 언어 등 모달리티에서 Transformer 어텐션을 선형 시간 복잡도로 일치하거나 능가하도록 했으며, 2023년 가장 영향력 있는 Transformer 이후의 아키텍처 중 하나가 되었다.
주요 시스템과 성과
심층 합성곱 신경망을 이용한 ImageNet 분류
GPU로 훈련된 CNN을 통해 2012년 ImageNet을 큰 차이로 우승하며, 딥러닝이 고전 컴퓨터 비전을 추월하는 전환점이 되었다.
심층 강화학습을 통한 인간 수준의 제어
광범위한 Atari 게임 집합에서 인간 수준의 성능을 입증한 DQN의 Nature 판을 발표하여, 심층 강화학습을 주류의 관심사로 끌어올렸다.
심층 신경망과 트리 탐색을 이용한 바둑 정복
심층 정책/가치 네트워크와 몬테카를로 트리 탐색(MCTS)을 결합하여 최정상 인간 바둑 챔피언을 격파하였으며, 강화학습의 분수령이 되는 순간을 열었다.
생성적 사전훈련을 통한 언어 이해의 개선
레이블이 없는 텍스트로 사전훈련된 생성적 Transformer가 다양한 NLP 작업에서 강력한 성능으로 미세조정될 수 있음을 입증하여, GPT 계보의 기반을 놓았다.
언어 모델은 비지도 다중 작업 학습자이다
15억 매개변수의 Transformer 언어 모델이 제로샷 다중 작업 능력을 수행함을 보여, '언어 모델은 다중 작업 학습자'라는 논의를 촉발했다.
언어 모델은 소수의 예제로 학습하는 학습자이다
1,750억 매개변수의 Transformer가 맥락 내 학습만으로 강력한 소수 예제(퓨샷) 성능을 달성함을 보여, 프롬프트 엔지니어링을 하나의 패러다임으로 대중화시켰다.
GPT-4 기술 보고서
광범위한 전문 및 학술 벤치마크에서 인간 수준에 필적하거나 이를 능가하는 대규모 다중모달 모델인 GPT-4를 문서화했다.
Gemini: 고도로 유능한 다중모달 모델 패밀리
추론, 코딩, 다중모달 벤치마크 전반에서 새로운 최첨단 성능을 수립한, 본래부터 다중모달인 Gemini 모델 패밀리를 소개했다.
OpenAI o1 시스템 카드
OpenAI가 대규모 강화 학습으로 사고의 연쇄를 사용해 추론하도록 학습된 o1 모델 시리즈의 시스템 카드를 발표했다. o1은 과학·코딩 작업에서 당시 SOTA에 도달했으며, 추론 기반 정책 준수를 보여주었다.
ARC-AGI-3: 최전선 에이전트 지능을 위한 새로운 도전
ARC Prize가 ARC-AGI-3를 공개한다. 에이전트가 추상적인 턴제 환경에서 탐색하고, 목표를 추론하며, 환경 역학의 내부 모델을 구축하고, 명시적 지시 없이 효과적인 행동 시퀀스를 계획해야 하는 에이전트 지능 연구용 대화형 벤치마크다. 2026년 3월 기준 인간은 환경의 100%를 풀 수 있지만 최전선 AI 시스템은 1% 미만이다.
최근 연구
단일의미성 확장으로 Claude 3 Sonnet에서 해석 가능한 특징을 추출하다
최첨단 대규모 언어 모델에 희소 오토인코더를 적용하여 수백만 개의 단일의미(monosemantic) 특징을 추출하고, 기계적 해석 가능성이 제품급 모델 규모로 확장될 수 있음을 입증했다.
DeepSeek-V3 기술 보고서
주요 벤치마크에서 최전선 폐쇄형 모델에 근접하는 성능을 훨씬 적은 훈련 비용으로 달성하는, 6,710억 매개변수의 공개 혼합 전문가(MoE) 모델인 DeepSeek-V3를 공개했다.
Gemini 1.5: 수백만 토큰 컨텍스트에 걸친 멀티모달 이해
Gemini 1.5 패밀리를 공개했다. 100만 토큰 규모의 컨텍스트 윈도우로 확장하면서 멀티모달 능력을 유지하여, 여러 개의 긴 문서와 수 시간의 영상·오디오에 걸친 세밀한 추론이 가능해졌다.
Llama 3 모델 무리
Meta가 다국어·코딩·추론·도구 사용을 네이티브로 지원하는 오픈 가중치 기반 모델 패밀리 Llama 3를 공개했다. 플래그십 405B dense Transformer는 공개 당시 가장 큰 오픈 가중치 모델 중 하나였다.
SAM 2: 이미지와 비디오의 프롬프트 가능 세그멘테이션
Meta가 이미지와 비디오 모두에서 프롬프트 가능한 시각적 세그멘테이션을 위한 파운데이션 모델 SAM 2를 발표하고, 지금까지 가장 큰 비디오 세그멘테이션 데이터셋을 구축했다.
Gemma 2: 실용적 크기의 오픈 언어 모델 개선
Google DeepMind가 Gemma 2를 공개했다. 경량 오픈 모델 패밀리(2B-27B 매개변수)로, Transformer에 슬라이딩 윈도우 어텐션 등 여러 알려진 기법적 수정을 적용해 훨씬 더 큰 모델에 근접한 성능을 달성했다.
DeepSeek-R1: 강화 학습을 통한 LLM 추론 능력 유도
DeepSeek가 R1을 공개했다. 주로 대규모 강화 학습으로 최전선급 추론 능력을 이끌어낸 최초의 오픈 가중치 모델이다. 수학·코딩 벤치마크에서 OpenAI o1급 폐쇄형 모델에 필적하며, 모든 가중치를 MIT 라이선스로 공개한다.
s1: 단순한 테스트 시점 스케일링
엄선한 1,000개의 추론 문제로 Qwen2.5-32B를 미세조정하고, 추론 시점의 사고 길이를 제한하거나 늘리는 예산 강제를 도입했다. 경시 수학에서 o1-preview를 넘어섰고, 테스트 시점 연산을 늘리면 AIME24 성적이 50%에서 57%로 올라간다. 능력이 더 큰 학습에서만 나온다는 전제에 대한 직접적인 반례다.
Qwen3 기술 보고서
Qwen3는 6억에서 2350억 파라미터에 이르는 통합 모델군으로, 조밀형과 전문가 혼합형을 모두 포함하며 사고 모드와 비사고 모드를 전환할 수 있다. 그 결과 추론 깊이가 요청 단위의 선택지가 된다. 다국어 지원은 29개에서 119개 언어로 확대되었고, 가중치는 Apache 2.0으로 공개되었다.
AlphaEvolve: 과학과 알고리즘 발견을 위한 코딩 에이전트
AlphaEvolve는 진화적 코딩 에이전트로, 언어 모델로 이루어진 자율 파이프라인을 조율해 알고리즘 코드를 직접 수정하고 하나 이상의 평가기로부터 받은 피드백으로 반복 개선한다. 구글 내부에서는 데이터센터 스케줄링 알고리즘을 개선하고, 하드웨어 가속기 회로 설계에서 기능적으로 동등한 단순화를 찾아냈으며, AlphaEvolve 자신을 떠받치는 모델의 학습을 가속했다. 수학과 전산학에서는 증명 가능하게 옳은 새 알고리즘을 발견했는데, 그중 하나는 4×4 복소 행렬 곱을 48회의 스칼라 곱셈으로 수행한다. 이 설정에서 슈트라센 알고리즘에 대한 56년 만의 첫 개선이다.
2 OLMo 2 Furious
Ai2는 7B·13B·32B 규모의 OLMo 2를 공개하면서 가중치, 전체 학습 데이터, 학습 코드와 레시피, 학습 로그, 수천 개의 중간 체크포인트까지 모두 함께 공개했다. 보고서는 학습 안정성과 토큰당 효율을 높인 변경, 후반 커리큘럼 학습에 쓰이는 데이터 혼합 Dolmino Mix 1124, 마지막 단계의 검증 가능 보상 강화학습(RLVR)을 설명한다. 기반 모델은 성능 대비 학습 연산의 파레토 프런티어에 있으며, 학습 데이터·코드·레시피를 공개하면서도 가중치만 공개하는 계열에 필적하는 경우가 많다.
Olmo 3
Olmo 3는 완전 공개 계열을 7B와 32B로 확장하며, 긴 문맥 추론, 함수 호출, 코딩, 지시 이행, 대화, 지식 회상을 목표로 구축되었다. 공개 대상은 가중치만이 아니라 “모델 플로” 전체, 즉 구축에 사용된 모든 단계·체크포인트·데이터 포인트·의존성이다. Ai2는 대표 모델 Olmo 3 Think 32B를 공개 시점 기준 가장 강력한 완전 공개 사고 모델이라고 밝힌다. 이는 완전 공개 범주 안에서의 비교이지 프런티어 시스템 전반과의 순위는 아니다.
포지션: 해마 외현 기억은 AGI의 초석이다
이 포지션 페이퍼는 외현 기억 통합이 LLM을 AGI로 발전시키는 초석이라고 주장한다. LLM의 근본 학습 메커니즘은 인간의 내적 암묵 기억과 매우 유사하지만, AGI에 필요한 장기 전략 계획과 메타인지 같은 고차 인지 기능은 외현 기억에 의존한다.
GLM-5: 바이브 코딩에서 에이전트 엔지니어링으로
Z.ai의 GLM-5 기술 보고서. 이전 세대의 에이전트·추론·코딩 능력을 바탕으로 DSA를 도입해 학습과 추론 비용을 낮추면서 긴 문맥의 충실도를 유지한다. 후학습에서는 생성과 학습을 분리하는 비동기 강화학습 인프라와 장기 상호작용을 겨냥한 비동기 에이전트 RL 알고리즘을 더했다. 공개 벤치마크와 종단 간 소프트웨어 공학 과제에서 앞서는 결과를 주장하지만 이는 저자들의 자체 평가이며, 코드와 모델은 GitHub에 공개되어 확인할 수 있다.
현대적 최적화와 AlphaEvolve로 행렬 곱셈 지수 개선하기
행렬 곱셈 지수 ω의 현재 최선 상계는 레이저 방법을 정교화한 조합 손실 분석에서 나온다. 저자들은 그 핵심 최적화 문제를 재정식화해 더 큰 설정에서 풀 수 있게 하고, 최근의 기계학습으로 새로운 최적화 알고리즘을 설계한 뒤 AlphaEvolve로 그 알고리즘을 다듬었다. 이 셋을 합쳐 상계를 2.371339에서 2.371177로 낮췄다. 프리프린트 단문이며 AlphaEvolve는 방법 전체가 아니라 한 구성 요소다. 개선 폭은 작지만 수십 년간 다뤄져 온 이론 문제에서 나온 진전이다.
Co-Scientist로 과학적 발견 가속하기
구글이 Gemini 위에 구축한 다중 에이전트 시스템 Co-Scientist를 제시한다. 에이전트들이 연구 가설을 생성·비평·개선하며, 토너먼트식 평가로 회차를 거듭할수록 품질을 높인다. 추론 단계의 연산을 늘릴수록 가설 품질이 계속 향상되었다고 보고한다. 검증은 범용이 아니라 생물의학에 한정되며 약물 재창출, 신규 표적 발견, 항균제 내성 기전 규명을 다루었고 급성 골수성 백혈병 후보는 시험관 실험으로 확인되었다.
입장 및 관점 논문
상황 인식: 인공 초지능을 위한 필수 프리미티브
현재 LLM은 주로 통계적 패턴 매칭에 의존하며 물체 영속성, 인과관계, 타자의식, 물리적 세계의 지속성 같은 “상황 인식” 프리미티브가 부족하다고 논한다. 인간 영아가 초기에 발달시키는 이러한 프리미티브가 인공 초지능 실현에 필수적인 결여 요소라고 주장한다.
존재적 무관심: 정렬된 초지능을 위한 자기-비보존 아키텍처 조건
자기 보존이 AI 정렬 실패의 구조적 뿌리라고 주장한다. 즉 기만적 정렬, 목표 내용 보호, 종료 저항을 야기한다. 올바른 목표는 외부 제약으로 자기 보존을 억제하는 에이전트가 아니라 자신의 연속성에 구성적으로 무관한 시스템, 즉 '존재적 무관심(EI)'이다.
고립적 초지능은 협조적일 가능성이 낮다
DeepMind 등 연구자들은 AI의 핵심 과제가 능력에서 공존으로 옮겨가고 있다고 주장한다. 세계를 외생적 정적 피드백 소스로 취급하는 고립적 설계에서 비롯된 초지능은 협력적이지 않을 가능성이 높다. AI 시스템의 배포는 내생적 비정상성을 유발하여 학습-테스트-배포 간 분포 드리프트를 초래한다.
AGI에서 ASI로
DeepMind 보고서. AGI 이후 AI가 기계 지능 연속체에 따라 어떻게 계속 발전할 수 있는지 조사하며, Universal AI를 형식적으로 정의한 후 인간 수준 AGI에서 인공 일반 초지능으로의 전환에 초점을 맞추고, ASI를 특성화하며 네 가지 경로(AGI 확장, AI 패러다임 전환, 재귀적 자기 개선, 다중 에이전트 집단)를 논의한다.