한국어
AI 기술 체계로 돌아가기

추론과 배포

KV Cache

자기회귀 생성 중 이전 토큰의 어텐션 키와 값을 저장하는 캐시다. 전체 접두부 재계산을 피하지만 주요 메모리 소비원이 되기 쉽다.

기준 시기
2017–present
최근 검토

핵심 용어

  • 키 (keys)
  • 값 (values)
  • 프리필 (prefill)
  • 디코드 (decode)

프로젝트 내 연결

기반 기술

이를 쓰는 기술

관련 기술

역사적 맥락

1차 출처

  1. Transformers cache explanation

선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.