추론과 배포
Speculative Decoding
더 빠른 초안 모델이 여러 토큰을 제안하고 대상 모델이 병렬로 검증하는 추론 기법이다. 대상 분포를 바꾸지 않고 생성 지연을 줄일 수 있다.
핵심 용어
- draft model
- verification
- latency
- exact sampling
프로젝트 내 연결
기반 기술
이를 쓰는 기술
관련 논문
역사적 맥락
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.
추론과 배포
더 빠른 초안 모델이 여러 토큰을 제안하고 대상 모델이 병렬로 검증하는 추론 기법이다. 대상 분포를 바꾸지 않고 생성 지연을 줄일 수 있다.
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.