프레임워크와 표현
토큰화
원시 텍스트를 모델이 처리하는 이산 단위로 매핑하는 과정이다. 어휘 구성과 분할 방식은 시퀀스 길이, 다국어 범위, 비용, 모델 동작에 영향을 준다.
핵심 용어
- 토큰 (token)
- 어휘 (vocabulary)
- BPE
- SentencePiece
프로젝트 내 연결
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.
프레임워크와 표현
원시 텍스트를 모델이 처리하는 이산 단위로 매핑하는 과정이다. 어휘 구성과 분할 방식은 시퀀스 길이, 다국어 범위, 비용, 모델 동작에 영향을 준다.
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.