推論と配備
連続バッチ処理 / PagedAttention
リクエストを連続的に追加・完了させながら、KVキャッシュをページ単位で管理するサービング技術です。可変長負荷での利用率とスループットを高めます。
主要用語
- リクエストのスケジューリング（request scheduling）
- メモリのページング（memory paging）
- スループット（throughput）
- サービング（serving）
プロジェクト内のつながり
基盤とする技術
利用する技術
歴史的背景
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。