PagedAttention, speculative decoding, MoE, dan Blackwell

Deployment AI modern bergantung pada mesin serving dengan memori tervirtualisasi, perutean pakar yang jarang (sparse), dan presisi sub-byte pada perangkat keras untuk melayani model masif dengan kecepatan tinggi dan biaya rendah. Ketiga teknologi ini merupakan garda depan infrastruktur LLM produksi.

1. Optimasi Serving Inferensi LLM: PagedAttention & Speculative Decoding

Saat menghasilkan teks, LLM menyimpan tensor Key (K) dan Value (V) dari setiap token sebelumnya di VRAM agar tidak perlu menghitung ulang di setiap langkah. Mengelola KV Cache ini dan mengatasi hambatan sekuensial dari pembangkitan token demi token adalah dua tantangan terbesar dalam serving inferensi.

• PagedAttention (vLLM) – Memori Virtual untuk KV Cache.

• Masalah Fragmentasi. Secara historis, mesin inferensi mengalokasikan di muka potongan VRAM yang kontigu untuk setiap permintaan berdasarkan panjang sekuens maksimum yang mungkin dari model (misalnya 32.768 token). Jika pengguna hanya menghasilkan 200 token, lebih dari 99% VRAM yang dicadangkan itu kosong, memboroskan 60% hingga 80% memori GPU melalui fragmentasi internal dan eksternal.
• Paging ala Sistem Operasi. Terinspirasi memori virtual sistem operasi, PagedAttention membagi KV cache setiap sekuens menjadi blok kecil berukuran tetap (misalnya 16 token per blok) yang dapat berada tidak kontigu di mana saja dalam VRAM fisik. Sebuah block table ringan memetakan blok token logis ke alamat memori GPU fisik secara langsung di dalam kernel atensi.
• Berbagi Memori (Copy-on-Write). Karena blok-blok terpisah, beberapa permintaan yang berbagi system prompt yang sama atau menghasilkan completion paralel (seperti beam search) menunjuk ke blok KV fisik yang persis sama di VRAM, sehingga memangkas penggunaan memori dan memungkinkan ukuran batch yang jauh lebih besar.

• Speculative Decoding – Mematahkan Hambatan Sekuensial.

• Mengapa Pembangkitan Autoregresif Lambat. Menghasilkan 100 token membutuhkan 100 forward pass berurutan. Karena setiap pass hanya memproses satu token baru, GPU menghabiskan sebagian besar waktunya membaca bobot model dari VRAM sementara Tensor Core-nya hampir menganggur.
• Pipeline Draft-and-Verify. Speculative decoding memasangkan Target Model yang masif (misalnya 70B parameter) dengan Draft Model yang kecil dan sangat cepat (misalnya 1B–3B parameter, atau prediction head ringan seperti Medusa / EAGLE).
• Verifikasi Paralel. Draft model kecil dengan cepat menebak K token berikutnya (misalnya 5 token) secara berurutan. Target model yang masif kemudian memproses kelima token tebakan itu sekaligus dalam satu forward pass paralel, memeriksa probabilitasnya. Karena memverifikasi 5 token secara paralel memakan waktu hampir persis sama dengan menghasilkan 1 token, sistem menerima semua token yang cocok sekaligus, menghasilkan pembangkitan 2× hingga 3× lebih cepat dengan kualitas keluaran yang identik secara matematis.

2. Mixture-of-Experts (MoE) & Expert Parallelism

Model dense mengaktifkan 100% parameternya untuk setiap token, sehingga model masif menjadi sangat mahal untuk dijalankan. Arsitektur Mixture-of-Experts (MoE) memisahkan total pengetahuan model dari biaya komputasi per token.

• Cara Kerja Layer MoE (Mixtral & DeepSeek).

• Dalam blok Transformer MoE, satu Feed-Forward Network (FFN) dense digantikan oleh kumpulan FFN independen yang lebih kecil bernama Expert (misalnya 8 expert pada Mixtral 8x7B, atau 256 expert berbutir halus pada DeepSeek-V3).
• Sebuah Router (Gating Network) ringan yang dipelajari memeriksa setiap token masuk dan merutekannya hanya ke top-K expert yang paling relevan (biasanya 2 hingga 8 expert). Sebuah model dapat menyimpan 600B+ total parameter di memori, namun hanya mengaktifkan 37B parameter per token, sehingga mencapai kecerdasan model yang besar dengan sebagian kecil biaya komputasi.
• Shared Expert & Penyeimbangan Tanpa Auxiliary-Loss. Desain MoE modern seperti DeepSeek mengalokasikan beberapa Shared Expert yang memproses setiap token untuk menangkap pengetahuan dasar umum, sementara expert yang dirutekan mengkhususkan diri pada domain khusus. Penyesuaian bias dinamis mencegah "routing collapse" (ketika router membebani beberapa expert populer dan mengabaikan sisanya).

• Expert Parallelism (EP) di Seluruh GPU.

• Karena model MoE memiliki ratusan expert, semuanya tidak dapat muat di satu GPU. Expert Parallelism mendistribusikan expert yang berbeda ke GPU yang berbeda (misalnya Expert 1–4 di GPU 0, Expert 5–8 di GPU 1).
• Komunikasi All-to-All. Ketika GPU 0 memproses sebatch token, router-nya dapat menugaskan sebagian token ke Expert yang berada di GPU 3. Karena itu, setiap layer MoE menjalankan dispatch All-to-All, mengirim hidden state token melalui interkoneksi NVLink/InfiniBand berkecepatan tinggi ke GPU mana pun yang menyimpan expert yang ditugaskan, menghitung FFN expert, lalu melakukan langkah combine All-to-All kedua untuk mengembalikan hasilnya.

3. NVIDIA Blackwell (B200) & Transformer Engine Generasi Kedua (FP4)

Diperkenalkan untuk menskalakan model penalaran dan MoE berparameter triliunan, arsitektur NVIDIA Blackwell (B200) mendesain ulang baik pengemasan multi-die maupun presisi numerik sub-byte.

• Arsitektur Terpadu Dual-Die.

• Satu GPU B200 memuat 208 miliar transistor pada dua die berbatas reticle yang disatukan oleh NV-HBI (High-Bandwidth Interface) 10 TB/s. Bagi kernel CUDA dan kerangka kerja perangkat lunak, kedua die beroperasi sebagai satu GPU terpadu tanpa penalti koherensi cache.
• Bandwidth Memori HBM3e. Dilengkapi VRAM HBM3e 192 GB dengan bandwidth memori 8 TB/s (lebih dari dua kali lipat 3,35 TB/s milik H100), Blackwell secara langsung menyasar hambatan bandwidth memori pada KV cache dan pemuatan bobot MoE.

• Transformer Engine Generasi Kedua & NVFP4.

• Sementara Hopper memperkenalkan floating-point 8-bit (FP8), Transformer Engine generasi kedua Blackwell mendorong komputasi Tensor Core hingga floating-point 4-bit (FP4), menggandakan lagi throughput komputasi mentah (hingga 20 petaFLOPS komputasi FP4 dense per GPU) dan memangkas separuh jejak memori dibandingkan FP8.
• Mengatasi Rentang Dinamis FP4 dengan Micro-Tensor Scaling (NVFP4). Bilangan 4-bit standar hanya memiliki 16 nilai yang mungkin, yang biasanya merusak akurasi ketika angka outlier ekstrem muncul pada aktivasi jaringan saraf. Blackwell mengatasinya di perangkat keras dengan micro-scaling dua tingkat: alih-alih menerapkan satu faktor skala pada matriks besar, Blackwell mengelompokkan bobot dan aktivasi ke dalam blok kecil berisi 16 elemen, memberi setiap blok kecil faktor skala FP8 presisi tinggi tersendiri di samping skala tensor FP32 global.
• Kuantisasi Berakselerasi Perangkat Keras. Transformer Engine secara dinamis memeriksa rentang tensor layer demi layer dan mengonversi nilai antara FP16/BF16, FP8, dan NVFP4 langsung di dalam pipeline Tensor Core tanpa round-trip memori tambahan.