PagedAttention, Mixture-of-Experts, NVIDIA Blackwell: Production LLM உள்கட்டமைப்பின் முன்னணி

நவீன AI deployment நினைவக-மெய்நிகராக்கப்பட்ட (memory-virtualized) serving engine-கள், விரித்த (sparse) expert routing, sub-byte hardware துல்லியம் ஆகியவற்றைச் சார்ந்து, பெரிய மாதிரிகளை அதிவேகமாகவும் மலிவாகவும் serve செய்கிறது. இந்த மூன்று தொழில்நுட்பங்கள் production LLM உள்கட்டமைப்பின் முன்னணியைக் குறிக்கின்றன.

1. LLM Inference Serving மேம்படுத்தல்கள்: PagedAttention & Speculative Decoding

உரை உருவாக்கத்தின் போது, ஒரு LLM ஒவ்வொரு படியிலும் மறுகணக்கிடாமல் இருக்க, முந்தைய ஒவ்வொரு token-இன் Key (K) மற்றும் Value (V) tensor-களையும் VRAM-இல் cache செய்கிறது. இந்த KV Cache-ஐ நிர்வகிப்பதும், token-by-token உருவாக்கத்தின் தொடர்ச்சி நெரிசலையும் (sequential bottleneck) வெல்வதும் inference serving-இன் இரு பெரிய சவால்கள்.

• PagedAttention (vLLM) – KV Cache-க்கான Virtual Memory.

• துண்டாக்கப் பிரச்சினை (Fragmentation Problem). வரலாற்றில், inference engine-கள் மாதிரியின் அதிகபட்ச சாத்தியமான தொடர் நீளத்தின் (எ.கா., 32,768 token-கள்) அடிப்படையில் ஒவ்வொரு கோரிக்கைக்கும் தொடர்ச்சியான VRAM துண்டொன்றை முன்கூட்டியே ஒதுக்கின. ஒரு பயனர் 200 token-கள் மட்டுமே உருவாக்கினால், ஒதுக்கப்பட்ட VRAM-இல் 99%-க்கும் மேல் வெற்றே இருந்தது; உள் மற்றும் வெளி fragmentation மூலம் GPU நினைவகத்தில் 60% முதல் 80% வீணாயிற்று.
• OS-பாணி Paging. Operating system virtual memory-இலிருந்து ஈர்க்கப்பட்டு, PagedAttention ஒவ்வொரு தொடரின் KV cache-ஐயும் சிறிய, நிலையான அளவு block-களாக (எ.கா., block ஒன்றுக்கு 16 token-கள்) பிரிக்கிறது; அவை உடல்ரீதியான VRAM-இல் எங்கும் தொடர்ச்சியின்றி இருக்கலாம். ஒரு இலகுரக block table, attention kernel-க்குள் உடனுக்குடன் தருக்க (logical) token block-களை உடல்ரீதியான GPU நினைவக முகவரிகளுடன் பொருத்துகிறது (map).
• நினைவகப் பகிர்வு (Copy-on-Write). Block-கள் பிரிக்கப்பட்டிருப்பதால், ஒரே system prompt-ஐப் பகிரும் பல கோரிக்கைகள் அல்லது இணையான completion-களை உருவாக்குபவை (beam search போன்றவை) VRAM-இல் உள்ள அதே உடல்ரீதியான KV block-களையே சுட்டிக்காட்டுகின்றன; இது நினைவகப் பயன்பாட்டைக் குறைத்து, மிகப் பெரிய batch size-களைச் சாத்தியமாக்குகிறது.

• Speculative Decoding – தொடர்ச்சி நெரிசலை முறித்தல்.

• Autoregressive உருவாக்கம் ஏன் மெதுவாக உள்ளது. 100 token-களை உருவாக்க 100 தொடர்ச்சியான forward pass-கள் தேவை. ஒவ்வொரு pass-ம் ஒரே ஒரு புதிய token-ஐ மட்டுமே செயலாக்குவதால், GPU தனது பெரும்பாலான நேரத்தை VRAM-இலிருந்து மாதிரி weight-களை வாசிப்பதிலேயே செலவிடுகிறது; அதன் Tensor Cores கிட்டத்தட்ட வெற்றே இருக்கின்றன.
• Draft-and-Verify Pipeline. Speculative decoding மாபெரும் Target Model-ஐ (எ.கா., 70B parameter-கள்) ஒரு சிறிய, மிக வேகமான Draft Model-உடன் (எ.கா., 1B–3B parameter-கள், அல்லது Medusa / EAGLE போன்ற இலகுரக prediction head-கள்) இணைக்கிறது.
• இணையான சரிபார்ப்பு (Parallel Verification). சிறிய draft model அடுத்த K token-களை (எ.கா., 5 token-கள்) தொடர்ச்சியாக விரைவாக ஊகிக்கிறது. பின்னர் மாபெரும் target model ஐந்து ஊகிக்கப்பட்ட token-களையும் ஒரே இணையான forward pass-இல் ஒரே நேரத்தில் செயலாக்கி, அவற்றின் நிகழ்தகவுகளைச் சரிபார்க்கிறது. 5 token-களை இணையாகச் சரிபார்ப்பது 1 token-ஐ உருவாக்குவதைப் போலவே கிட்டத்தட்ட அதே நேரத்தை எடுப்பதால், முறைமை பொருந்தும் எல்லா token-களையும் ஒரே நேரத்தில் ஏற்றுக்கொள்கிறது — கணிதமாக ஒரே மாதிரியான output தரத்துடன் 2× முதல் 3× வேகமான உருவாக்கத்தைத் தருகிறது.

2. Mixture-of-Experts (MoE) & Expert Parallelism

Dense மாதிரிகள் ஒவ்வொரு token-க்கும் தமது 100% parameter-களையும் செயல்படுத்துவதால், மாபெரும் மாதிரிகளை இயக்குவது கட்டுப்பாடற்ற விலையாகிவிடுகிறது. Mixture-of-Experts (MoE) கட்டமைப்புகள் மொத்த மாதிரி அறிவையும் token-தலா கணிசச் செலவையும் பிரிக்கின்றன (decouple).

• MoE Layer-கள் எவ்வாறு வேலை செய்கின்றன (Mixtral & DeepSeek).

• ஒரு MoE Transformer block-இல், ஒற்றை dense Feed-Forward Network (FFN) Experts எனப்படும் சிறிய சுயாதீன FFN-களின் குழாமால் மாற்றப்படுகிறது (எ.கா., Mixtral 8x7B-இல் 8 expert-கள், அல்லது DeepSeek-V3-இல் 256 நுணுக்கமான (fine-grained) expert-கள்).
• ஒரு இலகுரக கற்றல் Router (Gating Network) ஒவ்வொரு உள்வரும் token-ஐயும் ஆய்வு செய்து, மிகப் பொருத்தமான top-K expert-களுக்கு மட்டுமே (வழக்கமாக 2 முதல் 8 expert-கள்) அனுப்புகிறது. ஒரு மாதிரி நினைவகத்தில் 600B+ மொத்த parameter-களை வைத்திருந்தாலும், token ஒன்றுக்கு 37B parameter-களை மட்டுமே செயல்படுத்தலாம்; இது கணிசச் செலவின் ஒரு பகுதியில் மாபெரும் மாதிரி நுண்ணறிவைத் தருகிறது.
• Shared Experts & Auxiliary-Loss-Free Balancing. DeepSeek போன்ற நவீன MoE வடிவமைப்புகள், பொதுவான அடித்தள அறிவைப் பிடிக்க ஒவ்வொரு token-ஐயும் செயலாக்கும் சில Shared Expert-களை ஒதுக்குகின்றன; routed expert-கள் சிறப்புத் (niche) துறைகளில் சிறப்புமயமாகின்றன. Dynamic bias சரிசெய்தல்கள் 'routing collapse'-ஐத் (router சில பிரபலமான expert-களை மட்டும் அதிகமாக ஏற்றி மீதமுள்ளவற்றைப் புறக்கணித்தல்) தடுக்கின்றன.

• GPU-கள் முழுவதும் Expert Parallelism (EP).

• ஒரு MoE மாதிரியில் நூற்றுக்கணக்கான expert-கள் இருப்பதால், அவை ஒரே GPU-இல் பொருந்தாது. Expert Parallelism வெவ்வேறு expert-களை வெவ்வேறு GPU-களில் விநியோகிக்கிறது (எ.கா., Expert 1–4 GPU 0-இல், Expert 5–8 GPU 1-இல்).
• All-to-All தொடர்பு. GPU 0 ஒரு token batch-ஐச் செயலாக்கும்போது, அதன் router சில token-களை GPU 3-இல் உள்ள Expert-களுக்கு ஒதுக்கலாம். எனவே ஒவ்வொரு MoE layer-ம் ஒரு All-to-All dispatch-ஐ நடத்துகிறது: token hidden state-களை அதிவேக NVLink/InfiniBand இணைப்புகள் வழியாக ஒதுக்கப்பட்ட expert-ஐக் கொண்ட GPU-க்கு அனுப்பி, expert FFN-ஐக் கணக்கிட்டு, முடிவுகளைத் திருப்ப இரண்டாவது All-to-All combine படியைச் செய்கிறது.

3. NVIDIA Blackwell (B200) & இரண்டாம்-தலைமுறை Transformer Engine (FP4)

டிரில்லியன்-parameter reasoning மற்றும் MoE மாதிரிகளை அளவிட (scale) அறிமுகப்படுத்தப்பட்ட NVIDIA Blackwell (B200) கட்டமைப்பு, multi-die packaging மற்றும் sub-byte எண் துல்லியம் இரண்டையும் மறுவடிவமைப்பு செய்தது.

• இரட்டை-Die ஒருங்கிணைந்த கட்டமைப்பு.

• ஒரே B200 GPU, 10 TB/s NV-HBI (High-Bandwidth Interface) மூலம் இணைக்கப்பட்ட இரு reticle-வரம்பு die-களில் 208 பில்லியன் transistor-களைக் கொண்டுள்ளது. CUDA kernel-களுக்கும் software framework-களுக்கும், இரு die-களும் பூச்சிய cache-coherency தண்டனைகளுடன் (zero penalty) ஒரே ஒருங்கிணைந்த GPU-ஆக வேலை செய்கின்றன.
• HBM3e நினைவக Bandwidth. 8 TB/s நினைவக bandwidth-ஐத் தரும் 192 GB HBM3e VRAM-உடன் (H100-இன் 3.35 TB/s-ஐ விட இருமடங்குக்கும் மேல்), Blackwell நேரடியாக KV cache-கள் மற்றும் MoE weight ஏற்றுதலின் நினைவக-bandwidth நெரிசல்களை இலக்காகக் கொள்கிறது.

• இரண்டாம்-தலைமுறை Transformer Engine & NVFP4.

• Hopper 8-bit floating-point-ஐ (FP8) அறிமுகப்படுத்திய அதேவேளை, Blackwell-இன் இரண்டாம்-தலைமுறை Transformer Engine Tensor Core கணிசத்தை 4-bit floating-point-க்கு (FP4) தள்ளுகிறது; இது மூல கணிச throughput-ஐ மீண்டும் இரட்டிப்பாக்கி (GPU ஒன்றுக்கு 20 petaFLOPS வரை dense FP4 compute), FP8-உடன் ஒப்பிடும்போது நினைவகத் தடத்தை (footprint) பாதியாக்குகிறது.
• Micro-Tensor Scaling (NVFP4) மூலம் FP4 Dynamic Range-ஐத் தீர்த்தல். சாதாரண 4-bit எண்களுக்கு 16 சாத்தியமான மதிப்புகள் மட்டுமே உள்ளன; நரம்பு activation-களில் தீவிர outlier எண்கள் தோன்றும்போது இது வழக்கமாக துல்லியத்தை அழித்துவிடும். Blackwell இதை hardware-இல் இரு-மட்ட micro-scaling மூலம் தீர்க்கிறது: ஒரு பெரிய matrix-க்கு ஒரே scaling காரணியைப் பயன்படுத்துவதற்குப் பதிலாக, Blackwell weight-கள் மற்றும் activation-களை 16 உறுப்புகளின் நுண் block-களாகக் குழுவாக்கி, ஒவ்வொரு நுண் block-க்கும் அதன் சொந்த உயர்-துல்லிய FP8 scaling காரணியையும், ஒரு global FP32 tensor scale-ஐயும் ஒதுக்குகிறது.
• Hardware-இல் துரிதப்படுத்தப்பட்ட Quantization. Transformer Engine layer-by-layer tensor வரம்புகளை இயக்கவியலாக (dynamically) ஆய்வு செய்து, கூடுதல் நினைவகச் சுற்றுப் பயணங்கள் (memory round-trips) இன்றி Tensor Core pipeline-க்குள் நேரடியாக FP16/BF16, FP8, NVFP4 இடையே மதிப்புகளை மாற்றுகிறது.