NVIDIA Rubin (R100), Custom AI Accelerators மற்றும் KV Cache சுருக்க நுட்பங்கள்
வன் வட்டின் உட்பகுதியைக் காட்டும் விளக்கப் படம்; இது சேமிப்பு வன்பொருள், GPU நினைவகம் அல்ல.
AI உள்கட்டமைப்பின் அடுத்த அலை, ஒற்றை-chip scaling-ஐத் தாண்டி rack-அளவிலான இணை-வடிவமைக்கப்பட்ட (co-designed) supercomputer-கள், குறிப்பிட்ட துறைக்கான ASIC கட்டமைப்புகள் (domain-specific ASIC architectures), மற்றும் sub-byte KV cache சுருக்கம் (compression) ஆகியவற்றுள் செல்கிறது.
1. NVIDIA Rubin (R100) & அடுத்த தலைமுறை AI Hardware
2026-இன் பிற்பகுதியில் அனுப்பப்படும் (shipping) NVIDIA Vera Rubin தளம், ஒற்றை-chip புதுப்பிப்பிலிருந்து (single-chip refresh) agentic AI மற்றும் reasoning model-களுக்காகக் கட்டப்பட்ட ஆறு-chip rack-அளவு கட்டமைப்பாக மாறுகிறது. [1], [2], [3], [4]
- Rubin GPU (3nm & Third-Gen Transformer Engine). TSMC-இன் 3nm செயல்முறையில் 336 பில்லியன் transistor-களும் 224 Streaming Multiprocessor-களும் கொண்டு கட்டப்பட்ட ஒரே Rubin GPU, 50 PFLOPS sparse NVFP4 inference compute-ஐயும் 35 PFLOPS NVFP4 training compute-ஐயும் வழங்குகிறது — Blackwell-ஐ விட 3.3× முதல் 5× முன்னேற்றம். [1], [2], [3]
- HBM4 Memory Subsystem. Rubin, HBM3e-ஐ நீக்கி 288 GB HBM4 நினைவகத்தால் மாற்றி, இறுதி விற்பனை அமைப்புகளில் (final shipping configurations) GPU ஒன்றுக்கு 19.2 TB/s memory bandwidth வழங்குகிறது (Blackwell-இன் 8 TB/s-ஐ இரட்டிப்பதை விட அதிகம்). இப்பாரிய bandwidth, memory-bound LLM decode படிகளையும் பல-மில்லியன்-token context window-களையும் நேரடியாக விரைவுபடுத்துகிறது. [1], [2], [3], [4]
- NVLink 6 & Rack-Scale NVL72. ஆறாவது தலைமுறை NVLink 6, chip ஒன்றுக்கு 3 TB/s இருதரப்பு (bidirectional) GPU-to-GPU bandwidth-ஐயும் (72-GPU Vera Rubin NVL72 rack-இல் மொத்தம் 216 TB/s) வழங்குகிறது. புதிய Vera CPU-வுடன் (1.8 TB/s NVLink-C2C வழியே இணைக்கப்பட்ட 88 custom Armv9.2 Olympus core-கள்) இணைந்து, முழு 72-GPU rack-ம் ஒரே ஒருங்கிணைந்த கணினியாகச் செயல்படுகிறது. [1], [2], [3]
2. Custom AI Accelerators எதிர் NVIDIA CUDA GPU-கள்
NVIDIA GPU-கள் graphics, அறிவியல் உருவகப்படுத்தல்கள் (simulations), ஏதேனும் AI கட்டமைப்பையும் இயக்கக்கூடிய நெகிழ்வான இணை செயலிகளாக (parallel processors) இருக்கும்போது, custom ASIC-கள் (Application-Specific Integrated Circuits) matrix கணிதத் திறனைப் பெருமமாக்க பொது-நோக்கு hardware-ஐ நீக்கிவிடுகின்றன. [1]
| அம்சம் (Dimension) | NVIDIA GPU (CUDA) | Google TPU (v5p / Trillium) | AWS Trainium / Inferentia | Groq LPU (Language Processing Unit) |
|---|---|---|---|---|
| மைய Compute வடிவமைப்பு (Core Compute Design) | Hardware scheduler-களால் இயங்கும் வகையில் நிர்வகிக்கப்படும் ஆயிரக்கணக்கான SIMT core-கள் + Tensor Core-கள். | Systolic Arrays (register வாசிப்புகளின்றி தரவைத் தாளமாக இறைக்கும் ALU-களின் 2D கட்டங்கள்). | NeuronCores (நிரல்படுத்தக்கூடிய SIMD vector engine-களுடன் இணைக்கப்பட்ட systolic matrix engine-கள்). | Deterministic VLIW (Very Long Instruction Word) ஒற்றை-core spatial கட்டமைப்பு. |
| Memory கட்டமைப்பு (Memory Architecture) | சிறிய on-chip SRAM cache-களுடன் இணைக்கப்பட்ட பாரிய off-chip HBM3e / HBM4 (80 GB–288 GB). | பெரிய software-நிர்வகிக்கப்படும் scratchpad நினைவகத்துடன் (VMEM) இணைக்கப்பட்ட அதிக கொள்ளளவு HBM. | compiler-அட்டவணைப்படுத்திய தரவு மறுபயன்பாட்டுக்கு (data reuse) மேம்படுத்தப்பட்ட HBM + பெரிய on-chip SRAM cache-கள். | வெளிப்புற HBM பூச்சியம். on-chip SRAM மட்டுமே (~230 MB per chip) பயன்படுத்தி ~80 TB/s bandwidth வழங்குகிறது. |
| அட்டவணைப்படுத்தல் & இயக்கம் (Scheduling & Execution) | Runtime-இல் hardware-அட்டவணைப்படுத்தப்படும் (warp-கள் memory latency-ஐ இயங்கும் வகையில் மறைக்கின்றன). | XLA (Accelerated Linear Algebra) மூலம் compiler-ஆல் நிலையாக அட்டவணைப்படுத்தப்படும். | AWS Neuron SDK மூலம் compiler-ஆல் நிலையாக அட்டவணைப்படுத்தப்படும். | Groq compiler-ஆல் 100% deterministic cycle-accurate அட்டவணைப்படுத்தல். |
| முக்கிய சமரசம் (Key Trade-Off) | ஈடில்லா software ecosystem (CUDA) மற்றும் நெகிழ்வுத்தன்மை, ஆனால் அதிக விலையும் மின்னுறிஞ்சலும் (power draw). | விதிவிலக்கான பல-ஆயிரம்-chip scaling (ICI torus interconnect), Google Cloud/JAX-உடன் கட்டுண்டது. | AWS-இல் வலுவான price-performance, custom ops-க்கு Neuron compiler fine-tuning தேவை. | மிகக் குறைந்த token latency (நூற்றுக்கணக்கான tokens/sec), ஆனால் பெரிய model-களைத் தாங்க பல chip-கள் தேவை. |
3. KV Cache சுருக்க நுட்பங்கள் (KV Cache Compression Techniques)
Reasoning model-கள் பல்லாயிரக்கணக்கான thinking token-களை உருவாக்கி, பயனாளர்கள் முழு codebase-களையும் prompt-களில் செலுத்தும்போது, Key-Value (KV) Cache பயனாளரொன்றுக்கு பத்துக்கணக்கான gigabyte-களாக வளர்கிறது — batch அளவுக்கும் inference வேகத்திற்கும் முதன்மை நெருக்கடியாக (bottleneck) மாறுகிறது.
- Multi-Head Latent Attention (MLA) – DeepSeek.
- நிலையான MHA/GQA நெருக்கடி. நிலையான Multi-Head Attention (MHA), ஒவ்வொரு attention head-க்கும் token-க்கும் முழு-பரிமாண Key மற்றும் Value vector-களைச் சேமிக்கிறது. Grouped-Query Attention (GQA) கூட இன்னும் பெரிய சுருக்கப்படாத matrix-களை cache செய்கிறது.
- குறைந்த-தர இணை சுருக்கம் (Low-Rank Joint Compression). DeepSeek-V2-இல் அறிமுகப்படுத்தப்பட்டு DeepSeek-V3/R1-இல் விரிவாக்கப்பட்ட MLA, hidden state-ஐ ஒரு சிறிய, பகிரப்பட்ட சுருக்கப்பட்ட latent vector-ஆக (c_(t)^(KV), எ.கா., 16,384+-க்குப் பதிலாக வெறும் 512 பரிமாணங்கள்) கீழே project செய்து, அந்தக் கச்சிதமான latent vector-ஐ மட்டுமே VRAM-இல் cache செய்கிறது.
- Matrix உறிஞ்சும் தந்திரம் (Matrix Absorption Trick). Inference-இன் போது, latent vector-ஐ VRAM-இல் மீண்டும் பாரிய K மற்றும் V matrix-களாக விரிவாக்குவதற்குப் (decompress) பதிலாக, MLA decompression projection matrix-களை நேரடியாக Query (W_(Q)) மற்றும் Output (W_(O)) weight matrix-களுள் கணித ரீதியாக உறிஞ்சிவிடுகிறது (absorbs). இது KV cache நினைவகத்தை 90%+ குறைக்கும்போதே, துல்லியத்தில் நிலையான MHA-ஐ விடச் சிறப்பாகச் செயல்படுகிறது.
- FP8 & INT4 KV Cache Quantization.
- KV cache-களை நிலையான 16-bit precision-இல் (FP16/BF16) சேமிப்பது decode-இன் போது கிடைக்கும் memory bandwidth-இல் பாதியை வீணடிக்கிறது. நவீன serving engine-கள் (TensorRT-LLM, vLLM) புதிய token-கள் உருவாகும்போதே K மற்றும் V tensor-களை உடனுக்குடன் FP8 (E4M3) அல்லது INT4-ஆக quantize செய்கின்றன.
- Key tensor-கள் பெரும்பாலும் குறிப்பிட்ட feature channel-களில் தீவிர outlier பெறுமானங்களைக் கொண்டிருப்பதால், kernel-கள் Key-களுக்கு per-channel scaling-ஐயும் Value-களுக்கு per-token scaling-ஐயும் பயன்படுத்தி, KV cache நினைவகத் தடத்தையும் (footprint) HBM வாசிப்பு நேரத்தையும் பாதியாகக் குறைக்கின்றன — கிட்டத்தட்ட பூச்சியத் துல்லிய இழப்புடன்.
- Token வெளியேற்றம் & Sliding Window சுருக்கம் (Token Eviction & Sliding Window Compression) (H2O / SnapKV).
- ஆராய்ச்சி காட்டுவது: attention score-களில் 95%-க்கும் அதிகமானவை மிகச் சில token-களில் குவிகின்றன: மிக முதல் சில token-கள் (Softmax நிகழ்தகவுகளை நிலைப்படுத்தும் "Attention Sinks") மற்றும் மிகச் சமீபத்திய உள்ளூர் token-கள்.
- H2O (Heavy-Hitter Oracle), SnapKV போன்ற இயங்கும் வகை வெளியேற்ற வழிமுறைகள் (dynamic eviction algorithms) குவிவு attention score-களைத் தொடர்ந்து கண்காணித்து, Attention Sinks, சமீபத்திய token-களின் sliding window, அதிக முக்கியத்துவம் வாய்ந்த "heavy hitter" token-கள் ஆகியவற்றை மட்டுமே வைத்திருந்து, குறைந்த தாக்கமுள்ள நடுப் token-களை VRAM-இலிருந்து வெளியேற்றுகின்றன.