வன்பொருள் ஈடுசெய்தல்களும் மேம்படுத்தல் இலக்குகளும்
கருங்கடல் மற்றும் காஸ்பியன் கடலுக்கு இடையிலுள்ள காகசஸ் பகுதியின் செயற்கைக்கோள் விளக்கப் படம்; GPU வன்பொருள் அல்ல.
சரியான மேம்படுத்தல் உத்தியைத் தேர்ந்தெடுப்பது, உங்கள் வன்பொருள் கட்டமைப்பை உங்கள் முதன்மை செயல்திறன் தடைக்கற்களுடன் பொருத்துவதிலிருந்தே தொடங்குகிறது. ஒவ்வொரு தளமும் compute throughput, memory bandwidth, கொள்ளளவு ஆகியவற்றில் கடுமையான இயற்பியல் வரம்புகளைக் கொண்டுள்ளது.
1. இலக்கு வன்பொருள் கட்டமைப்பு ஈடுசெய்தல்கள் (Target Hardware Architectural Trade-Offs)
வெவ்வேறு வன்பொருள் தளங்கள் tensors ஐ நகர்த்துவதையும் பெருக்குவதையும் அடிப்படையில் வெவ்வேறு வழிகளில் தீர்க்கின்றன.
| வன்பொருள் வகை (Hardware Class) | நினைவகக் கட்டமைப்பு (Memory Architecture) | கணிப்பு இயந்திரங்கள் (Compute Engines) | மென்பொருள் மற்றும் Kernel சூழல் (Software & Kernel Ecosystem) | முதன்மை பலங்களும் கடுமையான வரம்புகளும் (Primary Strengths & Hard Limits) |
|---|---|---|---|---|
| Data Centre NVIDIA GPUs (H100, B200, R100) | தனித்த HBM3e / HBM4 (80 GB–288 GB, 3.35–19.2 TB/s) + வேகமான on-chip SRAM. | Tensor Cores (FP16, BF16, FP8, NVFP4) + TMA async copy units. | CUDA, cuDNN, Triton, TensorRT-LLM, vLLM, NCCL. | மிக உயர்ந்த மூல FLOPS மற்றும் multi-GPU அளவீடு (scaling); செலவு அதிகம், PCIe/NVLink எல்லைகளால் கட்டுப்படுத்தப்படுகிறது. |
| Consumer NVIDIA GPUs (RTX 4090 / 5090) | தனித்த GDDR6X / GDDR7 (24 GB–32 GB, ~1.0–1.8 TB/s). | குறைந்த FP64/NVLink திறன்களுடன் கூடிய Tensor Cores (FP16, FP8, FP4). | CUDA, PyTorch, Triton, llama.cpp, ExLlamaV2. | உள்ளூர் பயன்பாட்டுக்கு ஒப்பற்ற விலை-செயல்திறன்; 24–32 GB VRAM உச்சவரம்பாலும் NVLink இல்லாமையாலும் கடுமையாகத் தடைப்படுகிறது. |
| Apple Silicon (M3/M4 Max & Ultra) | CPU/GPU/NPU க்கிடையே பகிரப்படும் Unified Memory (LPDDR5) (192–512 GB வரை, ~400–800 GB/s). | GPU cores + Simdgroup Matrix units + Apple Neural Engine (ANE). | Metal (MSL), MLX, PyTorch MPS, llama.cpp. | பெரிய மாதிரிகளை உள்ளூரில் ஏற்றுவதற்கு மிகப்பெரிய RAM கொள்ளளவு; மிதமான memory bandwidth ஆனது prompt prefill வேகத்தை வரையறுக்கிறது. |
| Mobile SoCs (Snapdragon 8 Elite, Apple A18/A19) | குறைந்த மின்சக்தி LPDDR5X பகிர்ந்த RAM (8 GB–16 GB, ~50–85 GB/s). | Mobile GPU (Adreno/Apple) + தனி INT4/INT8 NPU (Hexagon/ANE). | Vulkan, Metal, ExecuTorch, LiteRT, MLC-LLM. | மிகக் குறைந்த மின்பயன்பாடு (3–8 W); கடுமையான வெப்பத் தணிப்பு (thermal throttling) மற்றும் OS app நினைவகம் 3–6 GB என்ற இறுக்கமான வரம்பு. |
2. குறிப்பிட்ட தடைக்கற்களையும் பொறியியல் இலக்குகளையும் தீர்த்தல் (Solving Specific Bottlenecks & Engineering Goals)
உங்கள் இலக்கு வன்பொருளை அடையாளம் கண்டதும், ஒவ்வொரு செயல்திறன் தடைக்கல்லும் மூன்று பொறியியல் வகைகளில் ஒன்றுக்குள் அடங்கும் - ஒவ்வொன்றுக்கும் தனித்துவமான தொழில்நுட்ப வழிகாட்டி தேவை.
இலக்கு A: பயிற்சி வேகத்தை அதிகரித்தல் (Throughput & Scaling) (Goal A: Maximizing Training Speed)
பயிற்சியில் activations/gradients ஐச் சேமித்தலும், பல படிகள் முழுவதும் Tensor Cores க்குத் தொடர்ந்து தரவு வழங்குவதுமே முதன்மையாக உள்ளன.
- Python மற்றும் Memory சுமையை நீக்குதல்: torch.compile(mode="max-autotune") மற்றும் BF16/FP8 mixed precision ஐ இயக்குங்கள்; இதனால் Tensor Cores முழு வேகத்தில் ஓடுகின்றன, activation memory பாதியாகக் குறைகிறது.
- தொடர்பாடலை Compute உடன் மேற்பொருத்துதல் (Overlap Communication with Compute): பல GPU களில், gradient accumulation உடன் PyTorch FSDP2 அல்லது ZeRO-3 ஐப் பயன்படுத்துங்கள்; அப்போது All-Gather மற்றும் Reduce-Scatter பரிமாற்றங்கள் matrix multiplication களுக்குப் பின்னணியில் ஒத்திசைவற்ற முறையில் (asynchronously) நடைபெறும்.
- Activation Checkpointing: பெரிய batch அளவுகள் Out-Of-Memory (OOM) பிழைகளை ஏற்படுத்தினால், forward pass இன்போது இடைநிலை அடுக்கு activations ஐ நீக்கி, backpropagation இன்போது மீண்டும் கணியுங்கள் - ~25% கூடுதல் compute க்கு ஈடாக, batch அளவுக்கு மிகப்பெரிய இடவசதி கிடைக்கும்.
இலக்கு B: Inference Latency ஐக் குறைத்தல் (TTFT & Tokens/Sec) (Goal B: Minimizing Inference Latency)
Inference ஆனது Prefill (compute-bound prompt உள்ளீடு) மற்றும் Decode (memory-bandwidth-bound token உருவாக்கம்) எனப் பிரிகிறது.
- முதல் Token வரையான நேரத்தைக் குறைத்தல் (Cut Time-To-First-Token, TTFT): FlashAttention-2/3 மற்றும் Prefix Caching (பகிரப்பட்ட system prompts க்கு KV cache blocks ஐ மீளப்பயன்படுத்துதல்) ஐப் பயன்படுத்துங்கள்; அப்போது நீண்ட prompts தேவையற்ற கணிதம் இல்லாமல் Tensor Cores ஐ முழுமையாகப் பயன்படுத்தும்.
- Token உருவாக்கத்தை விரைவுபடுத்துதல் (Accelerate Token Generation, TPOT): weights ஐ FP8 அல்லது INT4 (AWQ/Marlin) ஆக quantize செய்து HBM வாசிப்புகளை 2×–4× குறையுங்கள்; CPU kernel-launch இடைவெளிகளை நீக்க CUDA Graphs ஐ இயக்குங்கள்; ஒவ்வொரு forward pass இலும் 3–5 tokens ஐச் சரிபார்க்க Speculative Decoding (EAGLE/Medusa) ஐச் சேருங்கள்.
- Batch குறுக்கீட்டை நீக்குதல் (Eliminate Batch Interference): பல பயனர்கள் கொண்ட உற்பத்திச் சூழல்களில், continuous batching உடன் PagedAttention ஐப் பயன்படுத்துங்கள் - அல்லது Prefill ஐயும் Decode ஐயும் தனித்தனி GPU தொகுப்புகளுக்குப் பிரியுங்கள் - அப்போது கனமான prompts செயலில் உள்ள token ஓட்டங்களை ஒருபோதும் நிறுத்தாது.
இலக்கு C: Memory தடத்தைச் சுருக்குதல் (கட்டுப்பாடுள்ள சாதனங்களில் மாதிரிகளைப் பொருத்துதல்) (Goal C: Shrinking Memory Footprint)
ஒரு மாதிரி கிடைக்கும் VRAM அல்லது மொபைல் RAM ஐ மீறும்போது, தீவிர சுருக்கமும் zero-copy செயலாக்கமும் கட்டாயமாகின்றன.
- Sub-Byte Weight Compression: 4-bit quantization (Q4_K_M அல்லது AWQ) ஐப் பயன்படுத்தி, 70B மாதிரியை 140 GB இலிருந்து ~40 GB ஆகவும், 8B மாதிரியை 16 GB இலிருந்து ~4.9 GB ஆகவும் சுருக்குங்கள்.
- KV Cache ஐச் சுருக்குதல் (Compress the KV Cache): நீண்ட உரையாடல்கள் பெரும்பாலும் மாதிரி weights ஐ விட அதிக RAM ஐப் பயன்படுத்துகின்றன. சூழல் நினைவகத்தை 50%–90% குறைக்க FP8/INT4 KV Cache quantization, Sliding Window Attention, அல்லது Multi-Head Latent Attention (MLA) கட்டமைப்புகளைப் பயன்படுத்துங்கள்.
- Zero-Copy Streaming (mmap): Unified Memory மடிக்கணினிகளிலும் கைப்பேசிகளிலும், quantize செய்யப்பட்ட மாதிரிக் கோப்புகளை NVMe/UFS சேமிப்பகத்திலிருந்து நேரடியாக memory-map செய்யுங்கள்; அப்போது தொடக்கத்தில் RAM இரட்டிப்பாகாமல், OS தேவைக்கேற்ப weights ஐ உள்ளே பக்கமிடும் (pages in).