பகிரப்பட்ட inference caches ஐ மதிப்பிட ஒரு agent skill ஐ AWS ஆவணப்படுத்துகிறது
நவம்பர் 20, தொழில்நுட்பக் குறிப்பு: சுயமாக ஹோஸ்ட் செய்யப்படும் LLM inference க்கான distributed key–value (KV) caching ஐ மதிப்பிட்டு உள்ளமைக்கும் coding-agent skill ஒன்றை AWS விவரிக்கிறது. பகிரப்பட்ட cache, பல serving replicas ஐ ஒரே உரையை மீண்டும் செயலாக்காமல், திரும்பத் திரும்ப வரும் prompt முன்னொட்டுகளுக்கான கணிப்பை மீளப் பயன்படுத்த அனுமதிக்கும். பகிரப்பட்ட சேவை பயனுள்ளதா என்று முடிவு செய்வதற்கு முன் உள்ளூர் caching மற்றும் routing ஐச் சரிபார்ப்பதை அந்தப் பதிவு விவரிக்கிறது.

ஏன் முக்கியம்: நீண்ட அல்லது திரும்பத் திரும்ப வரும் prompts ஐ வழங்கும் குழுக்கள் முதல் token வரையான நேரத்தைக் குறைக்கலாம்; ஆனால் பலன் மறுபயன்பாடு, cache hit விகிதம், பிணையச் செலவு ஆகியவற்றைப் பொறுத்தது. cross-tenant நேர அபாயம் ஒன்றையும் AWS குறிப்பிடுகிறது. உட்கட்டமைப்பைச் சேர்ப்பதற்கு முன், பிரதிநிதித்துவ, உணர்திறனற்ற trace ஒன்றில் முதல்-token latency, தனிமைப்படுத்தல், மொத்தச் செலவு ஆகியவற்றை மதிப்பிடுங்கள். இது AWS க்கே உரிய வழிகாட்டல்; சேமிப்புக்கான உத்தரவாதமோ cloud வழங்குநரை மாற்றுவதற்கான தேவையோ அல்ல.