Coding agents முன்னேறுகின்றன; ஆனால் எல்லை முனை சீரற்றதாகவே உள்ளது
நவம்பர் 18: மனிதர் இரண்டு முதல் நான்கு மணித்தியாலம் செய்ய வேண்டிய பணிகளில், மனிதத் தலையீடு இல்லாத மதிப்பிடப்பட்ட வெற்றி வீதம் மார்ச்சில் 23% இலிருந்து ஒக்டோபரில் 46% ஆக உயர்ந்ததாக OpenAI இன் ஆராய்ச்சி-முடுக்க (research-acceleration) ஆய்வு தெரிவிக்கிறது. செயல்திறன் பணிக்குப் பணி கூர்மையாக வேறுபட்டது: training runs ஐக் கண்காணிப்பது 79% ஐ எட்டியது; runs ஐத் தொடங்குவது 35%, inference மற்றும் serving code எழுதுவது 25%.

ஏன் முக்கியம்: ஒரே பொதுவான “agent நம்பகத்தன்மை” மதிப்பெண்ணை விட, பணிக்கேற்ப ஒப்படைப்பதையே இது ஆதரிக்கிறது. சோதனையின்போது பணி நிறைவு, மனிதத் தலையீடுகள், பொய்யான வெற்றிக் கூற்றுகள் (false success claims), regressions ஆகியவற்றைத் தனித்தனியாக அளக்க வேண்டும். கண்காணிப்பு அல்லது சுருக்கம் தயாரிப்பதை விட code மாற்றங்களுக்குக் கடுமையான மீளாய்வு தேவை.
எச்சரிக்கை: இவை OpenAI இன் உள்ளக மதிப்பீடுகள்; தொழில்துறை முழுவதிலுமான கட்டுப்படுத்தப்பட்ட சோதனை அல்ல. மக்கள் ஒப்படைக்கும் பணிகள் மாறுவது தோற்ற முன்னேற்றத்தைப் பாதிக்கலாம் என அறிக்கை வெளிப்படையாகக் குறிப்பிடுகிறது. மேலே பரிந்துரைக்கப்பட்ட சோதனை அணுகுமுறை எமது விளக்கம்; ஆய்வில் சோதிக்கப்பட்ட முடிவு அல்ல.