Aider LLM Leaderboards

পটভূমি আৰু উৎস

Aider LLM Leaderboards বেঞ্চমাৰ্কখন Aider প্ৰকল্পৰ অংশ হিচাপে বিকশিত কৰা হৈছিল, যি হৈছে AI-সহায়িত ক’ডিং সঁজুলি, যাতে বৃহৎ ভাষা মডেলসমূহে বাস্তৱিক ক’ডিং কাম-কাজ কিমান ভালদৰে সামলাব পাৰে তাক জুখিবলৈ এক মানকীকৃত আৰু পুনৰুৎপাদনযোগ্য পদ্ধতি প্ৰদান কৰিব পাৰি। এই বেঞ্চমাৰ্কে Exercism ৰ পৰা নিজৰ অনুশীলনসমূহ লয়, যি বহু ভাষাত প্ৰগ্ৰামিং চেলেঞ্জ আগবঢ়োৱা এক সুপ্ৰতিষ্ঠিত ওপেন-চ’ৰ্ছ প্লেটফৰ্ম। Exercism ৰ পৰা উৎস লোৱাৰ ফলত বেঞ্চমাৰ্কে ভালদৰে নিৰ্বাচিত সমস্যাৰ এটা সংগ্ৰহ লাভ কৰে, যিয়ে কৃত্ৰিম বা তুচ্ছ পৰীক্ষা-কেছৰ পৰিৱৰ্তে বাস্তৱিক প্ৰগ্ৰামিং চেলেঞ্জক প্ৰতিফলিত কৰে।

বেঞ্চমাৰ্কে বিশেষভাৱে এটা পলিগ্লট মূল্যায়ন পদ্ধতিৰ ওপৰত গুৰুত্ব দিয়ে, য’ত ছয়টা প্ৰগ্ৰামিং ভাষা সামৰি লোৱা হৈছে: C++, Go, Java, JavaScript, Python, আৰু Rust। এই বহু-ভাষাৰ নক্সাই সেই বাস্তৱতাক প্ৰতিফলিত কৰে যে সক্ষম ক’ডিং সহায়কসমূহে কেৱল Python দৰে এটা প্ৰধান ভাষাৰ মাজতেই নহয়, বিভিন্ন ভাষাৰ পৰিৱেশত একেধৰণে কাম কৰিব লাগিব।

গঠন আৰু মূল্যায়ন পদ্ধতি

বেঞ্চমাৰ্কখন ছয়টা সমৰ্থিত ভাষাৰ মাজত বিস্তৃতি আৰু কঠিনতাৰ ভিত্তিত বাছনি কৰা ২২৫টা ক’ডিং অনুশীলনৰে গঠিত। মডেলসমূহক পৰীক্ষা কৰা হয়—মানুহৰ কোনো হস্তক্ষেপ নোহোৱাকৈ প্ৰক্ৰিয়াৰ ভিতৰত স্বয়ংক্ৰিয় টেষ্ট ছুইটসমূহ পাৰ হ’ব পৰা ক’ড লিখিব বা সম্পাদনা কৰিব পাৰেনে নাই। এই পদ্ধতিয়ে এটা বাস্তৱসম্মত এজেণ্টিক ক’ডিং পৰিস্থিতি অনুকৰণ কৰে, য’ত মডেলটোৱে নিৰ্দেশনা বুজিব লাগিব, সঠিক ক’ড উৎপন্ন কৰিব লাগিব, আৰু সীমান্তিক কেছসমূহ নিজে নিজে সামলাব লাগিব।

বিভিন্ন মেট্ৰিক ব্যৱহাৰ কৰি কাৰ্যক্ষমতা জুখা হয়:

• Pass Rate 1: মডেলৰ প্ৰথম চেষ্টাতেই সকলো টেষ্ট পাৰ হয় নে নহয়।
• Pass Rate 2: সীমিত সংখ্যক চেষ্টাৰ ভিতৰত মডেলটোৱে টেষ্টসমূহ পাৰ হয় নে নহয়।
• Percent Correct: সামগ্ৰিকভাৱে সঠিকভাৱে সমাধান কৰা অনুশীলনৰ অংশ।
• Percent Cases Well Formed: উত্তৰসমূহৰ সেই অংশ যিবোৰ ব্যাকৰণগত আৰু গঠনগতভাৱে বৈধ, যদিও সম্পূৰ্ণ সঠিক নাথাকিবও পাৰে।

এই মেট্ৰিকসমূহ একেলগে মডেলৰ সক্ষমতাৰ এক বহুমাত্ৰিক দৃষ্টিভংগী প্ৰদান কৰে—য’ত কিছুমান মডেলে পৰিষ্কাৰ, ভালদৰে গঠিত আউটপুট উৎপন্ন কৰে, আন কিছুমানে অধিক নিৰ্ভৰযোগ্য বা দক্ষতাৰে সঠিকতা লাভ কৰে—সেই পাৰ্থক্য স্পষ্ট হয়।

ব্যৱহাৰ ক্ষেত্ৰ আৰু প্ৰাসংগিকতা

লিডাৰবোর্ডখনে ডেভেলপাৰ, গৱেষক, আৰু সংস্থাসমূহৰ বাবে এক বাস্তৱিক ৰেফাৰেন্স হিচাপে কাম কৰে, যিসকলে মূল্যায়ন কৰে—কোন বৃহৎ ভাষা মডেল ক’ড জেনাৰেচন আৰু সম্পাদনা কাম-কাজৰ বাবে আটাইতকৈ উপযোগী। বেঞ্চমাৰ্কখন ক্ৰমাগতভাৱে আপডেট হোৱা লিডাৰবোর্ড হিচাপে চলি থকাৰ বাবে, নতুন মডেল আৰু আপডেটেড সংস্কৰণ মুকলি হোৱাৰ লগে লগে ই মডেলৰ কাৰ্যক্ষমতাৰ বৰ্তমান অৱস্থাক প্ৰতিফলিত কৰে। সেয়েহে ই এটা স্থিৰ স্নেপশ্বট নহয়, বৰঞ্চ এটা জীৱন্ত সম্পদ।

LLM সমূহক ক’ডিং ৱৰ্কফ্ল’ত একত্ৰিত কৰা ডেভেলপাৰসকলৰ বাবে বা মডেল API ৰ ওপৰত সঁজুলি গঢ়া লোকসকলৰ বাবে, লিডাৰবোর্ডখনে বহু ভাষাৰ মাজত বাস্তৱ জগতৰ ক’ডিং কাৰ্যক্ষমতাৰ বিষয়ে ব্যৱহাৰযোগ্য তথ্য আগবঢ়ায়। ক’ড জেনাৰেচন সক্ষমতা অধ্যয়ন কৰা গৱেষকসকলে ইয়াক সময়ৰ লগে লগে অগ্ৰগতি অনুসৰণ কৰিবলৈ আৰু সেই ক্ষেত্ৰসমূহ চিনাক্ত কৰিবলৈ ব্যৱহাৰ কৰিব পাৰে, য’ত মডেলসমূহে নিয়মীয়াকৈ অসুবিধা পায়—যেনে Python ৰ তুলনাত কমকৈ প্ৰশিক্ষিত ভাষা যেনে Rust বা Go।

সীমা আৰু সীমাবদ্ধতা

যদিও বেঞ্চমাৰ্কখনে প্ৰগ্ৰামিং ভাষা আৰু অনুশীলনৰ কঠিনতাৰ এক তাৎপৰ্যপূর্ণ পৰিসৰ সামৰি লয়, তথাপিও ইয়াৰ পৰিসৰ ২২৫টা বাছনি কৰা অনুশীলন আৰু প্ৰতিনিধিত্ব কৰা ছয়টা ভাষাৰ দ্বাৰা সীমাবদ্ধ। এই বেঞ্চমাৰ্কত দেখা কাৰ্যক্ষমতা সকলো ক’ডিং কাম-কাজলৈ সম্পূৰ্ণভাৱে সাধাৰণীকৃত নহ’বও পাৰে—বিশেষকৈ বৃহৎ ক’ডবেছ, জটিল চিস্টেম ডিজাইন, বা মূল্যায়ন সেটত অন্তৰ্ভুক্ত নহোৱা ভাষাসমূহ জড়িত কাম-কাজৰ ক্ষেত্ৰত। ইয়াৰ উপৰি, অনুশীলনসমূহ Exercism ৰ পৰা সংগ্ৰহ কৰা হোৱাৰ বাবে, বেঞ্চমাৰ্কখনে সেই প্লেটফৰ্মৰ ধৰণ আৰু পৰম্পৰাক প্ৰতিফলিত কৰে, যি আন ক’ডিং চেলেঞ্জৰ ধৰণ বা প্ৰডাকশন ক’ডৰ পৰিৱেশৰ পৰা ভিন্ন হ’ব পাৰে। LLM ক’ডিং সক্ষমতাৰ বৃহত্তৰ প্ৰেক্ষাপটত লিডাৰবোর্ডৰ ফলাফল ব্যাখ্যা কৰোঁতে এই কাৰকসমূহ বিবেচনা কৰাটো মূল্যৱান।