Metrics
বিভাগসমূহ
থিমসমূহ
Compar:IA হলো একটি ফরাসি সরকারি প্ল্যাটফর্ম, যা কথোপকথনমূলক কৃত্রিম বুদ্ধিমত্তা মডেলগুলোর অন্ধ তুলনা করতে সক্ষম করে। Ministère de la Culture-এর Service du numérique, PEReN (Pôle d'Expertise de la Régulation Numérique)-এর অংশীদারিত্বে এটি উন্নয়ন করেছে; এটি ব্যবহারকারীদের পছন্দভিত্তিক ভোট সংগ্রহ করে, যাতে ফরাসি ভাষায় উন্মুক্ত অ্যালাইনমেন্ট ডেটাসেট তৈরি করা যায়।
কমিউনিটির প্রতিক্রিয়ার ভিত্তিতে, মডেলগুলোকে Bradley-Terry স্কোর এবং সন্তুষ্টি স্কোরের মাধ্যমে র্যাঙ্ক করা হয়। এই বেঞ্চমার্ক বর্তমানে ৮২টি মডেল মূল্যায়ন করে; ডেটা ও ফলাফল Hugging Face-এ ওপেন সোর্স হিসেবে প্রকাশিত হয়, যা ফ্রাঙ্কোফোন প্রেক্ষাপটে ভাষা মডেল মূল্যায়নের জন্য এটিকে একটি মানদণ্ডসম্পন্ন রেফারেন্স সম্পদে পরিণত করেছে।
প্রেক্ষাপট ও উৎস
Compar:IA হলো ফরাসি একটি সরকারি উদ্যোগ, যা সংস্কৃতি মন্ত্রণালয়ের ডিজিটাল সার্ভিস দ্বারা PEReN (Pôle d'Expertise de la Régulation Numérique)-এর সহযোগিতায় চালু করা হয়েছে। এই প্রকল্পটি একটি প্রাতিষ্ঠানিক উদ্যোগের অংশ, যার লক্ষ্য ফ্রাঙ্কোফোন সম্প্রদায়কে তাদের ভাষাগত ও সাংস্কৃতিক বৈশিষ্ট্যের সাথে মানানসই ভাষা মডেল মূল্যায়নের সরঞ্জাম প্রদান করা। প্ল্যাটফর্মটি ব্লাইন্ড তুলনার নীতির ওপর ভিত্তি করে: ব্যবহারকারীরা একই সঙ্গে দুটি মডেলের সাথে তাদের পরিচয় না জেনেই ইন্টারঅ্যাক্ট করেন, তারপর তাদের পছন্দ প্রকাশ করেন—যা তুলনাধীন সিস্টেমগুলোর খ্যাতি দ্বারা প্রভাবিত নয় এমন একটি নিরপেক্ষ মূল্যায়ন নিশ্চিত করে।
কার্যপ্রণালী ও পদ্ধতিবিদ্যা
Compar:IA-এ মডেলগুলোর র্যাঙ্কিং দুটি প্রধান মেট্রিকের ওপর নির্ভর করে:
- Bradley-Terry স্কোর : জোড়ায় জোড়ায় তুলনার একটি পরিসংখ্যানগত মডেল, যা সংগৃহীত সব ভোট একত্র করে একটি মডেল অন্যটির তুলনায় বেশি পছন্দ হওয়ার সম্ভাবনা অনুমান করতে সক্ষম।
- সন্তুষ্টি স্কোর : মডেলগুলোর উৎপাদিত উত্তরের প্রতি ব্যবহারকারীদের সন্তুষ্টির একটি সরাসরি পরিমাপ।
এই দুটি সূচক প্ল্যাটফর্মের ব্যবহারকারীদের প্রদত্ত প্রতিক্রিয়া থেকে গণনা করা হয়, ফলে এটি একটি অংশগ্রহণমূলক ও ধারাবাহিক মূল্যায়ন প্রক্রিয়া গঠন করে। প্ল্যাটফর্মটি বর্তমানে 82টি কথোপকথনমূলক মডেল মূল্যায়ন করে, যা এটিকে ফরাসি ভাষায় প্রাকৃতিক ভাষা প্রক্রিয়াকরণ ক্ষেত্রে অন্যতম সর্বাধিক পূর্ণাঙ্গ বেঞ্চমার্কে পরিণত করেছে।
ওপেন ডেটায় অবদান
Compar:IA-এর অন্যতম প্রধান অবদান হলো ফরাসি ভাষায় উন্মুক্ত অ্যালাইনমেন্ট ডেটাসেট তৈরি। ব্যবহারকারীদের কাছ থেকে সংগৃহীত পছন্দভিত্তিক ভোটগুলো সংস্কৃতি মন্ত্রণালয়ের দায়িত্বে Hugging Face প্ল্যাটফর্মে open source হিসেবে প্রকাশ করা হয়। এই ডেটাগুলো গবেষণা সম্প্রদায়ের জন্য একটি বিরল ও মূল্যবান সম্পদ, কারণ উচ্চমানের ফরাসি অ্যালাইনমেন্ট কর্পাস ইংরেজির তুলনায় এখনও কম সংখ্যক। স্বচ্ছতা ও উন্মুক্ততার এই উদ্যোগটি প্রতিষ্ঠাতা প্রতিষ্ঠানগুলোর প্রচারিত ডিজিটাল পাবলিক সার্ভিসের নীতিমালার সাথে সামঞ্জস্যপূর্ণ।
ব্যবহার ও পরিসর
Compar:IA বিভিন্ন ধরনের ব্যবহারকারীদের উদ্দেশ্যে তৈরি। গবেষক ও ডেভেলপাররা ফ্রাঙ্কোফোন প্রেক্ষাপটে বিভিন্ন মডেলের কর্মক্ষমতা নিরপেক্ষভাবে তুলনা করতে leaderboard ব্যবহার করতে পারেন। সরকারি প্রতিষ্ঠান ও সংস্থাগুলো যারা তাদের প্রয়োজন অনুযায়ী উপযুক্ত কথোপকথনমূলক মডেল বেছে নিতে চায়, তারা একটি নিরপেক্ষ ও স্বাধীন রেফারেন্স পায়। শেষ পর্যন্ত, সাধারণ জনগণকে তুলনা সেশনে অংশগ্রহণের মাধ্যমে অবদান রাখতে আমন্ত্রণ জানানো হয়, ফলে পছন্দের ডেটাবেস আরও সমৃদ্ধ হয়।
প্ল্যাটফর্মটি beta.gouv.fr ডোমেইনের মাধ্যমে অ্যাক্সেসযোগ্য, যা ফরাসি সরকারি ডিজিটাল সেবার ইকোসিস্টেমের সাথে এর সংযুক্তি নির্দেশ করে। এর open source চরিত্র, প্রাতিষ্ঠানিক শাসনব্যবস্থা এবং ফরাসি ভাষায় ভিত্তি—এসবই একে ভাষা মডেল মূল্যায়ন বেঞ্চমার্কের বৈশ্বিক পরিমণ্ডলে একটি স্বতন্ত্র উদ্যোগে পরিণত করেছে।