Pirá

پِیرا ڊيٽاسٽ: سمنڊ ۽ موسمياتي سائنس تي LLMs جي بينچمارڪنگ

جيئن وڏا ٻوليءَ جا ماڊل آهستي آهستي خاص سائنسي شعبن کي وڌيڪ سنڀالڻ لڳا آهن، تيئن پِیرا ڊيٽاسٽ پنهنجي حيثيت کي هڪ اعليٰ درجي جي ٻه-ٻولي بينچمارڪ طور مضبوط ڪري ڇڏيو آهي. ان جي وڏي 2.0 اپڊيٽ ۽ 2025 ۽ 2026 ۾ NLP ريسرچ ۾ نمايان خصوصيتن—جن ۾ ClimateNLP 2025 ورڪشاپ به شامل آهي—کان پوءِ، پِیرا هاڻي Retrieval-Augmented Generation (RAG) ۽ فائن ٽيوننگ حڪمت عملين کي موسمي ۽ سامونڊي سائنس ۾ جائزو وٺڻ لاءِ هڪ بنيادي وسيلو بڻجي چڪو آهي.

ڊيٽا جي جوڙجڪ ۽ ڪوريج

پِیرا 2.0 ۾ پرتگالي ۽ انگريزي—ٻنهي ٻولين ۾—2,258 نهايت ئي احتياط سان چونڊيل Question-Answering (QA) سيٽ شامل آهن. ڊيٽاسٽ ٽن بنيادي علائقن تي ڌيان ڏئي ٿو: عالمي سمنڊ، برازيل جو ساحل (”Blue Amazon“)، ۽ موسمي تبديلي.

هر نموني ۾ مددگار متن، ٻنهي ٻولين ۾ اصل سوال ۽ جواب، ويلڊيشن جواب، ۽ انساني جائزا شامل آهن. 2.0 رليز ڊيٽاسٽ جي افاديت کي وڏي پيماني تي وڌايو. ان ۾ سڀني مددگار متنن جون خودڪار پرتگالي ترجما شامل ڪيون ويون، جواب ڏيڻ جي صلاحيت جا ليبل، ۽ هر سوال لاءِ پنج آپشنن تي مشتمل ڪيترن ئي چونڊن جا اميدوار شامل ڪيا ويا. ان سان گڏ، خودڪار طريقي سان تيار ڪيل پيرا فرِيزز به متعارف ڪرايا ويا—انگريزي لاءِ PEGASUS ۽ پرتگالي لاءِ PTT5 استعمال ڪندي—جنهن سان وڏن ماڊلن جي تربيت لاءِ ڊيٽا اگمينٽيشن اندر ئي اندر موجود ٿي وڃي ٿي.

مجموعي ڪرڻ جو طريقو

ڊيٽاسٽ جو بنياد پير-ريويو ٿيل ادب ۽ ماهر رپورٽن تي رکيل آهي. مددگار متن ٻن مکيه ذريعن مان ايندا آهن. پهريون، Scopus ڊيٽابيس مان برازيل جي ساحل بابت 3,891 سائنسي خلاصن (abstracts) تي مشتمل هڪ ڪورپس آهي. ٻيو، گڏيل قومن جي World Ocean Assessment رپورٽن مان 189 اقتباسن تي مشتمل آهي.

QA جوڙن (pairs) کي تيار ڪرڻ لاءِ ٺاهيندڙن هڪ منظم crowdsourcing ورڪ فلو لاڳو ڪيو. 254 رضاڪارن تي مشتمل هڪ ٽولي—جن ۾ سامونڊي محقق، گريجوئيٽ شاگرد، ۽ انڊر گريجوئيٽ شامل هئا—متن پڙهيا ۽ صرف ڏنل حوالي (context) کي استعمال ڪندي جواب لائق سوال تيار ڪيا. هڪ ثانوي مرحلي ۾، رضاڪار QA سيٽن کي گرامر، پيچيدگي، ۽ منطقي هم آهنگي لاءِ هڪ ٻئي جي وچ ۾ جائزو وٺندا رهيا. 2.0 اپڊيٽ اصل رليز ۾ مليل گرامر جون غلطيون، ورجايون، ۽ ساختي خاميون ختم ڪري هن ڊيٽا کي وڌيڪ بهتر بڻايو.

مقصود استعمال جا ڪيس

پِیرا 2.0 مشين لرننگ ماڊلن جي اها صلاحيت پرکي ٿو ته اهي ماهر سائنسي ڄاڻ کي پروسيس ڪيئن ڪن ٿا. ڊيٽاسٽ ڇهه رسمي بينچمارڪ قائم ڪري ٿو:

• بند ٿيل جنريٽو سوال-جواب ڏيڻ
• مشين پڙهڻ جي سمجھ
• معلوماتي ڳولا
• کليل سوال-جواب ڏيڻ
• جواب شروع ڪرڻ
• ڪيترن ئي چونڊن وارو سوال-جواب ڏيڻ

تازيون 2025 جون اڀياسون پِیرا کي ڊومين اڊاپٽيشن جي طريقن کي جانچڻ لاءِ استعمال ڪن ٿيون. محقق اڪثر ان کي استعمال ڪن ٿا RAG فريم ورڪن کي ماڊل فائن ٽيوننگ سان ڀيٽڻ لاءِ، ۽ اهو پرکڻ لاءِ ته ColBERTv2 جهڙا ريٽريور انتهائي خاص ٻه-ٻولي ڪورپس کي ڪيتري سٺي نموني سنڀالين ٿا. ان کان علاوه، اڻ جواب لائق سوالن جي شموليت پِیرا کي جواب شروع ڪرڻ لاءِ هڪ اڳواڻ وسيلو بڻائي ٿي—ماڊلن کي سيکاريندي ته حقيقتن جو خيال ڪري (hallucinate) جواب ڏيڻ بدران جواب ڏيڻ کان پاسو ڪن.

لائسنسنگ ۽ رسائي

پِیرا کليل سائنس کي فروغ ڏئي ٿو. ڊيٽاسٽ CC BY 4.0 تحت لائسنس ٿيل آهي. ڊيٽا سائنسدان Hugging Face ذريعي پنهنجي پائپ لائينن ۾ ڊيٽا سڌو شامل ڪري سگهن ٿا يا خام فائلون، ڪيترائي ورهاڱا (train، validation، test)، ۽ تجرباتي ڪوڊ منصوبي جي GitHub رپوزٽري ذريعي حاصل ڪري سگهن ٿا.

ڄاتل حدون ۽ تعصب

جيتوڻيڪ پِیرا مضبوط آهي، پر ان ۾ الڳ الڳ حدون موجود آهن. ڊيٽاسٽ جاگرافيائي طور برازيل جي ساحل ڏانهن وڌيڪ مائل آهي. جيڪڏهن ماڊل صرف هن ڊيٽا تي تربيت وٺن، ته اهي ڏکڻ ائٽلانٽڪ سامونڊي ماحولياتي نظامن تي وڌيڪ ڌيان ڏئي سگهن ٿا ۽ عالمي سمنڊ جي اوشيانوگرافڪ سوالن تي گهٽ ڪارڪردگي ڏيکاري سگهن ٿا.

ان کان علاوه، مددگار متن گهڻي گهاٽي ۽ انتهائي خاص تعليمي ٻولي تي ڀاڙين ٿا. هي سخت لغوي پيچيدگي عام مقصد وارا LLMs کي شروع کان ئي جدوجهد ڪرائي ٿي. محققن کي هن پيچيدگي کي نظر ۾ رکڻو پوندو، ڇو ته ماڊلن کي عام طور تي پِیرا جي بينچمارڪن تي بنيادي (baseline) ڪارڪردگي حاصل ڪرڻ کان اڳ مخصوص ڊومين اڊاپٽيشن جي ضرورت پوندي آهي.