MR-Ben: A Meta-Reasoning Benchmark
Noforonina tamin'ny alalan'i Yingjia Wan, Zhongshen Zeng, Yinhong Liu, Jingyao Li, Pengguang Chen, Jianbo Dai, Yuxuan Yao, Rongwu Xu, Zehan Qi, Wanru Zhao, Linling Shen, Haochen Tan, Yukang Chen, Hao Zhang, Zhan Shi, Bailin Wang, Zhijiang Guo, Jiaya Jia
Metrics
Sokajy
Lohahevitra
MR-Ben dia fitaovana fanombanana misokatra natao hanombanana ny fahaiza-manao meta-reasoning sy ny fahaiza-manao fisainana rafitra-2 amin'ny maodely fiteny lehibe (LLMs). Mandrefy ny zava-bitan'ny maodely amin'ny alalan'ny metrika roa lehibe: ny marina amin'ny meta-reasoning sy ny marina amin'ny famantarana lesoka, mifantoka amin'ny sehatra toy ny fisainana, meta-reasoning, ary ny dingana ara-tsaina voafantina.
Ny benchmark dia natao ho an'ny mpikaroka sy ny mpamorona miasa amin'ny fisainana AI mandroso, indrindra fa ireo izay mianatra na manatsara ny fahaizan'ny LLMs hanana fisaintsainana sy hanitsy ny fizotran'ny eritreritra. Manome rafitra voafaritra ho an'ny fanombanana ny maodely amin'ny toe-javatra mitaky fanaraha-maso ny tenany sy ny famahana olana mifanaraka.
Mahafantatra amin'ny fifantohana manokana, MR-Ben dia ahitana 5,975 fanombanana ary natolotra tao amin'ny taratasy NeurIPS 2024. Ny angon-drakitra sy ny kaody dia azo jerena ho an'ny daholobe, manamora ny famerenana sy ny fikarohana fanampiny amin'ny fanombanana AI meta-cognitive.
Topimaso momba ny MR-Ben
MR-Ben dia fanombanana malalaka izay natomboka tamin'ny taona 2024 mba handrefesana ny fahaiza-manao meta-reasoning sy ny fahaiza-manao thinking system-2 amin'ny maodely fiteny lehibe (LLMs). Namboarina ho ampahany amin'ny fikarohana naseho tamin'ny NeurIPS 2024, ny fanombanana dia mandinika ny banga lehibe amin'ny fanombanana ny dingana kognitifa ambony kokoa amin'ny rafitra AI. Raha oharina amin'ny fanombanana nentim-paharazana izay mifantoka amin'ny zava-bita manokana amin'ny asa, MR-Ben dia mikendry ny fahaizan'ny maodely hifantoka amin'ny eritreritra momba ny eritreriny manokana, mahita lesoka, ary manitsy ny paikady famahana olana.
Ny fanombanana dia ahitana 5,975 fanombanana, manome rafitra matanjaka ho an'ny fitsapana LLMs amin'ny toe-javatra mitaky fanaraha-maso ny tena sy ny dingana kognitifa voafantina. MR-Ben dia natao hanohana ny famerenana sy ny fikarohana fanampiny, miaraka amin'ny angon-drakitra sy ny kaody azo jerena amin'ny sehatra toy ny Hugging Face sy GitHub.
Endri-javatra sy Fomba Fiasana
MR-Ben dia mandrefy ny LLMs amin'ny alalan'ny metrika roa lehibe:
- Fahamarinan'ny meta-reasoning: Mandrefy ny fahaizan'ny maodely handinika sy hanatsara ny dingana eritreriny manokana, anisan'izany ny famantarana ny tsy fitoviana ara-logika na ny banga amin'ny vokatra azony.
- Fahamarinan'ny famantarana lesoka: Mandrefy ny fahaizan'ny maodely mahafantatra sy manamarika lesoka amin'ny valiny azony na amin'ny rojo eritreritra ivelany.
Ny fanombanana dia mifantoka amin'ny sehatra telo fototra:
- Reasoning: Mandrefy ny fahaiza-manao ara-logika sy fanadihadiana fototra.
- Meta-reasoning: Manandrana ny fahaizan'ny maodely mandinika momba ny eritreritra, toy ny fanombanana ny fahamarinan'ny fehin-keviny manokana.
- System-2 thinking: Mikendry ny dingana kognitifa voafantina, miadana, sy mandinika, raha oharina amin'ny valiny haingana sy intuitiva (thinking system-1).
Ny fanombanana dia manokana ho an'ny fiteny, amin'izao fotoana izao dia manohana ny teny anglisy. Ny toetrany malalaka dia mamela ny mpikaroka hanitatra na hanitsy ny fanombanana ho an'ny fiteny na sehatra fanampiny. Na dia tsy misy fahazoan-dàlana ofisialy voafaritra aza, ny fisian'ny angon-drakitra sy ny kaody dia manondro ny fepetra fampiasana malalaka ho an'ny tanjona akademika sy fikarohana.
Fampiharana sy Fiantraikany
MR-Ben dia fitaovana sarobidy ho an'ny mpikaroka sy ny mpamorona miasa amin'ny rafitra eritreritra AI mandroso. Ny fampiharana lehibe dia ahitana:
- Fanombanana maodely: Manome rafitra fenon'ny fanombanana ny fahaiza-manao meta-kognitifa amin'ny LLMs, manampy ny fanombanana efa misy mifantoka amin'ny zava-bita manokana amin'ny asa.
- Fikarohana momba ny thinking system-2: Manamora ny fianarana momba ny fomba ahafahan'ny LLMs ampianarina na ampahafantarina hiroso amin'ny dingana eritreritra voafantina sy mandinika kokoa.
- Famantarana sy fanitsiana lesoka: Manohana ny fivoaran'ny maodely afaka manara-maso ny tenany sy manatsara ny vokatra azony, dingana manan-danja mankany amin'ny rafitra AI azo antoka kokoa.
Ny fanombohana ny fanombanana tao amin'ny NeurIPS 2024 dia manasongadina ny maha-zava-dehibe azy ho an'ny fiaraha-monina fikarohana AI lehibe kokoa. Amin'ny fifantohana amin'ny meta-reasoning, MR-Ben dia mifanaraka amin'ny ezaka hamoronana eritreritra mazava kokoa, azo amboarina, ary mitovy amin'ny olombelona amin'ny LLMs. Na dia tsy misy leaderboard mifandray amin'ny fanombanana aza, ny rafitra malalaka dia manentana ny fiaraha-miasa amin'ny fanombanana sy fanatsarana.
Fidirana sy Fisian'ny
MR-Ben dia tanteraka malalaka, miaraka amin'ny loharano azo jerena amin'ny alalan'ny fantsona manaraka:
- Taratasim-pikarohana: Ny fikarohana momba ny MR-Ben dia voarakitra ao amin'ny preprint "MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs," navoaka tao amin'ny arXiv.
- Kaody: Ny fanatanterahana sy ny script fanombanana dia voatahiry ao amin'ny GitHub.
- Angon-drakitra: Ny fanombanana dia azo jerena ao amin'ny Hugging Face Datasets.
Ny fidirana amin'ny fanombanana dia miantoka fa ny mpikaroka dia afaka mamerina ny fanandramana, manangana ny rafitra efa misy, na mampiditra ny MR-Ben ao anaty pipeline fanombanana lehibe kokoa. Na dia tsy misy famatsiam-bola na fifandraisana amin'ny andrim-panjakana voafaritra ao amin'ny metadata aza, ny fivoaran'ny fanombanana dia maneho ny ezaka mitohy hanatsarana ny fahaiza-manao eritreritra AI amin'ny alalan'ny fikarohana iombonana.