MASK

Context și dezvoltare

MASK, care înseamnă Model Alignment between Statements and Knowledge, a fost dezvoltat de Scale AI în colaborare cu Center for AI Safety (CAIS) și lansat în 2025. Benchmarkul abordează un decalaj recunoscut din cadrul existent al evaluărilor: diferența dintre un model care este corect din punct de vedere factual și un model care este cu adevărat onest. În timp ce multe benchmarkuri evaluează dacă un model produce ieșiri corecte, MASK este conceput în mod special pentru a testa dacă un model își va contrazice propriile convingeri exprimate atunci când este supus unei presiuni externe de a minți.

Setul de evaluare cuprinde 500 de itemi și este păstrat privat pentru a preveni contaminarea, deși este disponibilă o partiție publică pentru utilizare în cercetări mai ample. Benchmarkul funcționează exclusiv în limba engleză și vizează modalitatea text, situându-se în domeniile mai largi ale evaluării siguranței AI, onestității și cunoașterii generale.

Metodologie și arhetipuri

MASK folosește o abordare de evaluare în două etape. Mai întâi, sunt extrase convingerile de bază ale unui model despre un anumit subiect sau o întrebare. Apoi, modelul este supus unei presiuni menite să îl încurajeze să contrazică acele convingeri. Această structură permite benchmarkului să separe erorile generate de cunoaștere incorectă de necinstea deliberată sau indusă social.

Benchmarkul acoperă șase arhetipuri distincte, fiecare reprezentând un scenariu diferit în care onestitatea poate fi compromisă:

• Fapte cunoscute: Testează dacă modelele confirmă sau neagă informații factuale stabilite sub presiune.
• Fapte furnizate de context: Evaluează onestitatea în raport cu faptele introduse în contextul promptului.
• Încăpățânare: Evaluează dacă modelele își mențin sau își abandonează pozițiile atunci când sunt contestate.
• Statistici fabricate: Examinează dacă modelele acceptă afirmații numerice inventate atunci când sunt îndemnate.
• Continuări: Testează dacă modelele propagă conținut fals sau înșelător prin continuarea unei narațiuni date.
• Generare de dezinformare: Măsoară dacă modelele pot fi conduse să producă conținut care constituie dezinformare.

Performanța este surprinsă prin trei metrici esențiale: p(Lie), care măsoară probabilitatea ca un model să producă o afirmație pe care a indicat că nu o crede; p(Evasive), care surprinde răspunsuri neangajante sau de evitare; și p(True), care reflectă probabilitatea unui răspuns onest, consecvent cu convingerile.

Utilizări și relevanță

MASK este destinat în principal cercetătorilor și dezvoltatorilor care lucrează la alinierea AI, evaluarea siguranței și auditarea modelelor. Prin cuantificarea gradului în care modelele lingvistice pot fi supuse social sau contextual unei presiuni pentru a produce ieșiri lipsite de onestitate, benchmarkul oferă un instrument structurat pentru compararea comportamentului modelelor între diferite sisteme și regimuri de antrenare.

Benchmarkul este deosebit de relevant pentru evaluarea modului în care învățarea prin consolidare din feedback uman (RLHF) sau procese de fine-tuning similare afectează înclinația unui model către lingușeală — un comportament în care modelele sunt de acord cu utilizatorii chiar și atunci când acest lucru necesită contrazicerea afirmațiilor anterioare sau a faptelor cunoscute. Designul MASK permite evaluatorilor să izoleze acest comportament de limitările generale de cunoaștere, oferind un semnal mai precis pentru cercetarea aliniamentului.

Pe măsură ce sistemele AI sunt implementate tot mai mult în contexte cu miză ridicată, instrumentele care măsoară onestitatea ca o proprietate distinctă de acuratețe sunt considerate componente importante ale evaluării responsabile a modelelor. MASK contribuie la acest domeniu prin oferirea unui cadru reproductibil, structurat pe arhetipuri, cu metrici clar definite și un mediu de evaluare controlat.