Valiant Labs Llama 3.1 70B ShiningValiant2

Frontline Developments: Avointa dataa ja tieteellistä vertailumittausta

Valiant Labs otti käyttöön Llama 3.1 70B ShiningValiant2:n lopullisen version 30. lokakuuta 2024. Julkaisuun sisällytettiin voimakkaasti laajennettu science-instruct-tietoaineisto. Poiketen alan trendistä, jossa käytetään suljettuja hienosäätöputkia, Valiant Labs avasi mallin taustalla olevan koulutusdatan täysin avoimeksi. Koneoppimisen insinöörit voivat nyt suoraan tarkastella, suodattaa ja muokata täsmällisiä tietoaineistoja, jotka ohjaavat mallin toimintaa.

Mallin erikoistunut tieteellinen painotus on herättänyt merkittävää akateemista kiinnostusta. Tutkijat esittelivät ShiningValiant2:n SoSBenchissä 14. kesäkuuta 2025. SoSBench on vaarakeskeinen vertailumittari, jossa suuria kielimalleja arvioidaan korkean riskin tieteellisen tiedon perusteella. Tutkimuksessa ShiningValiant2:ta käytettiin ensisijaisena testikohteena turvallisuuslinjauksen mittaamiseen 3 000 monimutkaisessa kehotteessa kemian, biologian, lääketieteen ja farmakologian alueilla. Tämä vahvistaa mallin asemaa vakavana työkaluna syvälliseen tieteelliseen päättelyyn ja siirtää sen pidemmälle kuin tavanomaiset keskustelupohjaiset vertailumittarit.

Arkkitehtuuri ja parametrimäärä

ShiningValiant2 toimii dekooderi-vain transformer -arkkitehtuurilla, jossa on 70 miljardia parametria. Se on suora hienosäätö Meta:n meta-llama/Meta-Llama-3.1-70B-Instruct-mallista. Malli perii vahvan Llama 3.1 -pohjan. Tähän kuuluu laaja 128 000 tokenin sanasto ja luontainen tuki massiivisille konteksti-ikkunoille.

Kuoren alla malli hyödyntää Grouped-Query Attention (GQA) -mekanismia ylläpitääkseen tehokasta päättelyä sen valtavasta parametrimäärästä huolimatta. Kehittäjät ajavat mallia tyypillisesti bfloat16-tarkkuudella käyttäen Hugging Face transformers -kirjastoa. Arkkitehtuuri pysyy tiukasti tekstistä tekstiin -muotoisena keskittyen kokonaan luonnollisen kielen prosessointiin ja tuottamiseen ilman multimodaalisten kuva- tai äänikooderien tuomaa lisäkuormaa.

Koulutusdata ja menetelmät

Valiant Labs suunnitteli ShiningValiant2:n priorisoimaan teknistä tietämystä, jäsenneltyä päättelyä ja innostunutta keskustelutyyliä. Kehittäjät saavuttivat tämän hienosäätämällä perusmallia kolmella erillisellä, avoimen lähdekoodin tietoaineistolla, jotka on julkaistu sequelbox-repositoryn alla:

• Celestia: 126 000 rivin tietoaineisto, joka on omistettu vaikealle tekniselle tiedolle. Se indeksoi voimakkaasti fysiikkaa, kemiaa, biologiaa, tähtitiedettä, maapallitiedettä ja tietojenkäsittelytiedettä.
• Spurline: Erittäin kuratoitu 10 700 rivin tietoaineisto, joka keskittyy tiukasti monivaiheiseen loogiseen päättelyyn ja informaatioteoriaan.
• Supernova: 178 000 rivin tietoaineisto, joka on suunniteltu parantamaan yleisiä keskustelutaitoja. Tämä varmistaa, että malli pysyy ystävällisenä, oivaltavana ja halukkaana oppimaan.

Koulutusmenetelmä kerrostaa nämä erikoistuneet tietoaineistot jo valmiiksi erittäin kyvykkään Llama 3.1 70B Instruct -pohjan päälle. Tämä estää yleisen tietämyksen katastrofaalisen unohtamisen samalla kun mallin suorituskyky STEM-aloilla paranee jyrkästi. Valiant Labs viritti mallia nimenomaisesti välttämään kuivaa, robottimaista sävyä, joka on tyypillistä yritys-AI:lle, ja suosimaan persoonaa, joka on erittäin tietävä mutta silti keskusteleva.

Vertailumittauksen suorituskyky ja keskeiset mittarit

Koska ShiningValiant2 on rakennettu Llama 3.1 70B Instruct -pohjan varaan, se perii valtavan lähtötason suorituskyvyn, mukaan lukien korkeat pisteet MMLU:ssa ja HumanEvalissa. Valiant Labs kuitenkin siirsi arvioinnin painopisteen pois vanhoista vertailumittareista ja kohti käytännön tieteellistä soveltamista.

Mallin suorituskyky vuoden 2025 SoSBench-arvioinneissa korostaa sen kykyä käsitellä jatko-opintotasoisia tieteellisiä kyselyitä. Spurline-tietoaineiston integrointi parantaa erityisesti mallin zero-shot-loogista reititystä. Kun mallia testataan monivaiheisissa suunnitteluongelmissa, ShiningValiant2 osoittaa pienemmän hallusinaatioasteen kuin perus Llama 3.1 -malli, ja se onnistuu säilyttämään loogisen johdonmukaisuuden pitkien kontekstien teknisissä selityksissä.

Tuetut tehtävät ja moodit

ShiningValiant2 on yksimodaalinen tekstistä tekstiin -malli. Se loistaa ympäristöissä, joissa tarvitaan syvää alan asiantuntemusta. Tyypillisiä käyttötapauksia ovat:

• Tieteellinen Q&A: Monimutkaisten biologisten mekanismien selittäminen, kuten lysosomaalisten entsyymien rooli, tai kirallisten apuaineiden käytön kuvaaminen orgaanisessa synteesissä.
• Jäsennelty logiikka: Monivaiheisten suunnitteluongelmien ratkaiseminen ja teknisen dokumentaation kirjoittaminen.
• Keskusteleva tekoäly: Toimiminen erittäin tietävänä ja innostuneena teknisenä avustajana tutkijoille ja kehittäjille.

Malli vaatii tiukan Llama 3.1 Instruct -kehotepohjan toimiakseen optimaalisesti. Järjestelmäkehotteet ovat erittäin tehokkaita ohjaamaan sen persoonaa. Kehittäjät voivat alustaa mallin helposti käyttämällä tavallisia Hugging Face -putkia device_map="auto" -asetuksella monen GPU:n jakelua varten.

Lisensointi ja käyttömahdollisuudet

Valiant Labs jakaa ShiningValiant2:n Hugging Facen kautta standardin Llama 3.1 Community License -lisenssin mukaisesti. Painot ovat avoimia ja saatavilla välittömään lataukseen. Valiant Labs kannustaa kehittäjiä nimenomaisesti käyttämään ShiningValiant2:ta pohjana jatkohienosäädölle.

Paikallista käyttöönottoa varten avoimen lähdekoodin yhteisö on kvantoinut mallia voimakkaasti. Ylläpitäjät kuten bartowski tarjoavat GGUF-muotoja, mukaan lukien kehittyneitä imatrix-kvantointeja (esim. Q4_0). Nämä kvantoinnit mahdollistavat koneoppimisen insinööreille 70B-mallin ajamisen kuluttajatason laitteistolla. Tavallinen kaksois-RTX 3090/4090 -kokoonpano tai Apple Silicon Mac Studio, jossa on 64 Gt+ yhtenäistä muistia, pystyy sujuvasti ajamaan kvantoidun mallin interaktiivisilla tokenien tuottotaajuuksilla.

Vertailu samankaltaisiin malleihin

ShiningValiant2 sijoittuu tiettyyn kapeaan markkinarakoon yleisten avopainomallien ja suljettujen tieteellisten mallien välille.

• Suhteessa Llama 3.1 70B Instructiin: Vaikka Meta:n perusmalli on vahva yleiskäyttöinen, ShiningValiant2 luopuu laajasta neutraaliudesta tietyn, innostuneen persoonan ja syvemmän välittömän palautuksen hyväksi erikoistuneesta tieteellisestä kirjallisuudesta.
• Suhteessa Valiant Labs Enigmaan ja Fireplaceen: Valiant Labsin ekosysteemissä ShiningValiant2 on tieteellisen päättelyn moottori. Sen sijaan Enigma on tiukasti koodiin erikoistunut malli, ja Fireplace on optimoitu nimenomaan funktiokutsujen ja agenttipohjaisten työnkulkujen tarpeisiin.
• Suhteessa suljettuihin malleihin (Claude 3.5 Sonnet / GPT-4o): ShiningValiant2 tarjoaa paikallisen ja erittäin ohjattavan vaihtoehdon tekniseen päättelyyn. Se antaa tutkijoille täydellisen datan yksityisyyden arkaluonteisissa tieteellisissä kyselyissä, mikä on kriittinen etu API-pohjaisiin malleihin verrattuna.
• Suhteessa pienempiin sisaruksiin: Valiant Labs ylläpitää myös ShiningValiant2:n Llama 3.1 8B- ja Llama 3.2 3B -versioita. 70B-versio on huomattavasti hitaampi ja vaatii enemmän resursseja, mutta tarjoaa selvästi paremman loogisen johdonmukaisuuden monimutkaisissa fysiikan ja kemian tehtävissä.