Valiant Labs Llama 3.1 70B ShiningValiant2
קלט
פלט
מודל בסיס
llama-3.1
קטגוריות
ערכות נושא
Valiant Labs Llama 3.1 70B ShiningValiant2 הוא מודל שפה גדול שעבר התאמה אישית, שפותח על ידי Valiant Labs, המבוסס על ארכיטקטורת Llama 3.1 70B של Meta. זהו מודל טרנספורמר מטקסט לטקסט עם 70 מיליארד פרמטרים, שנועד לעבד ולייצר שפה טבעית.
כנגזרת של מודל הבסיס Llama 3.1 עם משקלים פתוחים, הוא זמין דרך Hugging Face תחת ארגון ValiantLabs וניתן לגשת אליו או לפרוס אותו על ידי חוקרים ומפתחים בעלי משאבי מחשוב מספקים. הכינוי ShiningValiant2 מציין שמדובר בהתאמה עדכנית בתוך סדרת המודלים של Valiant Labs, ככל הנראה מותאם לשיפור מעקב אחר הוראות, יכולת שיחה או יכולות ממוקדות אחרות ביחס למודל הבסיס.
פיתוחים בחזית: נתונים פתוחים והשוואות מדעיות
Valiant Labs פרסה את הגרסה המכרעת של Llama 3.1 70B ShiningValiant2 ב-30 באוקטובר 2024. מהדורה זו שילבה מערך נתונים מורחב מאוד של science-instruct. בניגוד למגמת התעשייה של צינורות התאמה אישית קנייניים, Valiant Labs פרסה במלואה קוד פתוח של נתוני האימון הבסיסיים של המודל. כעת מהנדסי למידת מכונה יכולים לבחון ישירות, לסנן ולשנות את מערכי הנתונים המדויקים שמניעים את התנהגות המודל.
ההתמקדות המדעית הייעודית של המודל משכה תשומת לב אקדמית משמעותית. ב-14 ביוני 2025, חוקרים הציגו את ShiningValiant2 ב-SoSBench, מדד ייחוס המתמקד בסכנות ובוחן מודלים של שפה גדולים על ידע מדעי בעל סיכון גבוה. המחקר השתמש ב-ShiningValiant2 כנבדק הבדיקה הראשי כדי למדוד התאמת בטיחות באמצעות 3,000 הנחיות מורכבות בכימיה, ביולוגיה, רפואה ופרמקולוגיה. הכללתו מעגנת את מעמד המודל ככלי רציני להסקה מדעית עמוקה, מעבר למדדי שיחה סטנדרטיים.
ארכיטקטורה וספירת פרמטרים
ShiningValiant2 פועל על ארכיטקטורת Transformer מסוג decoder-only עם 70 מיליארד פרמטרים. זהו fine-tune ישיר של meta-llama/Meta-Llama-3.1-70B-Instruct של Meta. המודל יורש את בסיס Llama 3.1 החזק. זה כולל אוצר מילים רחב של 128,000 טוקנים ותמיכה מובנית בחלונות הקשר עצומים.
מתחת למכסה המנוע, המודל משתמש ב-Grouped-Query Attention (GQA) כדי לשמור על הסקה יעילה למרות ספירת הפרמטרים העצומה שלו. מפתחים מפעילים בדרך כלל את המודל בדיוק bfloat16 באמצעות ספריית transformers של Hugging Face. הארכיטקטורה נשארת טקסט-לטקסט בלבד, ומתמקדת לחלוטין בעיבוד שפה טבעית וביצירת טקסט, ללא התקורה של מקודדי תמונה או אודיו מולטי-מודאליים.
נתוני אימון ומתודולוגיה
Valiant Labs הנדסה את ShiningValiant2 כדי לתעדף ידע טכני, חשיבה מובנית וטון שיחה נלהב. המפתחים השיגו זאת באמצעות fine-tuning של מודל הבסיס על שלושה מערכי נתונים ייחודיים בקוד פתוח, המאוחסנים תחת ריפו ה-sequelbox:
- Celestia: מערך נתונים של 126,000 שורות המוקדש לידע טכני קשה. הוא מאנדקס בכבדות תחומים כמו פיזיקה, כימיה, ביולוגיה, אסטרונומיה, מדעי כדור הארץ ומדעי המחשב.
- Spurline: מערך נתונים של 10,700 שורות שעבר אוצרות קפדנית, המתמקד אך ורק בהסקה לוגית מורכבת מרובת-שלבים ותורת המידע.
- Supernova: מערך נתונים של 178,000 שורות שנועד לשפר יכולות שיחה כלליות. זה מבטיח שהמודל יישאר ידידותי, חד-מחשבה ורעב ללמוד.
מתודולוגיית האימון שכבתית את מערכי הנתונים הייעודיים הללו על גבי בסיס Llama 3.1 70B Instruct שכבר מסוגל מאוד. גישה זו מונעת שכחה קטסטרופלית של ידע כללי תוך שיפור חד של ביצועי המודל בתחומי STEM. Valiant Labs כיוונה את המודל במפורש כדי להימנע מהטון היבש והרובוטי האופייני ל-AI תאגידי, תוך העדפת פרסונה שהיא גם בעלת ידע רב וגם תקשורתית.
ביצועי מדדים ומדדי מפתח
מאחר ש-ShiningValiant2 בנוי על בסיס Llama 3.1 70B Instruct, הוא יורש בסיס ביצועים עצום, כולל ציונים גבוהים ב-MMLU וב-HumanEval. עם זאת, Valiant Labs העבירה את מוקד ההערכה הרחק ממדדי ייחוס ותיקים ואל עבר יישום מדעי מעשי.
ביצועי המודל בהערכות SoSBench של 2025 מדגישים את יכולתו להתמודד עם שאלות מדעיות ברמת בוגר. שילוב מערך הנתונים Spurline משפר במיוחד את ניתוב ההיגיון ה-zero-shot של המודל. כאשר נבדק על בעיות הנדסיות מרובות-שלבים, ShiningValiant2 מציג שיעור נמוך יותר של הזיות מאשר מודל הבסיס Llama 3.1, תוך שמירה מוצלחת על עקביות לוגית לאורך הסברים טכניים ארוכי-הקשר.
משימות נתמכות וסוגי קלט
ShiningValiant2 הוא מודל טקסט-לטקסט חד-מודאלי. הוא מצטיין בסביבות הדורשות מומחיות עמוקה בתחום. מקרי שימוש ממוקדים כוללים:
- שאלות ותשובות מדעיות: הסבר מנגנונים ביולוגיים מורכבים, כמו תפקידם של אנזימי ליזוזומליים, או פירוט השימוש בעזרי כיראליות בסינתזה אורגנית.
- לוגיקה מובנית: פתרון בעיות הנדסיות מרובות-שלבים וכתיבת תיעוד טכני.
- AI שיחתי: תפקוד כעוזר טכני בעל ידע רב ונלהב עבור חוקרים ומפתחים.
כדי לתפקד בצורה אופטימלית, המודל דורש תבנית prompt קפדנית של Llama 3.1 Instruct. System prompts יעילים מאוד לכוון את הפרסונה שלו. מפתחים יכולים לאתחל בקלות את המודל באמצעות pipelines סטנדרטיים של Hugging Face עם device_map="auto" לחלוקה בין מספר GPUs.
רישוי ואפשרויות גישה
Valiant Labs מפיצה את ShiningValiant2 דרך Hugging Face תחת רישיון Llama 3.1 Community הסטנדרטי. המשקולות פתוחות וזמינות להורדה מיידית. Valiant Labs מעודדת במפורש מפתחים להשתמש ב-ShiningValiant2 כבסיס להתאמות נוספות.
לפריסה מקומית, קהילת הקוד הפתוח כימתה בכבדות את המודל. תחזוקנים כמו bartowski מספקים פורמטים של GGUF, כולל כימותים מתקדמים של imatrix (למשל Q4_0). כימותים אלה מאפשרים למהנדסי ML להריץ את מודל ה-70B על חומרה ברמת צרכן. תצורה סטנדרטית של RTX 3090/4090 כפול או Apple Silicon Mac Studio עם 64GB+ של זיכרון מאוחד יכולים להריץ בנוחות את המודל מכומת בקצבי יצירת טוקנים אינטראקטיביים.
השוואה למודלים דומים
ShiningValiant2 תופס נישה ייחודית בין מודלים פתוחים כלליים בעלי משקולות לבין מודלים מדעיים קנייניים.
- לעומת Llama 3.1 70B Instruct: בעוד שמודל הבסיס של Meta הוא כללי חזק, ShiningValiant2 מחליף ניטרליות רחבה בפרסונה ייעודית, נלהבת יותר, ובזיכרון מיידי עמוק יותר של ספרות מדעית ייעודית.
- לעומת Valiant Labs Enigma ו-Fireplace: בתוך האקוסיסטם של Valiant Labs, ShiningValiant2 הוא מנוע ההסקה המדעית. לעומת זאת, Enigma הוא מודל המתמחה בקוד בלבד, ו-Fireplace מותאם במיוחד לקריאות פונקציה ולזרימות עבודה סוכניות.
- לעומת מודלים קנייניים (Claude 3.5 Sonnet / GPT-4o): ShiningValiant2 מציע חלופה מקומית, ניתנת לכיוון מאוד, להסקה טכנית. הוא מספק לחוקרים פרטיות נתונים מלאה עבור שאילתות מדעיות רגישות, יתרון קריטי על פני מודלים מבוססי API.
- לעומת אחים קטנים יותר: Valiant Labs גם מחזיקה גרסאות Llama 3.1 8B ו-Llama 3.2 3B של ShiningValiant2. גרסת ה-70B איטית משמעותית ועתירת משאבים יותר, אך מציעה עקביות לוגית עדיפה בהרבה במשימות מורכבות של פיזיקה וכימיה.