Скейлинг Интеллидженс Лаб (Scaling Intelligence Lab)
Type Зерттеу зертханасы
Америка Құрама Штаттары 2024 2-10 адам 
Themes
Scaling Intelligence Lab — Стэнфорд университетіндегі шағын зертханалық зерттеу орталығы. Ол 2024 жылы құрылған және Калифорния штатының Стэнфорд қаласында орналасқан. Зертхана ауқымданатын әрі өзін-өзі жетілдіретін АЖ жүйелерін әзірлеуге бағытталған; зерттеулері агенттік оңтайландыру, автоматтандырылған бағалау мен бенчмаркинг, үлкен тілдік модельдер және жүйелерге арналған АЖ салаларын қамтиды.
Оның жұмысы жасанды жалпы интеллектке (AGI) қатысты әдістемелерді ілгерілетуге бағытталған. Зертхана сондай-ақ Стэнфордтағы CS329A (Self-Improving AI Agents) және CS229S (Systems for Machine Learning) сияқты курстар арқылы білім беруге үлес қосып, ауқымданатын жүйелер мен қазіргі заманғы машиналық оқытудың қиылысуына қызығатын зерттеушілер мен студенттер үшін ресурс болып табылады.
Масштабталатын АИ негіздері
Scaling Intelligence Lab машиналық оқыту мен жүйелік инженерияның тоғысқан жерінде жұмыс істейді. Оның басты бағыты — статикалық деректер жиынтығына ғана сүйенбей, өзара әрекет арқылы өзін жетілдіретін АИ құру.
2024 жылы Azalia Mirhoseini негізін қалаған зертхана қазіргі шектеулерден асып, АИ жүйелері қалай масштабталуы мүмкін деген зерттеу сұрақтарынан пайда болды. Stanford университетінің ассистент-профессоры Mirhoseini бұрын Google Brain құрамында нейрондық архитектураны іздеу және аппараттық қамтамасыздандыруға бейімдеп оқыту бойынша жұмыстарға үлес қосқан.
Зертхананың тәсілі теориялық негіздемелерді практикалық жүйе жобалауымен ұштастырады. Оның жобалары көбіне алгоритмдік жаңашылдық пен нақты әлемдегі енгізу шектеулері арасындағы алшақтықты тоғыстырады.
Негізгі зерттеу бағыттары
Зертхана өз жұмысын төрт негізгі тақырып төңірегінде ұйымдастырады. Әр тақырып неғұрлым қабілетті АИ жүйелерін әзірлеудегі бөлек бір қиындықты шешуге бағытталған.
- Масштабталатын интеллект: Дерек көлемі, модель өлшемі және есептеу талаптары артқан сайын өнімділігін сақтайтын АИ жүйелеріне арналған әдістер.
- Агенттік оңтайландыру: Машиналардың өзара әрекеттен үйренуіне мүмкіндік беретін, уақыт өте келе пайымдау мен жоспарлау қабілеттерін жақсартатын құрылымдар.
- Автоматтандырылған бағалау: Адамның қатысуынсыз АИ өнімділігін бағалауға арналған құралдар, соның ішінде бенчмаркинг және верификация жүйелері.
- АИ-жүйені бірлесіп жобалау: АИ модельдерін де, оларды оқытатын және қызмет көрсететін жүйелерді де оңтайландыруға арналған тәсілдер; көбіне оңтайландыру қозғалтқышы ретінде АИ-дің өзін пайдаланады.
Жақында жүргізілген жобалар бұл тақырыптардың тәжірибеде қалай көрінетінін көрсетеді. Мысалы, "Weaver" әлсіз верификаторлар АИ жүйелерінде генерация мен верификация арасындағы алшақтықты қалай азайтатынын зерттейді. Тағы бір жоба — "RoboMonkey" робототехникадағы көру–тіл–әрекет модельдеріне тест уақыты кезіндегі іріктеу мен верификацияны қолданады.
Жобалар және ашық бастапқы үлестер
Зертхана зерттеу басымдықтарын көрсететін репозиторийлері бар GitHub-та белсенді қатысуын сақтайды. Бірнеше жоба АИ қауымдастығында қарқын алды.
- KernelBench: Үлкен тілдік модельдердің тиімді GPU ядроларын (kernels) генерациялай алатынын бағалауға арналған бенчмарк және құралдар жинағы. Репозиторийде PyTorch операцияларын CUDA және басқа да доменге тән тілдерге түрлендіруге арналған құралдар бар.
- Archon: JSON конфигурациялық файлдарын пайдаланып, инференс уақыты тәсілдерін және тілдік модельдерді біріктіруге арналған модульдік құрылым. Жоба әртүрлі модель комбинациялары мен оңтайландыру стратегияларымен тәжірибе жасауды жеңілдетеді.
- Tokasaurus: Өткізу қабілеті жоғары жүктемелерге арналған, үлкен тілдік модельдерде токен генерациясын оңтайландыруға баса назар аударатын инференс қозғалтқышы.
Бұл жобалар көбіне зерттеу мақалаларымен қатар деректер жиынтықтарын, модельдерді және қызмет көрсету қозғалтқыштарын қамтиды. Зертхананың ашық бастапқы жұмыстары робототехникаға да таралады: мысалы, "RoboMonkey" репозиторийлері көру–тіл–әрекет модельдерін бағалауға арналған құралдар ұсынады.
Білім беру және ынтымақтастық
Зертхана өз зерттеулерін Stanford оқу бағдарламасына екі курс арқылы кіріктіреді. CS329A өзін-өзі жетілдіретін АИ агенттерін қарастырады, қоршаған ортамен өзара әрекет арқылы үздіксіз оқытуға арналған әдістерді қамтиды. CS229S машиналық оқытуға арналған жүйелерге бағытталған, трансформатор архитектуралары мен үлкен тілдік модельдер үшін тиімді оқыту және инференске баса назар аударады.
Ынтымақтастық университеттен тыс та жалғасады. Зертхананың жұмысы Scale Labs-пен, әсіресе агенттік бағалау мен бенчмаркинг сияқты бағыттарда қиылысады. SWE-Bench Pro және SciPredict сияқты жобалар АИ мүмкіндіктерін әртүрлі домендер бойынша бағалауға қатысты ортақ қызығушылықтарды көрсетеді.
Болашақ студенттер мен зерттеушілер зертханамен құрылымдалған арналар арқылы байланысады. PhD үміткерлері Stanford CS өтінімінде олардың қызығушылығын көрсетеді, ал қазіргі Stanford студенттері жарияланған ашық орындар арқылы жобаларға қатыса алады. Зертхана үлес қосқысы келетін студенттерге арналған форманы жүргізеді; онда постдоктар мен жоба жетекшілері үшін нақты нұсқаулықтар берілген.