Ludwig Schmidt
Assistant Professor at Stanford University (CS & Stanford Data Science); Member of Technical Staff at Anthropic and LAION; researcher specializing in ML foundations, datasets, multimodality, reliable generalization, and language models
Themes
Ludwig Schmidt adalah Asisten Profesor di Stanford University, ditugaskan bersama di Departemen Ilmu Komputer dan Stanford Data Science, serta juga menjabat sebagai Anggota Staf Teknis di Anthropic dan LAION. Penelitiannya berfokus pada fondasi pembelajaran mesin, dengan penekanan khusus pada kumpulan data, multimodalitas, generalisasi yang andal, dan model bahasa.
Ia meraih gelar PhD dari MIT pada tahun 2018, di mana disertasinya yang berjudul “Algorithms Above the Noise Floor” menerima George M. Sprowls Award untuk tesis PhD terbaik dalam bidang ilmu komputer di MIT. Schmidt telah berkontribusi pada beberapa inisiatif open-source dan riset yang terkenal, termasuk OpenCLIP, OpenFlamingo, LAION-5B, DataComp, dan DataComp-LM, yang banyak digunakan oleh komunitas riset pembelajaran mesin untuk melatih dan mengevaluasi model visi dan bahasa skala besar.
Karier Akademik dan Peran Institusional
Sebelum tiba di Stanford, Schmidt membangun karier akademiknya melalui serangkaian posisi yang mencerminkan perkembangan yang disengaja melintasi beberapa institusi paling terkemuka di bidangnya. Setelah menyelesaikan pekerjaan doktoralnya di MIT dengan bimbingan Piotr Indyk, ia mengambil fellowship pascadoktoral di departemen Electrical Engineering and Computer Science di UC Berkeley pada 2018 hingga 2020. Ia kemudian bergabung dengan University of Washington sebagai asisten profesor pada 2021, peran yang diembannya hingga 2024 ketika ia beralih ke Stanford. Pada periode yang saling tumpang tindih, ia juga mempertahankan afiliasi riset dengan Allen Institute for Artificial Intelligence dan Toyota Research Institute, memperluas pengalamannya dalam lingkungan riset terapan dan industri sebelum penugasan saat ini.
Di Stanford, Schmidt memiliki penugasan bersama antara Departemen Ilmu Komputer dan Stanford Data Science. Kantor beliau berlokasi di Gates Hall, dan ia mengajar mata kuliah tingkat pascasarjana termasuk Machine Learning (CS 229). Saat ini, ia membimbing sekelompok mahasiswa doktoral yang mengerjakan topik-topik terkait program riset yang lebih luas, termasuk Anas Awadalla, Alex Fang, dan Dhruba Ghosh, di antara lainnya.
Tema Riset dan Kontribusi yang Menonjol
Salah satu benang merah yang berulang dalam karya Schmidt adalah kepeduliannya terhadap apakah sistem pembelajaran mesin benar-benar melakukan apa yang diklaim oleh para peneliti—terutama dalam hal generalisasi. Makalahnya tahun 2019 yang mempertanyakan apakah pengklasifikasi ImageNet benar-benar melakukan generalisasi, yang diterbitkan di ICML, menantang asumsi yang telah diterima secara luas dalam komunitas visi komputer dan mendorong pengkajian yang lebih luas terhadap metodologi benchmark. Keraguan berbasis bukti ini juga meluas ke riset keadilan: kontribusinya pada “Retiring Adult,” sebuah penilaian ulang benchmark yang meraih New Horizons Award di EAAMO 2021, menguji apakah kumpulan data keadilan yang umum digunakan tetap bertahan ketika diuji secara kritis.
Ketahanan terhadap serangan adversarial menjadi area fokus lainnya. Schmidt menjadi co-author pada sebuah makalah mendasar yang mengeksplorasi model pembelajaran mendalam yang tahan terhadap gangguan adversarial; karya ini telah mengumpulkan rekam jejak sitasi yang substansial dan tetap menjadi rujukan dalam literatur tentang keamanan model.
Lebih baru, kelompoknya memusatkan perhatian pada sisi data dari pembelajaran mesin skala besar—bukan hanya apa yang dilakukan model, tetapi apa yang menjadi dasar pelatihannya. Ini mencakup pertanyaan tentang kurasi data, penyaringan kualitas, serta penyusunan benchmark yang memungkinkan perbandingan sistematis terhadap dataset pelatihan, bukan sekadar arsitektur model.
Inisiatif Open-Source dan Dataset Skala Besar
Kelompok Schmidt telah memberikan kontribusi berkelanjutan pada infrastruktur open-source untuk riset pembelajaran mesin. Di antara yang paling banyak digunakan adalah LAION-5B, sebuah dataset berisi lima miliar pasangan gambar-teks yang menerima penghargaan paper luar biasa di NeurIPS 2022 dan telah menjadi fondasi untuk melatih banyak model multimodal. OpenCLIP, reproduksi dan pengembangan terbuka dari keluarga model CLIP, serta OpenFlamingo, implementasi terbuka model bahasa multimodal, muncul dari ekosistem kolaboratif yang sama.
Proyek DataComp, yang diakui di NeurIPS 2023, mengubah cara komunitas riset memandang pengembangan dataset multimodal dengan menciptakan benchmark terkontrol di mana arsitektur model dan prosedur pelatihan dibuat tetap, sehingga memungkinkan peneliti mengevaluasi kontribusi pilihan kurasi data secara langsung. Penerusnya, DataComp-LM (DCLM), yang diterbitkan di NeurIPS 2024, memperluas pendekatan ini ke kumpulan data pelatihan model bahasa, dengan menanggapi pertanyaan tentang apa yang membuat korpus teks efektif untuk pretraining dalam skala besar.
Pengakuan dan Dampak Sitasi
Rekam publikasi Schmidt mencakup teori pembelajaran mesin, visi komputer, pemrosesan bahasa alami, dan AI yang berpusat pada data. Karyanya telah meraih penghargaan best paper di ICML dan NeurIPS, serta penghargaan best paper finalist di CVPR. Secara keseluruhan, makalah-makalahnya telah mengumpulkan lebih dari 50.000 sitasi, angka yang didorong sebagian oleh kontribusi berdampak tinggi pada ketahanan terhadap serangan adversarial dan pembuatan dataset skala besar. Tesis doktoralnya, yang berfokus pada algoritma yang mampu beroperasi secara andal dalam kondisi adanya gangguan, menerima George M. Sprowls Award, penghargaan MIT untuk disertasi PhD yang luar biasa dalam bidang ilmu komputer.