Pirá
Kategori
Tema
Pirá adalah kumpulan data tanya jawab dwibahasa (Portugis dan Inggris) yang berfokus pada ilmu kelautan dan iklim, dibuat oleh Paulo Pirozelli dan dirilis pada 2023. Kumpulan data ini berisi 2.258 sampel yang diambil dari literatur ilmiah yang berkaitan dengan oseanografi dan topik lingkungan, sehingga menjadikannya salah satu dari sedikit tolok ukur NLP yang secara khusus menargetkan ranah ilmu kelautan dan iklim dalam bahasa Portugis.
Kumpulan data ini mendukung beberapa tugas, termasuk pemahaman bacaan, pemahaman bacaan berbasis mesin, penelusuran informasi, tanya jawab pilihan ganda, dan pemicu jawaban. Kumpulan data ini diorganisasi ke dalam pemisahan train, validation, dan test, dengan subset yang mencakup konfigurasi bawaan, QA pilihan ganda, parafrasa, serta versi pertama dari kumpulan data tersebut, sehingga cocok untuk melatih dan mengevaluasi model NLP pada konten ilmiah spesifik ranah.
Dataset Pirá: Penanda Aras untuk LLM pada Ilmu Kelautan dan Iklim
Seiring model bahasa besar semakin banyak menangani domain ilmiah yang spesifik, dataset Pirá telah mengukuhkan perannya sebagai penanda aras bilingual terkemuka. Setelah pembaruan besar versi 2.0 dan tampil menonjol dalam riset NLP pada 2025 dan 2026—termasuk workshop ClimateNLP 2025—Pirá kini menjadi sumber utama untuk mengevaluasi strategi Retrieval-Augmented Generation (RAG) dan fine-tuning dalam ilmu iklim dan kelautan.
Struktur Data dan Cakupan
Pirá 2.0 berisi 2.258 set Question-Answering (QA) yang disusun dengan cermat dalam bahasa Portugis dan Inggris. Dataset ini berfokus pada tiga area inti: samudra global, pesisir Brasil (\"Blue Amazon\"), dan perubahan iklim.
Setiap sampel mencakup teks pendukung, pertanyaan dan jawaban asli dalam kedua bahasa, jawaban validasi, serta evaluasi manusia. Rilis 2.0 secara signifikan memperluas kegunaan dataset. Dataset ini menambahkan terjemahan otomatis bahasa Portugis untuk semua teks pendukung, label keterjawaban, dan kandidat pilihan ganda yang menyediakan lima opsi untuk setiap pertanyaan. Dataset ini juga memperkenalkan parafrase yang dihasilkan secara otomatis—menggunakan PEGASUS untuk bahasa Inggris dan PTT5 untuk bahasa Portugis—sehingga menyediakan augmentasi data bawaan untuk melatih model yang lebih besar.
Metodologi Pengumpulan
Dataset ini bertumpu pada fondasi literatur yang ditinjau sejawat dan laporan dari para ahli. Teks pendukung berasal dari dua sumber utama. Pertama adalah korpus yang berisi 3.891 abstrak ilmiah dari basis data Scopus yang berkaitan dengan pesisir Brasil. Kedua terdiri dari 189 kutipan dari laporan World Ocean Assessment milik Perserikatan Bangsa-Bangsa.
Untuk menghasilkan pasangan QA, para pembuat menerapkan alur kerja crowdsourcing yang sistematis. Sebuah kelompok yang terdiri dari 254 relawan—termasuk peneliti kelautan, mahasiswa pascasarjana, dan mahasiswa sarjana—membaca teks dan menyusun pertanyaan yang dapat dijawab secara ketat menggunakan konteks yang disediakan. Pada fase sekunder, relawan saling mengevaluasi set QA untuk tata bahasa, kompleksitas, dan koherensi logis. Pembaruan 2.0 semakin menyempurnakan data ini dengan menghapus kesalahan tata bahasa, pengulangan, dan kekurangan struktural yang ditemukan pada rilis awal.
Kasus Penggunaan yang Ditujukan
Pirá 2.0 menguji kemampuan model pembelajaran mesin untuk memproses pengetahuan ilmiah dari para ahli. Dataset ini menetapkan enam penanda aras formal:
- Jawaban pertanyaan generatif tertutup
- Pemahaman bacaan berbasis mesin
- Pengambilan informasi
- Jawaban pertanyaan terbuka
- Pemicu jawaban
- Jawaban pertanyaan pilihan ganda
Studi-studi terbaru pada 2025 menggunakan Pirá untuk mengevaluasi teknik adaptasi domain. Para peneliti sering memakainya untuk membandingkan kerangka RAG dengan fine-tuning model, sekaligus menguji seberapa baik retriever seperti ColBERTv2 menangani korpus bilingual yang sangat terspesialisasi. Selain itu, dimasukkannya pertanyaan yang tidak dapat dijawab membuat Pirá menjadi sumber yang pionir untuk pemicu jawaban—mengajarkan model untuk menahan diri daripada menjawab, alih-alih mengarang fakta.
Lisensi dan Akses
Pirá mendorong open science. Dataset ini dilisensikan di bawah CC BY 4.0. Ilmuwan data dapat mengintegrasikan data langsung ke dalam pipeline mereka melalui Hugging Face atau mengakses file mentah, beberapa pembagian (train, validation, test), serta kode eksperimen melalui repositori GitHub proyek.
Keterbatasan dan Bias yang Diketahui
Meskipun kuat, Pirá memiliki keterbatasan yang khas. Dataset ini condong secara geografis ke pesisir Brasil. Model yang dilatih secara eksklusif menggunakan data ini mungkin terlalu menekankan ekosistem kelautan Atlantik Selatan dan berkinerja lebih rendah pada kueri oseanografi global.
Selain itu, teks pendukung bergantung pada bahasa akademik yang padat dan sangat terspesialisasi. Kesulitan leksikal yang tajam ini membuat LLM tujuan umum kesulitan sejak awal. Para peneliti perlu memperhitungkan kompleksitas ini, karena model biasanya memerlukan adaptasi domain yang terarah sebelum mencapai performa dasar pada penanda aras Pirá.