Pirá
Категорії
Теми
Pirá — це двомовний (португальська та англійська) набір даних для відповідей на запитання, зосереджений на океанічній та кліматичній науці, створений Паулу Піроцеллі та оприлюднений у 2023 році. Він містить 2 258 прикладів, відібраних із наукової літератури, пов’язаної з океанографією та темами довкілля, що робить його одним із небагатьох NLP-бенчмарків, спеціально орієнтованих на морську та кліматичну науку португальською мовою.
Набір даних підтримує кілька завдань, зокрема розуміння прочитаного, машинне розуміння прочитаного, пошук інформації, відповідь на запитання з варіантами та ініціювання відповіді. Його організовано на розбиття train, validation і test, а підмножини охоплюють типові конфігурації, QA з варіантами відповідей, перефрази та першу версію набору даних, що робить його придатним для тренування й оцінювання NLP-моделей на предметному науковому контенті.
Набір даних Pirá: бенчмаркінг LLM для океанічної та кліматичної науки
Оскільки великі мовні моделі дедалі частіше беруться за спеціалізовані наукові домени, набір даних Pirá закріпив за собою роль провідного двомовного бенчмарка. Після масштабного оновлення 2.0 та помітних функцій у дослідженнях з НЛП у 2025 і 2026 роках — зокрема на семінарі ClimateNLP 2025 — Pirá нині є ключовим ресурсом для оцінювання стратегій Retrieval-Augmented Generation (RAG) і донавчання в кліматичних та морських науках.
Структура даних і охоплення
Pirá 2.0 містить 2 258 ретельно відібраних наборів для запитань-відповідей (QA) португальською та англійською мовами. Набір даних зосереджується на трьох ключових напрямах: глобальні океани, бразильське узбережжя (так званий «Блакитний Амазон») і зміна клімату.
Кожен приклад містить підтримувальний текст, оригінальні запитання й відповіді в обох мовах, відповіді для валідації та людські оцінювання. Реліз 2.0 суттєво розширив практичну цінність набору даних. Він додав автоматичні переклади всіх підтримувальних текстів португальською, мітки відповідаємості та варіанти для множинного вибору з п’ятьма опціями на кожне запитання. Також було введено автоматично згенеровані перефразування — використовуючи PEGASUS для англійської та PTT5 для португальської — що забезпечує вбудоване розширення даних для тренування більших моделей.
Методологія збирання
Набір даних спирається на підґрунтя рецензованої літератури та експертних звітів. Підтримувальні тексти походять із двох основних джерел. Перше — корпус із 3 891 наукового резюме з бази Scopus щодо бразильського узбережжя. Друге — 189 уривків із звітів Всесвітньої оцінки Світового океану Організації Об’єднаних Націй.
Щоб згенерувати пари QA, автори застосували системний краудсорсинговий робочий процес. Група з 254 волонтерів — серед них морські дослідники, аспіранти та студенти — прочитала тексти й створила запитання, на які можна відповісти строго на основі наданого контексту. На другому етапі волонтери перехресно оцінювали набори QA щодо граматики, складності та логічної узгодженості. Оновлення 2.0 додатково вдосконалило ці дані, вилучивши граматичні помилки, повтори та структурні недоліки, виявлені в початковому релізі.
Призначені сценарії використання
Pirá 2.0 перевіряє здатність моделей машинного навчання опрацьовувати експертні наукові знання. Набір даних задає шість формальних бенчмарків:
- Закрите генеративне запитання-відповідь
- Машинне читання з розумінням
- Пошук інформації
- Відкрите запитання-відповідь
- Тригер відповіді
- Запитання-відповідь із множинним вибором
Останні дослідження 2025 року використовують Pirá для оцінювання технік адаптації до домену. Дослідники часто застосовують його, щоб порівнювати RAG-фреймворки з донавчанням моделей, перевіряючи, наскільки добре ретривери на кшталт ColBERTv2 справляються з дуже спеціалізованими двомовними корпусами. Крім того, включення запитань, на які неможливо відповісти, робить Pirá новаторським ресурсом для тригера відповіді — навчаючи моделі утримуватися від відповіді, а не вигадувати факти.
Ліцензування та доступ
Pirá сприяє відкритій науці. Набір даних ліцензовано за CC BY 4.0. Науковці з роботи з даними можуть інтегрувати дані безпосередньо в свої конвеєри через Hugging Face або отримати доступ до сирих файлів, кількох розбиттів (train, validation, test) і коду для експериментів через репозиторій GitHub проєкту.
Відомі обмеження та упередження
Попри надійність, Pirá має виразні обмеження. Набір даних географічно зміщений у бік бразильського узбережжя. Моделі, натреновані виключно на цих даних, можуть надто орієнтуватися на морські екосистеми Південної Атлантики та демонструвати гірші результати на запитах щодо глобальної океанографії.
Крім того, підтримувальні тексти спираються на щільну, високо спеціалізовану академічну мову. Це складне лексичне навантаження спричиняє труднощі для універсальних LLM «з коробки». Дослідникам потрібно враховувати цю складність, адже моделям зазвичай потрібна цілеспрямована адаптація до домену, перш ніж вони досягнуть базової продуктивності на бенчмарках Pirá.