Jabuticaba

배경

Jabuticaba는 브라질 포르투갈어에 초점을 둔 대규모 사전학습 코퍼스로서 2025년에 공개되었습니다. 이름은 브라질에 자생하는 과일인 자부티카바를 참조하며, 데이터셋의 명시적인 국가적·언어적 지향을 반영합니다. 이 프로젝트는 대규모 언어 모델(LLM)을 학습하기 위한 고품질의 대규모 포르투갈어 데이터의 가용성에 오랫동안 존재해 온 공백을 해결하고자 합니다. 특히 브라질에서의 사용 양상과 어휘를 대표하는 데이터에 중점을 둡니다.

포르투갈어는 전 세계에서 가장 많이 사용되는 언어 중 하나이지만, 영어에 대해 제공되는 것과 견줄 만한 규모의 사전학습 코퍼스는 역사적으로 부족했습니다. Jabuticaba는 이러한 격차를 줄이기 위해 개발되었으며, 더 넓은 범포르투갈어(pan-Portuguese) 지형보다는 브라질 포르투갈어에 구체적으로 초점을 맞췄습니다.

핵심 특징

이 데이터셋은 669GB의 텍스트 데이터로 구성되어 있으며 1,390억 개가 넘는 토큰을 포함합니다. 이는 포르투갈어 LLM 개발을 위한 공개 상업용 코퍼스 중에서도 가장 큰 규모 중 하나입니다. 데이터는 품질을 개선하고 중복을 줄이기 위한 정제 및 중복 제거(deduplication) 과정을 거쳤으며, 이는 사전학습 코퍼스 준비에서 일반적으로 고려되는 사항입니다.

• 규모: 669GB, 1,390억 토큰
• 언어: 포르투갈어, 브라질 포르투갈어에 초점
• 모달리티: 텍스트만
• 도메인: 일반
• 라이선스: 상업용
• 목적: 대규모 언어 모델 사전학습

상업용 라이선스는 Jabuticaba를 비상업적 연구에만 사용을 제한하는 많은 오픈 액세스 데이터셋과 구분해 줍니다. 이러한 라이선싱 방식은 포르투갈어로 된 프로덕션 수준의 언어 시스템을 개발하는 조직들의 활용 범위를 넓힙니다.

사용 사례 및 적용 분야

Jabuticaba는 주로 대규모 언어 모델 개발의 사전학습 단계에 맞춰 설계되었습니다. 이 단계에서 모델은 큰 코퍼스로부터 일반적인 언어 표현을 학습한 뒤, 특정 작업을 위해 미세 조정(fine-tuning)합니다. 규모와 언어에 대한 집중도를 고려할 때, 브라질 포르투갈어로 수행되는 텍스트 생성, 기계 번역, 질의응답, 요약 및 기타 자연어 처리 작업을 포함한 다양한 하위 응용 분야에 적용 가능합니다.

처음부터 포르투갈어 LLM을 구축하는 연구자와 개발자, 그리고 기존 다국어 모델을 브라질 포르투갈어에 맞게 조정하는 사용자들이 주요 의도 대상입니다. 데이터셋의 일반 도메인 커버리지는 특정 전문 분야에만 국한되지 않고 다양한 유형의 모델을 지원할 수 있음을 의미합니다.

포르투갈어 NLP에 대한 의의

Jabuticaba의 공개는 포르투갈어를 위한 언어 자원 생태계가 성장하는 데 기여합니다. 포르투갈어는 브라질에서만 2억 명이 넘는 사람들이 사용하는 언어입니다. 이와 같은 규모의 대규모, 중복 제거된, 상업용으로 라이선스가 부여된 코퍼스는 이전에는 영어, 중국어, 독일어 같은 언어에서 더 흔히 이용 가능했습니다. 브라질 포르투갈어에 대해 이 정도 규모의 코퍼스가 제공된다는 점은 지역 어휘, 맞춤법 관례, 문화적 맥락을 포함해 브라질의 언어 규범을 더 잘 반영하는 모델 개발을 뒷받침할 수 있습니다.

경쟁력 있는 LLM 사전학습에 충분히 큰 규모의 데이터셋을 제공하는 동시에 상업적 사용이 가능하도록 라이선스를 부여함으로써, Jabuticaba는 학술 기관과 민간 조직 모두가 다국어 코퍼스에만 의존하지 않고도 포르투갈어용 유능한 AI 시스템을 구축할 수 있도록 하는 장벽을 낮춥니다. 다국어 코퍼스에서는 포르투갈어 데이터의 비중이 상대적으로 제한될 수 있기 때문입니다.