카테고리
테마
Compar:IA는 다양한 언어 모델(LLM)에서 생성된 응답 쌍을 블라인드 비교하여 수집한 263,625개의 투표로 구성된 프랑스어 선호도 데이터 세트입니다. 문화부 디지털 서비스에서 Beta.gouv.fr/DINUM 프로그램의 일환으로 제작했으며, Etalab 오픈 라이선스 2.0에 따라 Hugging Face에서 호스팅됩니다. 이 데이터 세트는 주로 언어 모델을 미세 조정하고 정렬에 대한 연구를 위한 것으로, 프랑스어 사용에 기반을 둔 데이터를 제공하는 것이 바람직합니다. 이러한 유형의 데이터 수집을 리투아니아어, 스웨덴어, 덴마크어 등 다른 언어로 확장하려는 유럽 전역의 이니셔티브의 일환입니다.
Compar:IA, 대규모를 정조준하다: 2026년 프랑스 정부의 오픈 LLM 아레나
2026년 초 기준으로, 영어 중심 정렬(alignment) 데이터의 지배력에 강력한 도전자가 등장했다. 프랑스 정부의 오픈소스 대화형 AI 아레나인 Compar:IA는 출시 이후 급격히 규모를 키웠다. 2026년 2월 공개 프리프린트에 따르면, 이 플랫폼은 60만 건이 넘는 자유 형식 프롬프트와 25만 건의 선호도 투표를 축적했다. 문화부와 DINUM 베타.gouv.fr 인큐베이터가 개발한 이 프로젝트는 다국어 대규모 언어 모델을 훈련하고 평가하는 데이터 과학자들에게 핵심적인 자원을 제공한다.
데이터셋 내부: 대화, 투표, 반응
Compar:IA는 단일 거대 덩어리가 아니다. Hugging Face와 data.gouv.fr에 호스팅된 상호 보완적인 3종의 데이터셋으로 구성된다. 이들은 100개가 넘는 독자 모델과 오픈 웨이트 모델 전반에 걸쳐, 제약 없는 현실 세계 상호작용을 함께 포착한다.
- comparia-conversations: 43만 건이 넘는 전체, 다중 턴 대화를 포함한다. 자동 생성 요약, 주제 범주, 추정 전력 소비량 같은 고유 환경 지표 등 풍부한 메타데이터가 포함된다.
- comparia-votes: 14만 건이 넘는 대화 단위 선호도 투표를 제공하며, 사용자가 전체 상호작용을 마친 뒤 어떤 모델을 선호했는지를 담는다.
- comparia-reactions: 8만 5천 건이 넘는 메시지 단위 평가를 보유한다. 사용자가 개별 모델 출력에 대해 엄지손가락을 올리거나 내리는 것뿐 아니라 특정한 정성적 라벨을 부여할 수 있다.
수집 방법론: 블라인드 쌍대 비교
데이터는 공개 챗봇 아레나 인터페이스를 통해 수집된다. 사용자는 프롬프트를 제출하고, 익명의 두 모델이 나란히 내놓은 응답을 받는다. 사용자가 더 우수한 응답에 투표한 뒤, 플랫폼은 모델의 정체를 공개한다. 결정적으로 Compar:IA는 Ecologits 방법론을 사용해 질의의 환경적 영향도 함께 표시한다. 고품질 선호도 데이터를 수집하는 동시에 AI의 생태적 발자국에 대해 대중을 교육한다는 이 이중 임무는 지속적인 유기적 트래픽을 만들어낸다. 2026년에는 이 도구가 프랑스 교실에 배치되며, AI 리터러시를 가르치기 위해 150만 명의 학생에게 도달할 것으로 기대된다.
의도된 사용 사례와 유럽 확장
머신러닝 연구자들에게 Compar:IA는 비(非)영어 정렬 데이터에서 심각한 공백을 메운다. 데이터셋은 Reinforcement Learning from Human Feedback(RLHF)과 Direct Preference Optimization(DPO)을 사용해 모델을 파인튜닝하도록 명시적으로 설계되었다. 모델 정렬을 넘어, 이 데이터는 문화적 편향, AI 안전, 인간- AI 상호작용 패턴에 대한 연구를 뒷받침한다.
프로젝트는 프랑스의 이니셔티브로 시작했지만, 이제 더 넓은 유럽의 공공 디지털 자산으로 발전하고 있다. 플랫폼 인프라는 현재 리투아니아어, 스웨덴어, 덴마크어로 선호도 데이터를 수집하기 위해 배치 중이며, 자원이 상대적으로 적은 유럽 언어에 대해 AI 역량을 강화하는 것을 목표로 한다.
라이선싱, 접근, 알려진 한계
세 데이터셋 모두 Etalab Open License 2.0에 따라 지속적으로 공개되며, 이는 Apache 2.0과 호환된다. 이를 통해 학술 및 상업적 사용 모두에 대해 마찰 없는 접근이 보장된다.
연구자는 데이터 내에 존재하는 특정 한계와 의도된 설계 선택을 유의해야 한다. 첫째, 데이터셋은 프랑스어에 크게 치우쳐 있으며, 프롬프트의 약 89%를 차지한다. 둘째, 사용자 프라이버시를 보호하기 위해 자동화된 파이프라인이 개인 식별 정보(PII)를 엄격히 탐지하고 제거하지만, 플랫폼은 의도적으로 유해하거나 민감한 콘텐츠를 걸러내지 않는다. 이러한 원시적이고 필터링되지 않은 접근은 데이터셋이 AI 안전 연구자들에게 현실 세계의 위험과 탈옥(jailbreak) 시도를 연구하는 데 있어 유효하고 현실적인 자원으로 남도록 보장한다.