Kyutai

오픈 AI를 위한 허브로서의 파리

Kyutai는 파리 중심부의 단일 위치에서 운영됩니다. 이 연구소는 유럽 최대의 스타트업 캠퍼스인 Station F 내의 공간을 사용하며, 13구에 자리하고 있습니다.

파리를 선택한 데에는 의도적인 전략이 반영되어 있습니다. 이 도시는 학술 기관, 연구 센터, 기술 스타트업이 밀집한 네트워크를 갖추고 있습니다. 이러한 근접성 덕분에 Kyutai는 현지 대학에서 인재를 채용하고 기존 AI 이니셔티브와 협업할 수 있습니다.

연구소의 물리적 존재감은 최소화되어 있습니다. 20명 미만의 전일제 연구원에 더해 방문 학자와 인턴이 지원합니다. 이러한 슬림한 구조는 빠른 실험과 결과의 개방적 확산을 뒷받침합니다.

모듈형 음성 AI 아키텍처

Kyutai의 연구는 음성 상호작용을 주요 인터페이스로 우선시합니다. 이 연구소는 완전한 음성 AI 시스템으로 조립할 수 있는 모듈형 구성 요소를 개발합니다.

Pocket TTS는 1억 개 파라미터를 가진 텍스트-음성 모델입니다. 이 모델은 표준 CPU에서 실시간으로 실행되면서도, 자신보다 10배 큰 모델과 견줄 만한 품질을 제공합니다. 이 모델은 보이스 클로닝을 지원하여 사용자가 맞춤형 음성으로 발화를 생성할 수 있습니다.

Unmute는 어떤 대규모 언어 모델이든 음성을 처리할 수 있게 해주는 파이프라인입니다. 저지연 음성-텍스트 및 텍스트-음성 모델을 결합해 실시간 대화에 최적화합니다. 모든 구성 요소는 오픈소스이므로 제3자 프로젝트에 통합할 수 있습니다.

연구소의 첫 스핀오프인 Gradium은 이러한 구성 요소를 상용화하는 데 집중합니다. Gradium은 규모에 맞춰 실시간 음성 애플리케이션을 위한 프로덕션 준비 시스템을 제공하는 것을 목표로 합니다.

음성 네이티브 모델과 실시간 번역

Moshi는 Kyutai의 첫 음성 네이티브 대화 시스템을 의미합니다. 기존의 일반적인 모델과 달리 Moshi는 음성을 텍스트로 변환하지 않고 직접 처리합니다. 이 방식은 지연 시간을 줄이고 톤과 감정 같은 비언어적 단서를 보존합니다.

이 모델의 아키텍처는 여러 오디오 스트림을 동시에 처리할 수 있도록 지원합니다. 이 기능을 바탕으로 Hibiki-Zero라는 실시간 음성 번역 모델이 개발되었습니다. Hibiki-Zero는 화자의 원래 음성을 유지하면서 4개 언어와 영어 사이를 번역합니다.

MoshiVis는 모델의 역량을 시각 입력으로 확장합니다. 사용자는 시스템과 실시간 상호작용을 유지한 채 이미지에 대해 대화할 수 있습니다. 이 통합은 시각 및 청각 신호를 효율적으로 결합하기 위해 크로스 어텐션 메커니즘에 의존합니다.

또 다른 프레임워크인 CASA는 크로스 어텐션을 위해 사전학습된 비전-언어 모델을 조정합니다. 이 접근 방식은 성능을 희생하지 않고도 장기 구간의 시각 스트림을 처리할 수 있게 해줍니다.

자금 조달 및 거버넌스 구조

Kyutai는 비영리 연구 센터로 설립되었습니다. 초기 자금은 세 명의 공동 창업자가 제공한 총 3억 유로였습니다. Xavier Niel, Rodolphe Saadé, Eric Schmidt가 그 주체입니다.

iliad Group과 CMA CGM은 각각 1억 유로를 제공했습니다. Schmidt Futures라는 자선 이니셔티브가 공동 창업자로 합류하여 연구소의 오픈 사이언스 미션과 정렬을 이루었습니다. 창업자들은 장기적인 지속 가능성을 보장하기 위해 추가적인 민간 투자자를 유치할 계획입니다.

연구소는 독립적으로 운영되며 상업적 의무는 없습니다. 거버넌스 모델은 학문적 자유와 연구의 공적 확산을 강조합니다. 저명한 AI 연구자인 Yann LeCun이 과학 고문으로 활동하며 연구소의 전략적 방향을 이끕니다.

Kyutai의 재정 구조는 기초 연구에 집중할 수 있도록 뒷받침합니다. 연구소는 수익 창출을 추구하지 않고, 대신 오픈소스 모델, 데이터셋, 도구의 공개를 우선합니다. 이러한 접근은 더 넓은 AI 생태계 전반에서 혁신을 가속하려는 목적을 갖습니다.