VAANI

背景と開発

VAANI（複数のインドの言語で「声」または「話し言葉」を意味する）は、インドのバンガロールにあるインド科学研究所（IISc）が、インドの言語における音声データ資源の大きな不足に対処する取り組みの一環として作成しました。インドの言語環境は世界でも最も多様性に富んでおり、数百の言語と数千の方言を含みますが、既存の音声データセットの大半は、十分な資源がある限られた言語に偏っています。VAANIは、国内の地理的・言語的に多様な地域で大規模なフィールドデータ収集を行うことで、この十分に行き届いていない言語領域に対する学習データの利用可能性を拡大するために開発されました。

データは、インドの22州にまたがる120の地区で、約11万人の話者から収集されました。これは、管理されたスタジオ録音に頼るのではなく、実際の地域差や方言差を確実に捉えようとする意図的な取り組みを反映しています。データセットは、ヒンディー語、タミル語、テルグ語、ベンガル語、カンナダ語、マラヤーラム語といった主要な指定言語から、ゴンディー語、サンタリ語、クルク語、ワンチョ語、テンニディエ語などを含む多数の地域的な変種や部族言語に至るまで、86の言語と方言をカバーしています。

データセットの構成と主要な特徴

VAANIは合計で約21,500時間の音声を含み、インドの言語に焦点を当てた多言語音声コーパスの中でも最大級の一つです。このうち835時間は文字起こしされており、コレクションの一部に対する真値のテキスト注釈が提供されています。さらにデータセットにはマルチモーダル要素も取り入れられており、従来の音声タスクを超えた用途での利用を見据えています。

データセットの主な特徴は次のとおりです。

• 86の言語と方言をカバー。多くの低資源言語や部族のバリエーションを含む
• 多様な地理的・人口統計的背景をもつ約11万人の話者による貢献
• 文字起こしされた音声835時間を含む、合計21,500時間の音声
• インドの22州における120地区にまたがるフィールド録音
• CC BY 4.0ライセンスのもとで公開されており、帰属表示を条件に幅広い再利用が可能
• 単一モーダルおよびマルチモーダルの研究アプリケーションの両方をサポート

対応タスクとユースケース

VAANIは、幅広い音声と言語処理タスクのためのリソースとして機能するよう設計されています。研究者や開発者は、自動音声認識（ASR）システム、テキストから音声への合成（TTS）生成、話者識別、言語識別モデルの学習と評価に利用できます。また、このデータセットは、音声強調やマルチモーダルの大規模言語モデル（LLM）の開発に関する取り組みも支援します。言語カバー範囲の広さにより、インドの多様な言語環境で動作することを意図したシステムのベンチマークに特に適しています。

先行する音声データがほとんど、あるいはまったく存在しない多くの低資源言語や方言が含まれていることを踏まえると、VAANIは、包括的な言語テクノロジーの構築に取り組む研究者にとって特に価値があります。これは、これまで主流のAI開発から歴史的に欠落してきたコミュニティに役立ち得るASRおよび自然言語処理ツールを開発するための基盤を提供します。

インドの言語テクノロジーにとっての意義

VAANIの規模と、言語的多様性は、多言語音声研究の分野、特に南アジアの言語という文脈において注目に値する貢献となっています。部族、農村、地域コミュニティにおける話し言葉の多様な形態を、より広く話されている言語と並行して記録することで、このデータセットは、計算機資源ではめったに表現されないインドの言語的遺産の一側面を捉えています。オープンライセンスにより、包括的で代表性のある音声テクノロジーに向けた取り組みを行う学術機関、政府機関、産業界の研究者による利用が容易になります。