Jabuticaba

Bakgrund

Jabuticaba släpptes 2025 som ett storskaligt förträningsunderlag med fokus på brasiliansk portugisiska. Namnet syftar på jabuticaba, en frukt som är inhemsk i Brasilien, vilket speglar datamängdens tydliga nationella och språkliga inriktning. Projektet tar itu med en länge bestående brist på högkvalitativ, storskalig data på portugisiska för att träna stora språkmodeller (LLM:er), särskilt data som är representativ för brasilianska användningsmönster och ordförråd.

Portugisiska är ett av världens mest talade språk, men förträningskorpusar i jämförbar skala med dem som finns för engelska har historiskt sett varit sällsynta. Jabuticaba utvecklades för att bidra till att överbrygga den klyftan, med särskilt fokus på brasiliansk portugisiska snarare än den bredare panportugisiska språkvärlden.

Viktiga egenskaper

Datamängden består av 669 GB textdata med över 139 miljarder tokens, vilket gör den till en av de största offentligt tillgängliga kommersiella korpusarna för utveckling av LLM:er på portugisiska. Data har genomgått rensning och deduplicering i syfte att förbättra kvaliteten och minska redundans, vilket är standardöverväganden vid framtagning av förträningskorpusar.

• Storlek: 669 GB, 139 miljarder tokens
• Språk: portugisiska, med fokus på brasiliansk portugisiska
• Modalitet: Endast text
• Domän: Allmän
• Licens: Kommersiell
• Syfte: Förträning av stora språkmodeller

Den kommersiella licensen skiljer Jabuticaba från många öppet tillgängliga datamängder som begränsar användning till icke-kommersiell forskning. Den här licensstrategin breddar dess användbarhet för organisationer som utvecklar språkverktyg i produktionsklass på portugisiska.

Användningsområden och tillämpningar

Jabuticaba är i första hand avsedd för förträningsfasen i utvecklingen av stora språkmodeller, där en modell lär sig allmänna språkrepresentationer från en stor korpus innan den finjusteras för specifika uppgifter. Med tanke på dess skala och språkliga fokus är den relevant för en rad efterföljande tillämpningar, inklusive textgenerering, maskinöversättning, frågebesvarande, sammanfattning och andra uppgifter inom bearbetning av naturligt språk som utförs på brasiliansk portugisiska.

Forskare och utvecklare som bygger LLM:er på portugisiska från grunden, liksom de som anpassar befintliga flerspråkiga modeller för brasiliansk portugisiska, utgör den primära målgruppen. Datamängdens täckning av allmän domän innebär att den kan stödja många olika typer av modeller snarare än att vara begränsad till specialiserade vertikaler.

Betydelse för NLP på portugisiska

Lanseringen av Jabuticaba bidrar till ett växande ekosystem av språkliga resurser för portugisiska, ett språk som talas av över 200 miljoner människor enbart i Brasilien. Storskaliga, deduplicerade korpusar med kommersiell licens i den här storleken har tidigare oftare varit tillgängliga för språk som engelska, kinesiska och tyska. Tillgången till en korpus i den här skalan för brasiliansk portugisiska kan stödja utvecklingen av modeller som bättre speglar brasilianska språkliga normer, inklusive regionalt ordförråd, ortografiska konventioner och kulturellt sammanhang.

Genom att tillhandahålla en datamängd som både är tillräckligt stor för konkurrenskraftig LLM-förträning och licensierad för kommersiell användning, sänker Jabuticaba trösklarna för både akademiska institutioner och privata organisationer som vill bygga kapabla AI-system på portugisiska utan att enbart förlita sig på flerspråkiga korpusar där portugisiska data kan vara proportionellt begränsad.