Brazilian Graduate Proficiency in Accounting
Metrics
Категории
Темы
BGPA (Brazilian Graduate Proficiency in Accounting) — это текстовый бенчмарк, предназначенный для оценки знаний по бухгалтерскому учету и финансам больших языковых моделей на португальском языке, с акцентом на бразильский контекст.
Созданный Роберто Диасом Дуарте в 2025 году, он включает 200 вопросов, взятых из тем бухгалтерского учета на уровне выпускных программ, и использует точность как основной показатель оценки.
Бенчмарк применяли для оценки 21 модели, что делает его практичным инструментом для сравнения производительности LLM на специализированных финансовых и бухгалтерских задачах на бразильском португальском.
Он служит исследователям и практикам, которым важно понять, насколько хорошо модели ИИ справляются с предметными профессиональными знаниями в рамках бразильской нормативной и образовательной среды.
Проверка устойчивости LLM в бенчмарке по бразильскому бухгалтерскому учёту
Оценивать большие языковые модели по общим знаниям — задача уже решённая. Оценивать их по сильно локализованным, отраслевым профессиональным стандартам — нет. На сцену выходит бенчмарк «Бразильская степень владения бухгалтерским учётом» (BGPA).
Созданный в 2025 году Роберто Диасом Дуарте, BGPA — текстовый набор для оценки, разработанный специально для бразильского финансового контекста. Он измеряет, насколько хорошо LLM понимают и рассуждают о сложных принципах бухгалтерского учёта и финансов на португальском языке. Для инженеров по машинному обучению, создающих финансовые ИИ-агенты, BGPA стал критически важным инструментом, позволяющим отделять модели, которые действительно понимают бразильские нормативные требования, от тех, что лишь переводят финансовые данные, ориентированные на США.
Что он измеряет и почему это важно
Бразилия работает в рамках крайне запутанной системы налогообложения и регулирования. Здесь часто терпят неудачу универсальные модели. Они «галлюцинируют» налоговые коды, путают US GAAP с бразильскими стандартами CPC (Comitê de Pronunciamentos Contábeis), или спотыкаются о локализованную финансовую терминологию.
BGPA нацелен именно на эти слепые зоны. Он заставляет модели ориентироваться в конкретной нормативной и образовательной среде Бразилии. Для исследователей это важно, потому что проверяет локальное извлечение знаний модели и рассуждения, специфичные для предметной области, а не её общую языковую компетентность. Высокие результаты на BGPA указывают на то, что LLM пригодна для последующих задач, таких как автоматизированный аудит, классификация налогов и финансовое консультирование в крупнейшей экономике Южной Америки.
Методология оценки
Набор данных BGPA небольшой, но строгий. Он состоит из 200 тестовых вопросов с несколькими вариантами ответа, извлечённых непосредственно из учебного материала уровня выпускника по бухгалтерскому учёту. Методология убирает разговорный «шум», чтобы сосредоточиться исключительно на технической точности.
- Размер набора данных: 200 вопросов уровня выпускника.
- Язык: бразильский португальский.
- Основная метрика: точность (процент правильных ответов).
- Формат: вопросы с несколькими вариантами ответа, требующие однозначных ответов без генеративных оговорок.
Обычно инженеры запускают эти оценки в режимах zero-shot или few-shot, чтобы измерить базовую «встроенность» принципов бухгалтерского учёта в модель без обширной инженерии подсказок.
Основные моменты рейтинга: проверка 21 модели
С момента запуска исследователи прогнали через «дробилку» BGPA 21 различную LLM. Результаты подчёркивают устойчивый разрыв в локализованных данных обучения.
Крупные проприетарные модели из лабораторий вроде OpenAI, Google и Anthropic обычно занимают лидирующие позиции благодаря огромному числу параметров и превосходным кросс-лингвистическим рассуждениям. Однако бенчмарк выявляет существенные слабости моделей среднего уровня и моделей с открытыми весами, когда их заставляют рассуждать о финансовых сценариях, специфичных для Бразилии. Особенно заметно, что модели, дообученные именно на корпусах на португальском языке, часто показывают результат выше своего «веса» в рейтинге BGPA. Это доказывает, что целевые, высококачественные локальные данные могут соперничать по эффективности с чисто масштабом вычислений в специализированных профессиональных областях.
Ограничения и известные критические замечания
Несмотря на полезность, BGPA сталкивается с обоснованной структурной критикой со стороны сообщества ML.
Во-первых, размер набора данных невелик. При всего 200 вопросах бенчмарк крайне уязвим к загрязнению данных. Если в процессе обучения модель «подхватывает» конкретные выпускные экзамены, использованные для создания BGPA, её показатель точности искусственно вырастет, и оценка станет бесполезной.
Во-вторых, точность в формате множественного выбора не идеально соответствует практической полезности. LLM может выбрать правильный нормативный ответ из списка из четырёх, но при этом всё равно не справиться с составлением связанного, соответствующего требованиям финансового отчёта.
Наконец, бразильские налоговые и бухгалтерские законы крайне динамичны. Статичный бенчмарк, созданный в 2025 году, рискует быстро устареть. Чтобы оставаться определённым стандартом в 2026 году и далее, BGPA потребуется непрерывное версионирование, отражающее последние изменения в законодательстве.