Башкирский язык получил официальный открытый языковой корпус Bashkorttele

Фонд сохранения и развития башкирского языка опубликовал серию языковых датасетов Bashkorttele. Как сообщили в пресс-службе минцифры республики, работа сделана в рамках деятельности комиссии при правительстве по сохранению языков народов РБ под председательством первого заместителя премьер-министра Урала Кильсенбаева.

В датасеты, опубликованные на платформе Hugging Face, вошли 78 часов аудиокниг (эпосы и кубаиры, проза, поэзия, народные сказки); 53 часа аудиозаписей теле- и радиопередач и пять разговорников: башкирский / русский / казахский / алтайский / якутский / арабский / китайский.

– Публикация на Hugging Face позволила сделать языковой корпус равнодоступным как для именитых фронтир-лабораторий, обучающих большие многоязычные модели на тысячах языков, так и разработчикам республики, школьным учителям и студентам, работающим над дипломом, без лишних бюрократических проволочек, – пояснили в ведомстве.

На базе LLM с использованием передовых агентских технологий построены воспроизводимый «конвейер» обработки исходных материалов (представленных в различных форматах) в наборы данных, адаптированных для машинного обучения. Агенты действовали непосредственно в рабочей среде: читали файлы, писали и запускали код, автономно строили и проверяли гипотезы, предлагали изменения.

Разница получилась качественная: там, где прежде каждое правило выводилось умозрительно и проверялось выборочно, агент измерял его на всём корпусе, видел цену ошибки в числах и переписывал алгоритм за то время, которое прежде уходило только на постановку задачи.

В минцифры отметили многолетний труд по формализации башкирской орфографии Bashspell Айгиза Кунафина, морфологический анализатор, опубликованные Институтом истории, языка и литературы УФИЦ РАН «Грамматика современного башкирского литературного языка» и «Алгоритмическую грамматику словоизменения башкирского языка», которые использовались при автоматическом разборе каждого спорного случая.

– Современные модели уверенно говорят на малоресурсных языках, но именно из-за меньшей представленности в обучающих данных у генеративных моделей случается дрейф: башкирский текст незаметно съезжает в татарскую или казахскую морфологию, спецбуквы подменяются похожими, согласование по гармонии гласных ломается, – рассказали создатели проекта. — Отдельная ценность — параллельные трёхъязычные разговорники: 9857 фраз, выровненных с казахским, алтайским, якутским, арабским и китайским, редкий материал для машинного перевода внутри тюркской семьи, где путаница между родственными языками наиболее вероятна.

Опубликованный корпус — это основа для совершенствования технологий распознавания и синтеза речи, на которых строятся сервисы для граждан: голосовые помощники, контакт-центры на башкирском, субтитрование и автоматический перевод республиканского вещания, клавиатуры и корректоры для смартфонов, образовательные сервисы: языковые тренажёры, интерактивные упражнения, адаптивные школьные программы.

Эпосы и кубаиры, начитанные в студии для незрячих читателей; подшивки республиканских газет и журналов; книги издательства «Китап». Оцифровка сама по себе сохраняет текст; машиночитаемый корпус сохраняет язык в форме, пригодной для того, чтобы на нём говорили технологии следующего десятилетия.

Работа по расширению доступного языкового корпуса и открытых инструментов на его основе будет продолжена.