Borealis

Обзор

Borealis — аудио LLM для русского языка. Есть в двух вариантах - 0.6B и 1.7B.

Как запустить обучение модели

0. Установка uv

   curl -LsSf https://astral.sh/uv/install.sh | sh

1. Установка зависимостей

   uv sync 

2. Проброска ключей

   wandb login
   
   hf auth login

3. Запуск обучения

   accelerate config
   
   accelerate launch train.py

   Сначала нужно задать конфиг под конкретную спецификацию сервера. Если обучение будет на одной видеокарте, то будет достаточно команды

   python train.py

4. Инференс
   Для быстрой проверки используйте ноутбук test_model.ipynb. Он загружает сохранённую модель и вычисляет метрики $WER$ и $CER$

Структура проекта

• borealis/
  • __init__.py — экспорт основных компонентов
  • augmentations.py — расписание аугментаций, миксинга шумов, реверберации и голосовых эффекторных слоёв
  • dataset.py — класс датасета
  • modeling.py — кастомный BorealisForConditionalGeneration и обвязка поверх Qwen3ForCausalLM
  • utils.py — коллатор, нормализация текстов (clean_dataset), загрузка аудио
• train.py — главный файл для обучения
• configs/ — шаблоны конфигов Hydra (добавятся позже)