Релиз vot-cli 2.0 с ЖИВЫМИ Голосами

[fantomcheg]

https://github.com/fantomcheg/vot-cli-live вся слава Илье и AI.
Мы долго ждали Илью. Его нет уже несколько месяцев. Смиренно будучи почти полным нулем в программировании предлагаю Вам эту версию с рядом улучшений и главное живыми голосами

[vukitoso]

@fantomcheg Спасибо!
Заметил, что если указать прокси, то этот прокси не передаётся на yt-dlp.
А если учесть, что в некоторых странах накладываются ограничения на youtube трафик, то это очень актуально.

[nezort11]

Ура, дождался!

[glin94]

Огромное спасибо!

[DmitriyBatkovich]

vot-cli-live --output="." "https://toxicdev.ru/socialclub/downloads/1.mp4"

чот очень долго переводит Translating висит уже 3 часа

Performing various tasks (ID:
https://toxicdev.ru/socialclub/downloads/1.mp4).
√ Forming a link to the video

• Translating (ID:
  https://toxicdev.ru/socialclub/downloads/1.mp4).
  ■ Downloading (ID:
  https://toxicdev.ru/socialclub/downloads/1.mp4).
  ■ Finish (ID: https://toxicdev.ru/socialclub/downloads/1.mp4).

[DmitriyBatkovich]

Он чо ток ютуб поддерживает или каво?
Вродь mp4 скормил ему со своего серва доступ туда есть

[vukitoso]

чот очень долго переводит Translating висит уже 3 часа

Попробуйте добавить языки с какого на какой --lang=en --reslang=ru
Но и это не гарантирует.

Тоже заметил такой ньюанс. Жду часами пока переведёт с Live озвучкой, но он не переводит его.
Приходится переключаться на TTS озвучку, на ней переводит.

Бывает, что и с первого раза и TTS озвучку тоже не переводит.
Но после повторного запуска загрузки TTS - сразу же скачивает без задержек.

[chOng-m0rrino]

всю ночь вертелось 5 минут видео - не перевело.

[vukitoso]

всю ночь вертелось 5 минут видео - не перевело.

Попробуйте сделать запрос перевода с TTS озвучкой, если за 5 мин. не перевело, то останавливаете запуск программы и запускаете ещё раз. При повторной попытке перевода - результат будет мгновенным.
Так же желательно добавлять языки перевода --lang=en --reslang=ru

Иногда время проблемного перевода можно сократить и до 2 мин. Обычно правильный перевод происходит мгновенно.

[nebulosa2007]

Мои пять копеек, пишу тут, т.к. не включены issue у форка:

1. Какой-то зависимости от скорости получения перевода не заметил, как есть зависания простым tts так и живыми голосами. Как повезёт. Но в целом примерно в течении 5 минут положительный исход. Перезапускаю получение перевода раз в 5 минут. Предположение (т.к. никаких логов нет): Яндекс оценивает популярность видео и формирует очередь перевода. Если ролик запросили несколько раз - повышает приоритет. Но если уже один раз подготовлен перевод - то все последующие запросы этого перевода скачиваются сразу же, т.е. есть какое-то кеширование. Длительность ролика никак не влияет на скорость получения перевода - загонял и трёхчасовые подкасты так и мелкие ролики по паре минут.
2. Создание видео у меня не заработало, но со скачиванием аудио (голоса и tts) - никаких проблем. По процессам посмотрел - запускается yt-dlp, скачивается ролик и после этого yt-dlp висит бесконечно, до ffmpeg дело не доходит. Не думаю, что из этой утилиты прям так нужно делать комбайн - кому нужно - запустит ffmpeg со своим настроенным профайлом, это всегда будет универсальней и предсказуемее. А вот функция микширования аудиофайлов - чтобы на выходе получать файл aac c приглушенной английской дорожкой и нормальной русской - считаю, что будет гораздо полезнее (не лезем в видео, оно нас сожрёт)) )
3. Для того, чтобы полноценно переключиться на форк, лично мне не хватает тегов (и/или релизов). По коммитам посмотрел что уже якобы 1.6.2 версия но пока нет тега с версией, это всё ещё Гит версия vot-cli.

И последняя вкусовщина - заметил, что живые голоса работают иногда неправильно, если в ролике (подкасте) есть мужчины и женщины ведущие. Хоть и есть озвучка женского голоса, но она про себя говорит в мужском роде и к ней обращаются как к мужчине). На этом же ролике у TTS перевода такой проблемы нет. Испортило впечатление от живых голосов сильно, но это единичные случаи.

Бонус для тех кто дочитал: несколько дней провёл в поисках оптимального профайла для ffmpeg для того, чтобы свести две дорожки, при этом не потерять в уровне звука и перекодирование было максимально быстрым:

ffmpeg -i original.m4a -i vot.mp3 \ 
-filter_complex "[1:a]volume=2[a1];[0:a][a1]amix=inputs=2:duration=first:dropout_transition=2[a]", \
-map [a] -c:a aac -b:a 128k -y final_output.m4a'

Где original это файл от yt-dlp -f140... (140 - всегда максимальное качество aac, 128к, 44kHz, Stereo), а mp3 - перевод (mp3, mono, 22kHz). Итоговый файл получается как оригинальный, с такими же характеристиками и уровнем громкости как и звук в Ютуб, а перевод в два раза громче. Можно и в три раза указать, но будет "клиповать". Везде указаны примеры с понижением уровня у оригинальной дорожки, получается очень тихое нечто, при скорости кодирования в два раза меньшей, чем в примере выше.

[vukitoso]

Я делаю ещё так:

1. прохожу скриптом по всем файлам которые надо перевести, по 1 попытке с таймаутом на запуск перевода для 1 файла в 30 секунд, если не перевело - то процесс убивается.
2. выжидаю 1-2 часа и повторяю цикл ещё раз.

Видимо поэтому файлы и переводятся мгновенно после повторной попытки.
Есть ещё своя логика, в виде добавления информации о переведённом файле в текстовый файл, чтобы при повторном проходе по всем файлам не было попытки перевести уже переведённый.

[fantomcheg]

Релиз 1.7.0. Просьба теперь все проблемы описывать в форке продукта

[vukitoso]

@fantomcheg Спасибо!

[vukitoso]

Улучшения разработаны с помощью AI-ассистента по запросу пользователя.
Ого, я правильно понял, что все коммиты сделаны через ИИ?

[vukitoso]

Видел в комментариях было в планах создание докер образа, я себе вот так сделал

Dockerfile

FROM docker.io/library/node:24.10.0-bookworm-slim

RUN npm install -g vot-cli-live

# Точка монтирования для данных
VOLUME /data
WORKDIR /data

# Запускаем в режиме ожидания
CMD ["tail", "-f", "/dev/null"]

podman build -t translate-live .
podman run -d -v "`pwd`":/data --name translate-live translate-live
podman exec translate-live /usr/local/bin/vot-cli-live --output="." "https://www.youtube.com/watch?v=X98VPQCE_WI"

На alpine почему то подвисал npm, почему разбираться было некогда, поэтому взял bookworm дебиановский.