1、TTS(Text to speech)

研究可行的TTS开源库

• Edge-tts

  支持的语种很多，多国语言醒支持的蛮好。如果需要做面向国际化的应用还是不错的。

  github rany2/edge-tts

• Spark-TTS

  上海交通大学、香港科技大学、西北工业大学、南洋科技大学等大学间合作的开源项目，对中文支持很好，可以克隆挺多音色

  github SparkAudio/Spark-TTS

  docs pdf

• FishAudio/Fish Speech/TTS

  SOTA Open Source TTS

  • github fishaudio/fish-speech
  • docs

• Huggingface/parler-tts

  Parler-TTS is a lightweight text-to-speech (TTS) model that can generate high-quality, natural sounding speech in the style of a given speaker (gender, pitch, speaking style, etc).

• ChatTTS-ui

  一个简单的本地网页界面，在网页使用 ChatTTS 将文字合成为语音，支持中英文、数字混杂，并提供API接口.

  原 ChatTTS 项目. 0.96版起，源码部署必须先安装ffmpeg ,之前的音色文件csv和pt已不可用，请填写音色值重新生成.获取音色

• Bytedance/MegaTTS3

  🚀Lightweight and Efficient: The backbone of the TTS Diffusion Transformer has only 0.45B parameters. 字节跳动的研究

  github

  

• ChatTTS_colab

  🚀 一键部署（含离线整合包）！基于 ChatTTS ，支持流式输出、音色抽卡、长音频生成和分角色朗读。简单易用，无需复杂安装。

  github

2、FFmpeg

视频编辑工具

安装字体

#安装字体命令
#1、拷贝字体到系统字体目录下
sudo cp -r Klee_One /usr/local/share/fonts/
#2、手动激活
sudo fc-cache -f -v
#3、查看字体安装与否
fc-list | grep Klee
#4、ffmpeg使用字体名称就是通过第三步骤查看到的字体安装名称

3、生成视频

• 可以通过github actions 启动任务执行任务生成视频
• 直接本地执行代码生成

python v0_run_gen_video_work_flow.py

或

./start_run.sh