“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】

用户头像
成都/设计爱好者/68天前/1812浏览
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】
用户头像
野鹿志
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIyNzI=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
各位鹿友,好久不见。
算下来,差不多两年没更新了。鸽了这么久,久到我重新登录后台,界面都陌生了——连关键字自动回复功能也悄悄失效。
上个月末,和老同学约茶。他两个孩子在商场里到处好奇地摸摸看看,我笑着说:“幼崽真是精力旺盛。”同学回了一句:“因为他们还对世界好奇啊。人年纪一大,什么都不好奇了,也就躺平了。”
我点点头,心里却被点了一下。
回来之后,我做了一个决定:重新开始更新。
野鹿志的slogan一直是“不断的好奇,不停的学习”。可停更的这两年,我自己好像也丢了这份好奇,没了分享欲。
虽然已经踏入人生的下半场,但我还是不想躺平。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIyNzY=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
以前写的内容太长、视频也长,自己做得累,用户也没耐心看完——说白了,大多时候是自我感动。
所以这次复更,我会换个方式:
主要分享我自己制作的各类开源AI项目整合包。后期根据反馈,再对整合包做优化或加新功能。
内容也会尽量简短一点。
“保持好奇,才是真正的抗衰老。 我们慢慢来,但不停下来。”
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIyODA=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
01
项目介绍
今天给大家分享的整合包是 Index-TTS2 1.0 版本:
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIyODg=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
项目地址:https://github.com/index-tts/index-tts
收藏
这是由B站开源的声音克隆项目,只需上传一段10秒的音频,就能完美复刻目标音色。
我之前一直在用Index-TTS1.5,个人体验非常不错——GitHub 上它已经收获了21K星。
相比 1.5 版本,Index-TTS2最大的升级是加入了情感控制能力。
另外,我在制作整合包时,还额外增加了一些实用功能。
下载压缩包后,推荐使用7-Zip解压,解压路径不要含中文。双击bat文件,等待模型加载完成即可启动。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMDQ=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIyOTY=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
02
原生功能介绍
操作非常简单,上传音频 → 输入文字 → 点击生成,稍等片刻。
生成的语音文件会自动保存在outputs文件夹里。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMDA=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
测试设备:GTX 1070(8G显存),显存占用约7.8G。生成一段7秒的语音,耗时54秒。
实话实说,推理速度偏慢,可能是显卡比较老的原因,后期再看看能不能优化。
建议显存至少8G,长文本推理最好有12G。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMDg=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
勾选“使用情感参考音频”后,除了上传要克隆的音频,还需要再上传一段情感参考音频,让生成的语音带上对应的感情色彩。情感的强烈程度可以通过“情感权重”来调节。
个人觉得这个功能不太实用——毕竟还得专门去找一段情感样本,而且对原参考音色的还原度也不够好。另外,开启后会明显增加推理时间。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMTI=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
使用“情感向量控制”,可以通过调节情感参数来控制生成语音的情感。勾选“情感随机采样”,则每次生成的情感会更具多样性。
这个功能同样存在对原参考音色还原度不够好的问题,也会额外增加推理时间。不过相比“情感参考音频”,它稍微方便一些。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMTY=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
勾选“显示实验功能”后,可以使用情感描述文本控制语音生成,同样也可以搭配情感随机采样来增加多样性。
这个功能属于官方实验版,同样存在对原参考音色还原度不够好的问题,也会额外增加推理时间。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMjA=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
好了,Index-TTS2 的原生功能就是这些。下面说说我在整合包里做了哪些优化和新增功能。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMjQ=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
02
新增功能和优化
新增音色库,预设了一些常见音色。你也可以把自己想克隆的音频放进voice文件夹,点击“刷新音色列表”即可。
音频格式推荐Wav或Mp3。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMjg=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
新增“保存音色”选项:输入音色名称,点击保存,即可将克隆后的音色添加到音色库中。
这个功能与直接把参考音色放进 voice 文件夹的区别在于:克隆后的音色支持情感控制,也能用于高级生成参数中的设置(关于高级生成参数,我们后面再细说)。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMzI=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
新增语速控制滑块。提醒一下:变速后语音可能会有些失真。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzMzY=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
新增生成字幕功能:可根据生成的语音一键生成SRT字幕文件,自动保存到 outputs/subtitles 文件夹。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNDQ=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
新增字幕配音功能:点击“字幕配音”按钮,原本输入文字的文本框会变为字幕文件上传区域。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNDg=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
载入SRT字幕文件后,可直接在文本框里编辑文本。点击“生成语音”,即用所选音色为字幕配音。
需要提醒的是:AI模型生成的语音停顿具有随机性,无法与字幕时间轴百分百对齐。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNTI=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
在高级生成参数设置中,我加入了“智能静音优化”选项,勾选后可缩短AI的不合理停顿,让语音更贴合原字幕。
此外,所有参数均已汉化,官方推荐的参数组合也做成了预设,方便直接选用。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNTY=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
“自定义术语词汇读音”是原生功能,我在此基础上增加了“更新词语”和“删除词语”按钮,让编辑更方便。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNjA=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
本次更新的所有优化内容以及高级生成参数的具体含义,我都整理到了WEBUI用户指南文档里,方便大家随时查阅。
“上传10秒素材就能克隆音色”【Index-TTS2整合包分享】(图ZMTU2NjIzNjQ=) - 教程 - 站酷设计师野鹿志原创素材 - 站酷ZCOOL
收藏
好了,以上就是今天给大家带来的全部内容。总的来说,个人感觉Index-TTS2在音色复刻方面表现不错,但情感控制还有一段路要走。
第一次制作AI整合包,肯定有很多不足。欢迎鹿友们评论区提意见,我会根据实际情况和可行性持续优化。
今天要分享的内容就到这里,想要整合包的鹿友
后台撩我
获取。
记得点赞、收藏加关注哦,我们下次见。
本文由“野鹿志”发布
转载前请联系马鹿野郎
29
举报
|
22
分享
相关推荐
评论
用户头像
评论你的想法~
表情
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
推荐素材
【矢量/PSD】二次元少女角色立绘
蛇年旺财 | 新年插画文创设计
元界械语·绮幻少女纪IP创意设计
金蛇送福 | 蛇年主题卡通插画设计
软萌兔子玩偶系列 粉嫩少女心卡通创意设计
AI艺术量子创作系统-100组商业级艺术提示词正式发布
蓝色背景下的台灯和AI字母组成的静物照
蓝色背景下的台灯铅笔和AI字母组成的静物
记录 PPT创作 阅读助手 AI 笔记
金蛇送福 | 蛇年主题卡通插画设计
渐变曲线波浪背景素材
未来都市AI音乐创作系统
AI音乐创作系统界面
17个火焰线条主题背景(免费商用)
9款莫里斯复古植物纹样纯手工矢量包 (印花/文创商用)
清新雏菊少女扁平风元气少女ip形象
魔法礼帽鲜花插画 创意图案设计素材包
记录 PPT创作 阅读助手 AI 笔记
十大女性最爱的宠物狗
金蛇送福 | 蛇年主题卡通插画设计
AI人工智能机器人正在写作
黄色台灯和黄色灯泡照射出的光交织在AI字
新年插画 | 12只蛇卡通形象设计
潮酷角色插画 · 赛博墨镜猫
金蛇送福 | 蛇年主题卡通插画设计
你可能喜欢
相关收藏夹
大家都在看
登录注册