lipsync
lipsync

rhubarb-lip-sync-ccc (简称 lipsync) 是一款专用于 Cocos Creator 的嘴型动画生成插件,它可以根据一段语音生成嘴型动画的 Animation Clip 。适合用于制作游戏角色的说话动画。支持中英文语言。

rhubarb-lip-sync-ccc 基于 DanielSWolf /rhubarb-lip-sync,在他的基础上添加了对自动生成 Cocos Creator 的 Animation Clip 的支持。

项目信息

Demo

  • demo 视频:

使用方法

  1. 在 Cocos Creator 主菜单中,打开 【extensions】菜单 -> 【lipsync】-> 【launch】。开启 lipsync 的面板。

  2. 将嘴型图拖拽到对应的嘴型槽中,完成嘴型绑定。其中,6种嘴型(A, B, C, D, E, F)是必须的;而 G,H,X 嘴型则为可选。但推荐都提供,这样最终生成的结果会更为自然。

  3. 从本地选择一个录音文件。如果是非英文语言,建议取消勾选【是英文音频?】的选项。(这个选项将决定使用不同的识别器。对于英文录音,我们使用 PocketSphinx ;而对于其他语音的录音,我们使用 Phonetic。)

  4. 创建一个空的 Animation Clip ,并拖入目标 Animation Clip 槽位中。

完成以上四步之后,点击 【生成】 按钮,即开始生成动画。可以打开 Cocos Creator 的控制台面板,查看控制台日志:

1
2
3
4
5
6
7
8
9
10
11
12

isEnglish: true

extendedShapes: GHX

识别中...

f5e3f311-875c-4fba-a235-173a82141735

{"__type__":"cc.AnimationClip","_name":"happy_birthday","_objFlags":0,"_duration":1.32,"sample":100,"curveData":{"comps":{"cc.Sprite":{"spriteFrame":[{"frame":0,"value":{"__uuid__":"ac9ba9a0-efb8-4576-8d8a-6e9c4a178d2e"}},{"frame":0.04,"value":{"__uuid__":"a3aec0dc-fca3-4d4a-a93a-7e49a6f062a1"}},{"frame":0.22,"value":{"__uuid__":"d0778f9c-6403-42b6-9170-50783cdb777a"}},{"frame":0.3,"value":{"__uuid__":"e8474869-278a-4198-b6b9-3512bad62d54"}},{"frame":0.47,"value":{"__uuid__":"d0778f9c-6403-42b6-9170-50783cdb777a"}},{"frame":0.55,"value":{"__uuid__":"31364f93-705e-4cdb-b126-5acc5a5fd1c9"}},{"frame":0.79,"value":{"__uuid__":"dadaffea-9cc3-4082-b1b2-02d84200792b"}},{"frame":0.93,"value":{"__uuid__":"e8474869-278a-4198-b6b9-3512bad62d54"}},{"frame":1.21,"value":{"__uuid__":"ac9ba9a0-efb8-4576-8d8a-6e9c4a178d2e"}}]}}},"events":[],"speed":1,"wrapMode":1}

生成成功!

如果出现 “生成成功!” 的消息,说明生成已经成功。此时可以将该 Animation Clip 拖动到嘴巴节点的 Animation 组件上,看看效果。

温馨提示:如果发现虽然动画生成成功,但是该动画没有任何帧,可以重启 Cocos Creator 看看问题是否解决。

常见问题

  1. 插件可以白嫖吗?

    可以(您良心过意的去就好)。

  2. 支持 Windows 吗?

    代码里是加入了 Windows 的支持。没实际测试过。欢迎当一把小白鼠。有问题跟我反馈就好。

  3. 支持 Mac M1 吗?

    Cocos Creator 好像也还不支持吧?

  4. 为毛要收费 1 块钱?

    写插件不为了赚钱,只为交个朋友(我写插件不用花时间吗?1 块钱都不给我 555

  5. 支持 3D 吗?

    贴图的嘴巴是 ok 的。3D 的嘴型的话,建议直接用 rhubarb-lip-sync 生成每个时刻的嘴型数据,然后动态替换嘴型。

  6. 支持 Spine 动画吗?

    可以移步 DanielSWolf/rhubarb-lip-sync主要是因为穷买不起 Spine)。

  7. 计划支持 3.0 吗?

    有计划。先上了 2.0 的商店看看大家反馈,如果有 bug ,修一波再说。

如何获取帮助

目前只在 Mac 上测试过, Windows 上理论上也可以支持。

如果使用上遇到问题,请在 项目 仓库上提 issue 反馈。建议带上你的测试工程,方便我定位问题。