会员登录 立即注册

搜索

剪映数字人口播原理

[复制链接]
崎山小鹿 发表于 2024-7-3 21:22:34 | 显示全部楼层 |阅读模式
崎山小鹿
2024-7-3 21:22:34 3577 2 看全部
剪映版本升级了,新版本6.0.1支持数字人定制,于是我赶紧申请了使用资格
微信截图_20240702200113.png

目前的价格是49元创建一个数字人形象,能使用30天,30天之后要重新续费。
微信截图_20240703210617.png

支付49元之后剪映要求上传2.5至10分钟的视频
微信截图_20240703093744.png

接着要阅读一段话并录制视频上传
微信截图_20240703125157.png

第三步提交
微信截图_20240704115252.png

提交完成之后大概一个小时就会有一个特定数字人形象出现:
微信截图_20240703211258.png

发现在使用这个数字人时还额外的需要消耗积分,而我的积分为0,需要注册会员获取积分,就购买了一个19元包月的会员,终于可以正常使用了。

因为第一次定制数字人踩了不少坑。

1.上传的视频中每一帧都要有人物画面,像人物入场或者起身离场的画面都不能有。如果有这样的画面要用视频编辑软件剪掉。

2.录视频时眼睛平视摄像头,你以为他会自动纠正你的眼睛,滚犊子。

3.尽量露出完整的上半身轮廓,不要出现缺胳膊的情况。

4.嘴巴在任何时候都不能遮挡,如果要手扶眼镜要避开手拂过嘴巴的情况。
微信截图_20240703213558.png


推测剪映数字人的原理是:得到你的视频素材之后提取你的嘴型与音频的对应关系,在生成数字人的时候重新播放你的原始素材再根据当前的语音音频提取对应的嘴型,将新的嘴型覆盖原始素材嘴型,即完成数字人口播视频的生成。那么这里用到了嘴型识别技术和换嘴技术。相比3D数字人嘴型驱动方式这种对服务器的压力小太多,使用的嘴型都是原始素材中直接提取,所以生成的画面也非常逼真。

下面是我花了68元做的数字人效果。

天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

 楼主| 崎山小鹿 发表于 2024-7-3 22:39:12 | 显示全部楼层
崎山小鹿
2024-7-3 22:39:12 看全部
即使是字节跳动这样的公司做产品也是非常谨慎和保守的,以最少的投入获取最大的回报,能把数字人定制打到两位数以下也没别人了。
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

 楼主| 崎山小鹿 发表于 2024-7-3 22:41:48 | 显示全部楼层
崎山小鹿
2024-7-3 22:41:48 看全部
崎山小鹿 发表于 2024-7-3 22:39
即使是字节跳动这样的公司做产品也是非常谨慎和保守的,以最少的投入获取最大的回报,能把数字人定制打到两 ...

换脸技术都比字节数字人技术高一个等级,更别说3d数字人嘴型和表情驱动了。
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

管理员给TA私信
以墨运商,以商助墨。

查看:3577 | 回复:2

  • 网站的宽带已经到达极限

    网站宽带100%使用率 已经不是第一次了

    阅读:562|2024-11-25
  • 高真实感的人物形象SyncTalk

    SyncTalk是一种基于NeRF的高同步性说话人合成方法,专门针对提升说话人视频真实感和

    阅读:1753|2024-11-20
  • wav2lip-384x384  训练

    Wav2Lip是一种基于深度学习的人物口型生成技术,它可以将音频信号转化为对应的人物口

    阅读:1483|2024-11-14
  • 修复视频中人脸面部工具

    帧处理选择: face_enhancer 面部增强模型:选择512的模型,gpen_bfr_512,下载地址

    阅读:945|2024-11-14
  • 15分钟训练数字人MimicTalk

    只需15分钟,就能训练高质量,个性化数字人大模型。由浙江大学与字节跳动联合推出Mim

    阅读:1394|2024-11-11
  • 去掉视频中的字幕-牛片网字幕抹除

    有时候我们需要去掉视频中的字幕,可以使用牛片网的字幕抹除功能 项目地址:https://w

    阅读:1084|2024-11-07
  • 程序员的出图神器ComfyUI

    ComfyUI 是一个强大且模块化的 Stable Diffusion 操作界面,与我们熟知的 WebUI 在底

    阅读:1214|2024-11-05
  • 平面2D数字人王者DH_live

    每个人都能用的数字人 一、项目地址:https://github.com/kleinlee/DH_live 目前我们

    阅读:1715|2024-11-05
  • 向日葵智能阳光导入系统

    向日葵智能阳光导入系统,方便部署在野外、山坡,沼泽给光线不足的地区带去阳光,有了

    阅读:1085|2024-11-05
  • 大饼AI变声

    你想男声变女声吗?你想女声变男声吗?实现声音自由可以使用大饼AI变声。 官网地址:h

    阅读:1157|2024-11-04
金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2024 Discuz! Team.
快速回复 返回顶部 返回列表