淘宝人生玩法，淘宝人生玩法攻略

捏脸效率大幅提升。与传统30分钟的手动捏脸相比，当前照片的捏脸时间控制在5秒以内，捏脸时间缩短至原来时间的1/360。

用户上传的图像可以用来定制用户想要的图像，让用户更快地得到脑海中的虚拟数字图像。

行业3D照片捏脸应用

有许多用于风格化2D 照片的应用程序。

根据输入照片重建3D卡通图像在技术上有一定难度，因此相关应用很少。

总的来说，基于照片自动重建3D卡通图像的产业有三个方向：

第一个方向是允许用户个性化他们的虚拟聊天图像，并在聊天窗口或视频通话期间使用它们来隐藏用户真实的面部信息，增强社交互动的隐私性。

第二个方向是以个性化的方式生成用户的数字化身，并基于这个数字化身，产生更具互动性的内容生产和创作。通过照片和捏脸，可以提供漂亮且相似的数字化身，以提高用户表现。用户在虚拟空间中的认同感。

第三个方向是为用户打造个性化的3D游戏画面，将捏脸画面应用到游戏中，增加用户沉浸感。

照片侧面技术指标

淘宝生活2的照片人脸创作偏向第二个方向，为淘宝用户提供长得像、漂亮的数字化头像。技术专业的学生主要负责“真实性”，而艺术专业的学生则负责让图像变得更加美观。 “美丽的”。那么如何设定可靠的技术指标来评估最终效果是否达到“点赞”预期呢？经过我们团队的大量讨论和研究，我们发现淘宝生活2照片捏脸使用的是NME指标，这是常用的指标之一。业界3D人脸重建领域的评价方法，结合主观评价和打分来评价相似度。 3D数字人体图像和输入图像之间。

NME指标官方参考：

NME 指标的正式名称是正态平均误差。该指标用于评估3D重建人脸与真实人脸之间的重建误差。在业界，基于图像的3D面部重建来评估NME是很常见的。它根据照片对3D 脸部进行建模，计算2D 平面上脸部轮廓关键点与用户脸部之间的距离，并测量捏合的脸部特征与输入照片之间的相似度。这里的d一般取人脸框的对角线距离。

NME越大，重建误差越大。

真人脸重建算法对应指标

真实人脸重建算法

评价指标NME

3DDFA

3.78

3DDFA+SDM

3.43

B.C.L.L.

2.47

PRN

2.75

基于卡通图像基本模型的3D数字人具有一定的风格化特征，因此基于照片捏脸的卡通图像的重建误差小于真实人脸重建的误差。

淘宝生活2捏脸评价方法NME指数+主观评价分数评价3D标准捏脸

淘宝生活2的拍照捏脸采用量化指标与主观判断相结合的方式，量化指标仅覆盖脸部重要点的误差，整体“神”必须与“相似”。评级基于不同人的主观评价。

照片里捏脸好难

超逼真的人脸重建。用户上传2D 照片。如何将2D 面部特征转移到3D 面部模型？

风格化的面部重建不仅要映射到3D数字人的基本模型（称为底座），还要具有一定的风格化特征。例如，某些3D 图像的基础模型更加卡通化或军事化。 -arts Style 整个项目的核心难点是如何在保持基地整体风格的同时又不失用户喜爱。

离散属性匹配对相似度的影响除了人脸形状、轮廓、鼻子形状、眼睛形状之外，还有哪些特征影响图像判断？

—发型、眼镜、胡须等面部属性影响形象

照片面部重建主要需要解决三个问题。第一个是将用户上传的2D 照片中的特征映射到3D 面部模型上。二是不仅将2D面部特征映射到3D面部模型，而且基于卡通图像的风格具有一定的风格化特征，同时又不丢失用户的2D特征。第三种方法是通过面部形状以及其他非面部面部形状属性来提高用户重建的数字人的相似度。

淘宝生活2照片人脸裁剪技术框架

为了解决上述的照片捏脸难题，整个照片捏脸技术框架分为四个模块：预处理模块、人脸属性与非人脸属性模块、数字人物图像生成模块。

预处理模块对用户输入的照片进行资格验证，剔除敏感人员。它还检测用户输入的面部特征和发型掩模的关键点，并提供后续的面部属性模块和非属性信息。人脸属性模块。

人脸属性模块为了解决基于单张照片重建3D真实人脸的困难，淘宝生活2采用了基于3DMM（3D Morphable Model）的人脸重建方案。

基于3DMM技术将2D照片转换为3D人脸的核心思想是，任何3D人脸都可以通过添加3D平均人脸和一组人脸正交基来组合。因此，基于单张照片重建3D人脸的问题就是将目标3D人脸投影到2D人脸上并通过迭代求解依次拟合与输入2D图像对应的人脸的正交基系数的问题。转换成

3DMM脸形底座和纹理底座

3DMM解决方案流程

基于3DMM重建的3D人脸特征通过图形变形操作转移到淘宝生活2的3D卡通图像的基本模型中。这样就保留了用户特征和特定的风格特征，优雅地解决了第二个难题。然而，图形需要时间来使整个人脸网格变形，因此我们使用MLP（多层感知器）来训练从真实人脸系数到淘宝生活2人脸捏捏系数的映射模型。这改善了照片中的面部捏合性能。我们努力为我们的用户提供更好的用户体验。

非人脸属性模块用于增强一些离散属性的表示（常见的眼镜类型、发型、眉毛类型、胡须类型都是人脸捏脸系统中的一些离散属性）（通常称为离散属性，因为它们）。由材质ID表示）为了提高整体相似度，我们可以对用户的眼镜、发型、眉毛形状和胡须形状进行细粒度化，以提高捏脸系统属性与捏脸系统材质之间的匹配度，最终创建了整体重建图像。它变得更加立体和丰富。

数字人图生成模块利用淘宝生活2的捏脸系数以及通过上述模块获得的对应素材ID，通过引擎渲染得到淘宝生活2的3D数字人图。

这四个模块协同工作，最终使用户能够通过单击上传照片并定制自己的3D 数字人。此外，每个重建的3D数字人都反映了用户的特征，实现了生成数千张人体和面部图像的目标。

照片中捏脸的效果

总结及后续计划

目前的算法仅支持女性版本的漫画图像。基于淘宝生活2，漫画形象照片捏脸男版也在同时开发中，希望尽快实现。同时，眼型、嘴型等五官的贴合度还有待提高。随后，由于面部捏合和算法迭代的自由度增加，该区域的相似度得到改善。已进行了进一步的改进。

从我朋友的测试结果来看，我认为由于失去了基本风格，业内大部分照片捏脸应用都无法100%还原用户特征，但输出的捏脸图像还是比较漂亮的。只有算法学生和艺术产品学生合作，获得符合大众审美的人脸图像，才能冲出这个圈子，在用户端创造良好的口碑。

通过对淘宝生活2照片反复捏脸，开发出似美的技术路线，为用户带来了更好的产品体验。同时，我们计划推出更多模态捏脸支持，以便用户可以通过文本或语音自由捏脸。

引用

[1] Blanz V, Vetter T. 用于3D 面部合成的可变形模型[C]，计算机图形与交互技术国际会议，1999: 187-194。

[2] 曹C，翁Y，周S，等，FaceWarehouse: 用于视觉计算的3D面部表情数据库[J]，IEEE Transactions on Visualization and Computer Graphics，20(3): 413-425。

[3] Paysan P、Knothe R、Amberg B 等人，“用于姿势和光照不变人脸识别的3D 人脸模型”[C]，2009: 296-301。

附：拍照捏脸技巧

项目入口：淘宝APP首页-下拉进入淘宝二楼-搜索Second Life-点击图标进入淘宝生活2方块-点击底部换装选项卡换装进入-首页

进入照片捏脸页面：切换到服饰页面左侧的头像标签。点击右侧智能捏脸，进入照片捏脸页面。

在“捏照片”页面上，拍摄照片或从相册中选择一张照片来触发“捏照片”。

系统自动检测照片的质量和合规性，如果两者都符合规范，则根据照片生成新的数字人物图像，如果有一项不符合规范，则返回装扮页面。将会给出提示。

作者： 石根

来源：微信公众号：淘宝科技

来源：https://mp.weixin.qq.com/s/VAXAUYzdGPEgifJygO9WpA