怪物弹珠攻略app，怪物弹珠人物百科

日本游戏开发者大会CEDEC2023最后一天（9月4日），mixi做了关于CreativeAI的讲座。

什么是CreativeAI？简单来说，就是利用AI生成无限数量的肖像等的研究。很多人都看过可以无限创作动漫角色漫画的网站，但在mixi，我们想，“是否可以将这种方法应用到游戏角色的创作中？”并开始对此进行研究。

这次介绍成果的人是mixi设计总部制作室技术美术组的技术组组长。

面包

龙太郎先生和《怪物弹珠》业务部开发室《怪物弹珠》客户端G客户端2T主程序钱宇哲先生，演讲的核心是《怪物弹珠》字符生成。

*本演讲内容正在研发中，尚未被《怪物弹珠》使用。

演讲开始时提出的问题“哪些图像是人工智能生成的？”，有四张人工智能生成的图像（答案在文章末尾）。

长船

老师表示，之所以开始研究CreativeAI，是因为mixi多年来一直在开发2D手游《怪物弹珠》，他认为需要频繁制作动画、VTuber等3DCG内容。一旦实施人工智能，生产力将显着提高。在决定研究人工智能这一主题后，mixi 开始研究基于GAN 的人物肖像生成。

之后mixi思考了哪些设计问题可以用AI解决，并得出稿件创作中应该引入AI的结论。是《怪物弹珠》的草稿，但是是彩色的，质量很高。

《怪物弹珠》 我想要的是这样的高质量稿件

生成方法（《怪物弹珠》中使用的）使用GAN（生成对抗网络），这是同类技术中常用的。这种系统感觉就像是一个生成漫画的人工智能和一个不断批评前者的人工智能之间的战斗。还使用了一种称为StyleGAN（基于样式的生成对抗网络）的方法。该项目最初使用内部未使用的渲染服务器，但最近开始使用Google Cloud Platform。

评估方法是改变学习率和batch size等超参数，通过用TensorBoard（TensorFlow可视化工具）查看来调整损失。 GAN 定期将生成的肖像发送到Slack。

什么是GAN（生成对抗网络）？

AI技术常用于人像生成技术

它由两个网络组成：生成器和鉴别器。

它可以比作伪造者（生成者）和警察（鉴别者）。

有许多通用的方法，例如StyleGAN、BigGAN 和DCGAN（深度卷积生成对抗网络）。

虽然mixi现在似乎已经经历过这种情况，但一开始我们对此知之甚少，因此我们决定与DATAGRID合作开始研究，DATAGRID正在使用GAN开发偶像生成AI。

最初，AI学习了：010到30000张人物图像，然后随机生成几个人物的全身肖像。最终的一些物体几乎不是人形的，但大多数只是让人好奇的噪音。 “粒子？”这是因为《怪物弹珠》中的角色不仅包括人形生物，还包括许多怪物和机器。发言者还表示，游戏已经运行七年多了，角色设计已经多次改变，很难找到角色之间的共同点。

有了以上的经验，

面包

老师

他们是

认识到数据的重要性，他们从《怪物弹珠》 个3D 模型中截取了许多2D 肖像，供AI 学习。最终制作出了很多《交锋联盟》风格的人物肖像，但缺乏创新。当您查看输出图像时，看起来原始角色已经采取了新的姿势。这是因为源数据没有足够的变化。

因此，AI的学习目标从互联网上10000张全身动画图像的数据库中转移到《交锋联盟》个全身数据。从数据库生成的对象已经具有一定的质量。如果我们查看《怪物弹珠》 的全身数据，生成的结果包含大量噪声。这是因为《怪物弹珠》的全身数据使用了大量特效，对AI产生了负面影响。从这次事件中，Champan教授了解到，学习AI时，需要将要素分开。

我们还尝试通过OpenPose 转换骨骼信息并扩展GAN 来向AI 提供骨骼信息。然而，从二维图像中提取此类信息非常困难，因此必须考虑其他方法。

由于生成全身极其困难，所以我将学习目标限制在对方的脸部，并介绍了两个当时非常有帮助的网站。基于使用StyleGAN 创建AnimeFace 和包含330 万张不同动画面孔的数据，我们对：010 到30000 张高分辨率图像进行了模板匹配，并提取了数千张面部图像供AI 学习。

然而，从333,600,0010-30,000个字符中提取人形字符的任务极其困难，每天只能完成大约两个小时，因此尝试了自动化。 DeepDanbooru 是与Danbooru 相关的自动标记工具，经过改进，可以更轻松地进行选择。

由此生成的结果如下图所示。它不仅具有《怪物弹珠》的特点，而且具有创新性。

接下来，我们将介绍用于操作这个CreativeAI 的工具和GUI。我安装的第一个工具允许我调整与参考站点相同的参数。之后，我们还参考了其他图像生成网站，添加了编码器功能，可以让您获得尽可能接近所需的图像。其他节能参考网站包括“StyleGanEncoder”、“WaifuLabs”和“ArtBreeder”。

基于GUI的AI角色生成工具~假设

使用编码器（StyleGanEncoder）生成与您自己的图像相似的肖像

使用简单的GRIDGUI 生成差异(WaifuLabs)

使用滑块GUI 进行微调(ArtBreeder)

在实际的演示中，您从随机生成的肖像中选择您最喜欢的肖像，继续选择缩小范围，显示另一个版本的肖像，然后输入调整参数。您可以自由更改细节。

选择随机生成的字符之一后，您可以选择该字符的差异版本

参数调整界面

快速调整上图中的某些参数将得到下图。

没有Encoder功能的示例，但这里是输入Nagayasu先生自己的照片的结果。结果和我不是特别相似，但我最终得到了一个看起来像《怪物弹珠》的漂亮男孩。还示出了输入猫的图像的示例。输出结果是一个不具备猫特征但有猫气息的女孩。这看起来也很方便

功能。

这个系统是为了满足角色的脸部和弹珠这两个需求而创建的，如果将角色生成的参数直接输入到弹珠生成系统中，就可以生成类似于我展示的角色的弹珠。不用说，学习角色的脸和弹珠上的数据应该是不同的。

如果综合评价2D人像生成部分，Encoder部分只能给，因为生成的人像与原始照片不太相似（在日本，程度是、、、）。识别度高（从前到后识别度低），显示差异的GUI为，通过滑动条调整参数的设计为。第一感觉是，当你使用滑块调整参数时，即使是很小的移动也会引起很大的变化，所以当你的感觉达到工作的最后阶段时，你需要更加仔细地对待这一步。

自动生成3D角色

接下来我就来汇报一下3D角色的自动生成。该领域的发展进展仍停留在钱教授介绍的中期报告的水平。

Mixi的许多新游戏都是使用Unity引擎创建的，因此《怪物弹珠》等游戏的推广对3D角色的需求很高，最近使用Unity引擎创建的游戏也出现了。由于这是Unity动画，因此3D模型制作的自动化也被纳入讨论范围。

首先，Zeni先生谈到了他的理想系统，即当输入角色图像时，AI会自动创建3D角色。然而，目前生成角色的准确率还很低，现有的研究大多研究如何从真实照片生成逼真的角色，而对动画角色的研究很少。

因此，mixi 的目标是成为参数方法和机器学习的混合体。调整参数后定制3D角色的解决方案有很多，但它们都需要将参数学习为向量。关于这一点，我们与东京大学五十岚实验室进行了联合研究。

钱等人指出网易发表的关于将照片转换为游戏角色的人工智能系统的研究。

该研究得出的方法从肖像中提取面部和身体特征，并计算网格和骨骼参数。

作为学习材料，我们将使用VRoid Studio截取一个参数多次改变的角色的数据。来源之一是该公司Vtuber 使用的“Gabriel”经过转换和体素化的3D 数据。您可以将角色的身体与其发型、服装等分开，并将其用作身体数据。

为了更加接近给定的VRiod 图像，AI 不断重复调整输出参数、判断结果、不断接近的过程。

另外，在UVMapping之前，需要提取人脸等材质，以便进行比例校正、变形等。可以从图像中自动剪出眼睛、眉毛等（分割），但由于分割技术主要用于摄影图像，因此动画也需要开发相应的技术。它还可以修复被头发覆盖的区域。

虽然这次没有展示具体的输出结果，但这项技术的研究已经在进行中。钱博士提到了三个亟待解决的问题。首先，有很多情况是单一的身体无法完全适应的，发型和服装也必须处理好。此外，参数估计方法和分割还有改进的空间。

然而，如果自动生成3D角色成为现实，回报将是巨大的。钱老师说他们一定会一起学习。

CreativeAI是设计师的敌人吗？

尚潘博士问了这样一个人性的问题。这听起来可能是陈词滥调，但如果绘画真的可以实现自动化，设计师真的会失业吗？

长船

虽然老师通过收集公司内部的信息和参加学习会了解到人工智能并不是设计师的敌人，但现实是一些设计师感到受到人工智能的威胁，他说这样的人很多。他还澄清说，有吸引力的角色需要大量的设定和背景支持，而GAN 只能创建皮肤。我的结论是，我应该避免把我的作品以未完成的状态展示给设计师，被设计师视为敌对，但同时我也不应该忽视听取各种人的意见。

AI对于设计师来说不是敌人而是好伙伴

将来，如果可以生成3D 角色，则可以创建2D 角色，将其转换为3D，并截取该3D 数据以增强2D 学习周期，从而使自动角色生成技术变得更加复杂。一个东西。成熟。

但由于这样的机器学习需要大量的学习数据，不可能依赖单一公司，需要支持公司共同开发，所以我们邀请游戏AI社区加入Slack频道。

对于非设计师来说这是一个梦想，但对于设计师来说这并不是噩梦。毫无疑问，CreativeAI 研究将会继续下去。从目前来看，很快就会取得成果。实用水平。 Mixi的研究花了一年半的时间才达到这一点。

经过

这也是未来游戏开发中无法回避的主题。这次讲座震惊了现有的人工智能技术，同时也让我们意识到该技术还存在问题，应用问题还需要进一步讨论。

还记得文章开头的问题吗？答案是红色的。