关于ai形象的探索 - 曹操传MOD制作交流 - 轩辕春秋文化论坛 20周年


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#1

发表于 2024-4-17 18:42 资料文集短消息看全部作者

关于ai形象的探索

前段时间玩了玩网上公开的ai模型，发现头像和地图的生成效果较好，而形象基本上没有端倪。后来想了下，网上公开模型大部分都是扩散模型，不太适合搞像素，所以想尝试下对抗模型（GAN）。

最近在学校的服务器上手搭了一个styleGAN网络，来尝试一下ai生成形象的效果。（目前只是摸索阶段，尚无证据表明这条路可以走通）

一、styleGAN算法与网络结构：
使用的神经网络是styleGAN2-ada架构的变种，整体上服从卷积生成器-特征鉴别器的对抗架构。

GAN的训练过程如下：

图片附件: 0.png (2024-4-17 18:42, 52.7 K)

①首先先从数据集中采样真实（人画）的形象图片去训练鉴别器，让鉴别器具备识别形象图片的能力
②生成器开始生成形象图片，初期生成的很差，会被鉴别器鉴定出是“生成的垃圾图”，从而督促生成器进化
③生成器进化后生成了比较优秀的形象图片，骗过了鉴别器的眼睛，从而督促鉴别器进化
④重复②~③的训练步骤，使得生成器和鉴别器协同、对抗进化，鉴别器眼睛越来越尖，生成器越来越会模拟形象，最终生成以假乱真的形象图

二、数据集：
凡事都要从最简单的阶段做起，首先尝试的是单帧形象生成，我一共取了12个mod的全部mov形象，去除了女性、工兵（如炮车辎重）、动物和全部旧比例形象，一共收集了5500张单帧形象。
普造：

图片附件: 1.png (2024-4-17 18:47, 351.87 K)

特造：

图片附件: 2.png (2024-4-17 18:47, 304.46 K)

三、实验概述：
硬件设备：Rtx4090 24G
python环境：3.9
训练轮数：1200轮
训练时长：5小时

四、生成结果：

图片附件: fakes001140(1)(1).png (2024-4-17 18:42, 1.74 M)

图片附件: fakes001140(1)(2).png (2024-4-17 18:42, 1.75 M)

图片附件: fakes001140(1)(3).png (2024-4-17 18:42, 1.79 M)

图片附件: fakes001140(1)(4).png (2024-4-17 18:42, 1.75 M)

----------------------------------------------分割线----------------------------------------------

五、多帧生成网络：
单帧比较稳定了之后，我尝试扩展到4帧训练（左、前、后、喘四帧）。
这里我对网络的结构做了一点调整，原初的鉴别器是直接对4帧合起来的图像进行鉴别，我这里又额外添加了一个单帧鉴别器分别对4帧单独进行鉴别。换言之，现在的鉴别器是一个合体图像鉴别器一个单帧图像鉴别器。

图片附件: 23.png (2024-4-17 19:09, 60.35 K)

合体鉴别器是为了保证生成的4个形象分别是左、前、后、喘四个状态，单帧鉴别器是为了保证四个状态中的每个形象都像人。

六、数据集：
将每个形象的左、前、后、喘四帧拼接起来：

图片附件: 7.png (2024-4-17 18:42, 416.93 K)

七、生成结果：

图片附件: 0_res.jpg (2024-4-17 18:42, 650.67 K)

图片附件: 1_res.jpg (2024-4-17 18:42, 609.98 K)

图片附件: 2_res.jpg (2024-4-17 18:42, 638.5 K)

图片附件: 3_res.jpg (2024-4-17 18:42, 626.9 K)

图片附件: 4_res.jpg (2024-4-17 18:42, 626.39 K)

图片附件: 5_res.jpg (2024-4-17 18:42, 625.45 K)

图片附件: 6_res.jpg (2024-4-17 18:42, 611 K)

图片附件: 7_res.jpg (2024-4-17 18:42, 634.13 K)

八、图生图
使用的是pixel2style2pixel神经网络，可以将图像降维到隐空间中，通过微量调整后再使用GAN生成，便可以实现形象的轻微编辑：

图片附件: 20.png (2024-4-17 18:47, 61.72 K)

图片附件: 21.png (2024-4-17 18:47, 62.81 K)

图片附件: 22.png (2024-4-17 18:47, 120.74 K)

接下来是9帧的联合生成实验

未完待续………………………………………………………………………………

[ 本帖最后由普罗_puluo 于 2024-4-17 19:12 编辑 ]

[广告] 真诚支持说岳，携手共创辉煌


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#2

发表于 2024-4-17 18:45 资料文集短消息看全部作者

占楼，9帧的实验会放到该楼

因为筛选spc形象实在是太费眼了，所以这个实验的数据集一直还没做出来，搁置中………………

[ 本帖最后由普罗_puluo 于 2024-4-17 19:30 编辑 ]

[广告] 真诚支持说岳，携手共创辉煌


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#3

发表于 2024-4-17 18:45 资料文集短消息看全部作者

占楼，atk动作生成的实验会放到该楼

[广告] 真诚支持说岳，携手共创辉煌


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#4

发表于 2024-4-17 18:46 资料文集短消息看全部作者

占楼，形象生成的综合探究会放到该楼（有生之年）

[广告] 安装Alexa工具条，提高轩辕排名，支持轩辕发展！


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#5

发表于 2024-4-17 21:15 资料文集短消息看全部作者

回复 #7 苍龙决梨花乱的帖子

现在还处于研究阶段，不会公布数据集也不会发布任何训练模型，暂时不涉及侵权的问题

如果有朝一日这条路走通了，申请授权的工作是肯定要做的（不过也是有生之年系列了）

[广告] 真诚支持说岳，携手共创辉煌


	普罗_puluo

组别	女官
级别	破贼校尉
好贴	1
功绩	16
帖子	56
编号	545415
注册	2023-9-23

#6

发表于 2024-4-21 03:58 资料文集短消息看全部作者

回复 #13 神___ 的帖子

ai地图我也仅有一点探索，待我整理一个新帖？

[广告] 《精忠报国岳飞传完整版》火热发布