关于ai形象的探索

前段时间玩了玩网上公开的ai模型，发现头像和地图的生成效果较好，而形象基本上没有端倪。后来想了下，网上公开模型大部分都是扩散模型，不太适合搞像素，所以想尝试下对抗模型（GAN）。

最近在学校的服务器上手搭了一个styleGAN网络，来尝试一下ai生成形象的效果。（目前只是摸索阶段，尚无证据表明这条路可以走通）

[b][size=4]一、styleGAN算法与网络结构：[/size][/b]
使用的神经网络是styleGAN2-ada架构的变种，整体上服从卷积生成器-特征鉴别器的对抗架构。

GAN的训练过程如下：
[attach]150257[/attach]

①首先先从数据集中采样真实（人画）的形象图片去训练鉴别器，让鉴别器具备识别形象图片的能力
②生成器开始生成形象图片，初期生成的很差，会被鉴别器鉴定出是“生成的垃圾图”，从而督促生成器进化
③生成器进化后生成了比较优秀的形象图片，骗过了鉴别器的眼睛，从而督促鉴别器进化
④重复②~③的训练步骤，使得生成器和鉴别器协同、对抗进化，鉴别器眼睛越来越尖，生成器越来越会模拟形象，最终生成以假乱真的形象图


[b][size=4]二、数据集：[/size][/b]
凡事都要从最简单的阶段做起，首先尝试的是单帧形象生成，我一共取了12个mod的全部mov形象，去除了女性、工兵（如炮车辎重）、动物和全部旧比例形象，一共收集了5500张单帧形象。
普造：
[attach]150258[/attach]

特造：
[attach]150259[/attach]

[b][size=4]三、实验概述：[/size][/b]
硬件设备：Rtx4090 24G
python环境：3.9
训练轮数：1200轮
训练时长：5小时


[b][size=4]四、生成结果：[/size][/b]
[attach]150260[/attach]
[attach]150261[/attach]
[attach]150262[/attach]
[attach]150263[/attach]




[size=5]----------------------------------------------分割线----------------------------------------------[/size]




[b][size=4]五、多帧生成网络：[/size][/b]
单帧比较稳定了之后，我尝试扩展到4帧训练（左、前、后、喘 四帧）。
这里我对网络的结构做了一点调整，原初的鉴别器是直接对4帧合起来的图像进行鉴别，我这里又额外添加了一个单帧鉴别器 分别对4帧单独进行鉴别。换言之，现在的鉴别器是一个合体图像鉴别器 一个单帧图像鉴别器。
[attach]150276[/attach]
合体鉴别器是为了保证生成的4个形象分别是左、前、后、喘四个状态，单帧鉴别器是为了保证四个状态中的每个形象都像人。


[b][size=4]六、数据集：[/size][/b]
将每个形象的左、前、后、喘 四帧拼接起来：
[attach]150264[/attach]

[b][size=4]七、生成结果：[/size][/b]

[attach]150265[/attach]
[attach]150266[/attach]
[attach]150267[/attach]
[attach]150268[/attach]
[attach]150269[/attach]
[attach]150270[/attach]
[attach]150271[/attach]
[attach]150272[/attach]



[b][size=4]八、图生图[/size][/b]
使用的是pixel2style2pixel神经网络，可以将图像降维到隐空间中，通过微量调整后 再使用GAN生成，便可以实现形象的轻微编辑：

[attach]150273[/attach]
[attach]150274[/attach]
[attach]150275[/attach]


接下来是9帧的联合生成实验

未完待续………………………………………………………………………………

[color=Silver][[i] 本帖最后由 普罗_puluo 于 2024-4-17 19:12 编辑 [/i]][/color]

占楼，9帧的实验会放到该楼

[b][size=4]因为筛选spc形象实在是太费眼了，所以这个实验的数据集一直还没做出来，搁置中………………[/size][/b]

[color=Silver][[i] 本帖最后由 普罗_puluo 于 2024-4-17 19:30 编辑 [/i]][/color]

占楼，atk动作生成的实验会放到该楼

占楼，形象生成的综合探究会放到该楼（有生之年）

看来，以后，
【一分钟内，我要XXX形象】
不是梦

幸事一件啊，刚好用上了时代前沿的生产力:hz1063::hz1063:

想象过用ai创作形象，没想到大佬竟然真的在探索，还得是普罗大佬啊:!!
不过这样有个问题：形象作者会允许自己的作品被拿来炼丹吗:hz1011:

回复 #7 苍龙决梨花乱 的帖子

现在还处于研究阶段，不会公布数据集也不会发布任何训练模型，暂时不涉及侵权的问题

如果有朝一日这条路走通了，申请授权的工作是肯定要做的（不过也是有生之年系列了）

我草，罗！

一代版本一代神 带带版本信罗神

大佬牛掰:hz1047::hz1047::!!

导入头像，来生成S形象就牛掰了

关于用AI图生图的效果与原图的对比

普罗大佬真厉害:hz1047::hz1047::hz1047:
向大佬学习:hz1063:

我好久没画图了，之前也一直在研究AI，在这方面能力我还太弱
也尝试过图生图效果，发现跟原画相比相差不大，
（用了洗隋录第8张画的原稿图 与 AI图生图的对比）
也有可能是在AI探索和领悟不够深入，暂时先慢慢学起来，
随着科技不断深入，发现自身能力越来越弱，
现在也只能跟着时代慢慢前进……

[color=Silver][[i] 本帖最后由 神___ 于 2024-4-21 01:12 编辑 [/i]][/color]

回复 #13 神___ 的帖子

ai地图我也仅有一点探索，待我整理一个新帖？:hz1003:

人才呀。我要跪了哈

比较期待楼主的成果。

像头像ai很好可以解决，地图也不难，维度就是形象，就是不要求精美，目前也很难解决。

s稍微好点，r的女形象太少了。

准备常来此贴蹲守，蹲一蹲研究进度:hz1056: