标题: 关于ai形象的探索
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-17 18:42 资料 文集 短消息 只看该作者
关于ai形象的探索

前段时间玩了玩网上公开的ai模型,发现头像和地图的生成效果较好,而形象基本上没有端倪。后来想了下,网上公开模型大部分都是扩散模型,不太适合搞像素,所以想尝试下对抗模型(GAN)。

最近在学校的服务器上手搭了一个styleGAN网络,来尝试一下ai生成形象的效果。(目前只是摸索阶段,尚无证据表明这条路可以走通)

一、styleGAN算法与网络结构:
使用的神经网络是styleGAN2-ada架构的变种,整体上服从卷积生成器-特征鉴别器的对抗架构。

GAN的训练过程如下:


图片附件: 0.png (2024-4-17 18:42, 52.7 K)



①首先先从数据集中采样真实(人画)的形象图片去训练鉴别器,让鉴别器具备识别形象图片的能力
②生成器开始生成形象图片,初期生成的很差,会被鉴别器鉴定出是“生成的垃圾图”,从而督促生成器进化
③生成器进化后生成了比较优秀的形象图片,骗过了鉴别器的眼睛,从而督促鉴别器进化
④重复②~③的训练步骤,使得生成器和鉴别器协同、对抗进化,鉴别器眼睛越来越尖,生成器越来越会模拟形象,最终生成以假乱真的形象图


二、数据集:
凡事都要从最简单的阶段做起,首先尝试的是单帧形象生成,我一共取了12个mod的全部mov形象,去除了女性、工兵(如炮车辎重)、动物和全部旧比例形象,一共收集了5500张单帧形象。
普造:


图片附件: 1.png (2024-4-17 18:47, 351.87 K)



特造:


图片附件: 2.png (2024-4-17 18:47, 304.46 K)



三、实验概述:
硬件设备:Rtx4090 24G
python环境:3.9
训练轮数:1200轮
训练时长:5小时


四、生成结果:


图片附件: fakes001140(1)(1).png (2024-4-17 18:42, 1.74 M)




图片附件: fakes001140(1)(2).png (2024-4-17 18:42, 1.75 M)




图片附件: fakes001140(1)(3).png (2024-4-17 18:42, 1.79 M)




图片附件: fakes001140(1)(4).png (2024-4-17 18:42, 1.75 M)






----------------------------------------------分割线----------------------------------------------




五、多帧生成网络:
单帧比较稳定了之后,我尝试扩展到4帧训练(左、前、后、喘 四帧)。
这里我对网络的结构做了一点调整,原初的鉴别器是直接对4帧合起来的图像进行鉴别,我这里又额外添加了一个单帧鉴别器 分别对4帧单独进行鉴别。换言之,现在的鉴别器是一个合体图像鉴别器 一个单帧图像鉴别器。


图片附件: 23.png (2024-4-17 19:09, 60.35 K)


合体鉴别器是为了保证生成的4个形象分别是左、前、后、喘四个状态,单帧鉴别器是为了保证四个状态中的每个形象都像人。


六、数据集:
将每个形象的左、前、后、喘 四帧拼接起来:


图片附件: 7.png (2024-4-17 18:42, 416.93 K)



七、生成结果:



图片附件: 0_res.jpg (2024-4-17 18:42, 650.67 K)




图片附件: 1_res.jpg (2024-4-17 18:42, 609.98 K)




图片附件: 2_res.jpg (2024-4-17 18:42, 638.5 K)




图片附件: 3_res.jpg (2024-4-17 18:42, 626.9 K)




图片附件: 4_res.jpg (2024-4-17 18:42, 626.39 K)




图片附件: 5_res.jpg (2024-4-17 18:42, 625.45 K)




图片附件: 6_res.jpg (2024-4-17 18:42, 611 K)




图片附件: 7_res.jpg (2024-4-17 18:42, 634.13 K)





八、图生图
使用的是pixel2style2pixel神经网络,可以将图像降维到隐空间中,通过微量调整后 再使用GAN生成,便可以实现形象的轻微编辑:



图片附件: 20.png (2024-4-17 18:47, 61.72 K)




图片附件: 21.png (2024-4-17 18:47, 62.81 K)




图片附件: 22.png (2024-4-17 18:47, 120.74 K)




接下来是9帧的联合生成实验

未完待续………………………………………………………………………………

[ 本帖最后由 普罗_puluo 于 2024-4-17 19:12 编辑 ]


顶部
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-17 18:45 资料 文集 短消息 只看该作者
占楼,9帧的实验会放到该楼

因为筛选spc形象实在是太费眼了,所以这个实验的数据集一直还没做出来,搁置中………………

[ 本帖最后由 普罗_puluo 于 2024-4-17 19:30 编辑 ]


顶部
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-17 18:45 资料 文集 短消息 只看该作者
占楼,atk动作生成的实验会放到该楼
顶部
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-17 18:46 资料 文集 短消息 只看该作者
占楼,形象生成的综合探究会放到该楼(有生之年)
顶部
性别:未知-离线 59054695
(筱尐小白)

Rank: 4
组别 士兵
级别 裨将军
功绩 3
帖子 308
编号 310804
注册 2009-2-13


发表于 2024-4-17 18:51 资料 短消息 只看该作者
看来,以后,
【一分钟内,我要XXX形象】
不是梦
顶部
性别:未知-离线 李老头

Rank: 1
组别 百姓
级别 在野武将
功绩 0
帖子 4
编号 544703
注册 2021-5-23


发表于 2024-4-17 19:45 资料 短消息 只看该作者
幸事一件啊,刚好用上了时代前沿的生产力
顶部
性别:未知-离线 苍龙决梨花乱
(Playmaker)

Rank: 3Rank: 3Rank: 3
组别 士兵
级别 仁勇校尉
功绩 2
帖子 196
编号 508421
注册 2014-11-11


发表于 2024-4-17 21:01 资料 短消息 只看该作者
想象过用ai创作形象,没想到大佬竟然真的在探索,还得是普罗大佬啊
不过这样有个问题:形象作者会允许自己的作品被拿来炼丹吗
顶部
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-17 21:15 资料 文集 短消息 只看该作者
回复 #7 苍龙决梨花乱 的帖子

现在还处于研究阶段,不会公布数据集也不会发布任何训练模型,暂时不涉及侵权的问题

如果有朝一日这条路走通了,申请授权的工作是肯定要做的(不过也是有生之年系列了)
顶部
性别:未知-离线 yjx814325116

Rank: 1
组别 百姓
级别 在野武将
功绩 0
帖子 2
编号 545895
注册 2024-1-16


发表于 2024-4-18 09:37 资料 短消息 只看该作者
我草,罗!
顶部
性别:未知-离线 531048020

Rank: 1
组别 百姓
级别 在野武将
功绩 0
帖子 1
编号 437354
注册 2011-8-3


发表于 2024-4-18 10:19 资料 短消息 只看该作者
一代版本一代神 带带版本信罗神
顶部
性别:未知-离线 十里风波恶

Rank: 1
组别 百姓
级别 在野武将
功绩 0
帖子 5
编号 545459
注册 2023-10-3


发表于 2024-4-19 13:21 资料 短消息 只看该作者
大佬牛掰
顶部
性别:男-离线 程军超
(虎贲郎赵统)

Rank: 6Rank: 6Rank: 6
组别 校尉
级别 安国将军
好贴 1
功绩 23
帖子 811
编号 498865
注册 2014-3-4
来自 山东烟台


发表于 2024-4-19 14:38 资料 文集 短消息 只看该作者 QQ
导入头像,来生成S形象就牛掰了
顶部
性别:未知-离线 神___

Rank: 1
组别 百姓
级别 在野武将
功绩 0
帖子 18
编号 500624
注册 2014-4-24


发表于 2024-4-21 01:00 资料 短消息 只看该作者
关于用AI图生图的效果与原图的对比

普罗大佬真厉害
向大佬学习

我好久没画图了,之前也一直在研究AI,在这方面能力我还太弱
也尝试过图生图效果,发现跟原画相比相差不大,
(用了洗隋录第8张画的原稿图 与 AI图生图的对比)
也有可能是在AI探索和领悟不够深入,暂时先慢慢学起来,
随着科技不断深入,发现自身能力越来越弱,
现在也只能跟着时代慢慢前进……

[ 本帖最后由 神___ 于 2024-4-21 01:12 编辑 ]
顶部
性别:女-离线 普罗_puluo

Rank: 4
组别 女官
级别 破贼校尉
好贴 1
功绩 16
帖子 54
编号 545415
注册 2023-9-23


发表于 2024-4-21 03:58 资料 文集 短消息 只看该作者
回复 #13 神___ 的帖子

ai地图我也仅有一点探索,待我整理一个新帖?
顶部

正在浏览此帖的会员 - 共 1 人在线




当前时区 GMT+8, 现在时间是 2024-5-13 04:17
京ICP备2023018092号 轩辕春秋 2003-2023 www.xycq.org.cn

Powered by Discuz! 5.0.0 2001-2006 Comsenz Inc.
Processed in 0.011613 second(s), 9 queries , Gzip enabled

清除 Cookies - 联系我们 - 轩辕春秋 - Archiver - WAP