ControlNet新玩法爆火:画出可扫码插画,内容链接任意指定

2023-06-08 11:53来源:IT之家   阅读量:14626   

扫描二维码分享

一组神秘的“虚拟老婆”照片,最近在国内外社交媒体上传疯了。

怎么回事?

试着用手机扫一下,就能发现其中的玄机 ——

最关键的是,这些照片并非手动绘制,而是用 Stable Diffusion 生成的,背后再一次加持了神奇的 ControlNet 魔法。

8 种图像风格任意可选

甚至它只能在特定的地点、特定的日子、特定的时间被扫出来,有寻宝游戏内味了。

3D 城市看得不过瘾,还有 2D 抽象风格的作品,数据都藏在小房子里了:

更具艺术性的水墨风格也能 hold 住,无缝衔接画作笔迹:

又或是这种水彩风格的画作:

日式的浮世绘风格也没问题:

还能嵌进 PCB 风格图像里,以后电路板要找售后,直接扫码就行:

这背后究竟是依靠什么技术实现的?

LoRA 和 ControlNet 齐出动

LoRA 全称 Low-Rank Adaptation of Large Language Models,能很好地实现少样本学习,从而对 Stable Diffusion 的图像风格生成进行更精准的控制。

目前,比较有特色的如中国传统风格和浮世绘风格的图像,作者们都已经在 Civitai 和 Hugging Face 等平台上开源了对应的 LoRA 模型。

像浮世绘风格 LoRA 模型,就已经可以在 Civitai 上直接下载:

训练这样一个浮世绘风格的 LoRA 模型,并不需要很多照片,像这个模型就只用了 46 幅葛饰北斋《富岳三十六景》的浮世绘。

就可以得到能画出不同纹样的 LoRA 模型:

有网友调侃,未来就连广告也会变得更好看了。

作者介绍

其中,倪豪和陈柏宇是中国传媒大学大四本科生,王照涵是中国传媒大学一年级研究生,陈智勇是北京航空航天大学大四本科生。

据倪豪介绍,他们之前的研究方向主要集中在图形学和交互艺术上,随着这段时间 AIGC 爆火,团队也对这方面的技术产生了兴趣。

这段时间里,他们开发了不少不同风格的 LoRA 模型,以及可控制光影的 ControNet 等,目前模型也都已经放在 Civitai 上。

可以码住期待一波了~

团队已开发的 AI 模型:

参考链接:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

返回顶部
返回顶部