waifu2x是日本的一位大佬nagadomi开发的开源项目,目前累计贡献者有31人,该项目利用人工智能深度卷积神经网络技术来无损放大图片,内置了多种RNN模型,现已支持web端、linux端,Windows客户端等,支持本地显卡CUDA加速,实际体验非常令人满意。
0. 在线体验
在线体验地址: http://waifu2x.udp.jp
开源地址: https://github.com/nagadomi/waifu2x在线最大可放大2倍,可重复放大,本地客户端则无限制放大倍数。
1. Windows本地客户端
Windows客户端下载地址:https://github.com/lltcggie/wa【云.帆.学.社.】ifu2x-caffe/releases
图形界面GUI支持英语,日语,简体中文,繁体中文,韩语,土耳其语,西班牙语,俄语和法语。内置了7种神经网络,其中适用于2D插图的有UpRGB模型、RGB模型、Y模型、UpResNet10模型和CUnet模型。适用于照片或动画的有UpPhoto模型和Photo模型。
初次之外,还有CUI命令式操作,在下载目录下打开终端工具。输入.\waifu2x-caffe-cui.exe –help即可查看详细帮助说明,更多使用方法可以参考文档。
在命令行界面下,有如下模型可供选择:
* models / anime_style_art_rgb:2D插图(RGB模型)
* mod【云.帆.学.社.】els / anime_style_art:2D插图(Y模型)
* models / photo:照片/动画(照片模型)
* models / upconv_7_anime_style_art_rgb:2D插图(UpRGB模型)
* models / upconv_7_photo:照片/动画(UpPhoto模型)
* models / upresnet10:2D插图(UpResNet10模型)
* models / cunet:2D插图(CUnet模型)
* models / ukbench:老式的摄影模型(仅包括放大的模型。无法去除噪音)2. Docker版
作者使用LuaRocks作为基础开发环境,不熟悉这个环境的【云.帆.学.社.】也不用在意会卡在环境上,我们只需要本地构建docker镜像即可。
git clone https://github.com/nagadomi/waifu2x.git cd waifu2x docker build -t waifu2x .镜像构建完毕后,如果想启动web界面,可以运行docker run –gpus all -p 8812:8812 waifu2x th web.lua
,这样就可以得到演示站一样的效果。
如果想直接转换当前图片目录下的文件,可运行如下命令:docker run –gpus all -v `pwd`/images:/images waifu2x th waifu2x.lua 【云.帆.学.社.】-force_cudnn 1 -m scale -scale 2 -i /images/miku_small.png -o /images/output.png唯一需要注意的是,仅靠CPU是非常慢的,如果是wsl2或者自带GPU的服务器,只需提前安装好CUDA驱动即可。
3. 效果分析
依靠深度学习,我们发现插画类放大后,会自动降噪、锐化,少量细节会丢失,不过整体而言,对比原图后画质更高、画面风格也更柔和、纯粹。
处理速度方面,由于是单张图片,一般都是几秒钟就完成,上图是放大16倍,使用CUnet模型,拆分尺寸为128,硬件环境为RTX2070super,耗时3分45秒,实际运行CUDA占用80%左【云.帆.学.社.】右。
如果用命令行模式批量转换一段视频,假设每张耗时1秒钟,1分钟24帧的视频,将会消耗1440秒,也就是1分钟视频将花费24分钟,如果采用并行处理或优化算法,估计会少用一点时间。后面可以尝试下这个方法。
暂无评论内容