DDColor：通过双解码器实现逼真的图像着色

DDColor图像上色简介

图像上色（Image Colorization）是一项经典的计算机视觉任务，在许多现实世界的应用中具有巨大的潜力，例如老照片修复、电影重制和艺术创作等。给定一个灰度图像，图像上色旨在恢复其缺失的两个颜色通道，这个问题具有多模态不确定性，因为一个物体可能有多个似是而非的颜色。因此，图像上色一直是一个具有挑战性的问题。

随着 DDColor 的推出，图像着色领域见证了变革性的飞跃，这是一种使用双解码器的新方法。DDColor 是魔搭大模型最新的图像上色算法，输入一张黑白图像，返回上色处理后的彩色图像，并能够实现自然生动的上色效果。

DDColor 由阿里巴巴集团达摩院的 Xiaoyang Kang、Tao Yang、Wenqi Ouyang、Peiran 任、Lingzhi Li 和 Xuansong Xie 开发，在产生逼真的色彩方面脱颖而出，尤其是在具有多个对象和不同上下文的复杂场景中。

DDColor使用双解码器技术，能够同时考虑色彩分布和像素级详细信息，能实现高度真实的图像上色效果。

DDColor 不仅能给历史黑白照片上色，还能对动漫或游戏中的风景进行真实风格的上色。将动画场景转化为现实生活风格。

DDColor使用了双解码器来处理图片：

一个是恢复图片的结构，另一个是决定图片每个部分的颜色。

这项技术的创新之处在于它不需要像以前的方法那样依赖于人工设置的规则，而是能够自己学习图片的内容并决定合适的颜色。

通过这种方式，DDColor可以更准确地给复杂场景的图片上色，减少颜色错误涂抹的问题，并且使得最终的图片看起来色彩更丰富、更自然。

DDColor安装：

步骤1：设置环境

首先设置 Python 环境。确保已安装 PyTorch，因为 DDColor 的神经网络实现严重依赖此框架。

步骤2：数据准备

准备用于训练和测试的数据集。DDColor 适用于灰度和彩色图像。对于训练，请使用包含各种图像的数据集来捕获不同的颜色空间和场景。

步骤3：模型架构

定义 DDColor 的体系结构，包括像素解码器和颜色解码器。确保您的模型架构与数据集的复杂性保持一致。

如何使用DDColor？

在 ModelScope 框架上，提供输入图片，即可以通过简单的 Pipeline 调用来使用图像上色模型。

总之，DDColor 使用多尺度视觉特征来优化可学习的颜色标记（即颜色查询），并在自动图像着色方面实现最先进的性能。

论文 & 代码

论文链接：https://arxiv.org/abs/2212.11613

ModelScope应用：https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

开源代码：https://github.com/piddnad/DDColor