人是习惯性动物,当我们第一次用opencv时,肯定会觉得opencv的imread()方式很奇怪,做图像出来天天说图像是RGB图RGB图,可opencv读出来的图,却是BGR的顺序。是不是很奇怪,还不止这一点,opencv读进来的图,你在使用shape函数时,返回的是h,w,c,也就是height是第一个维度,然后是宽度,最后是通道数,就是彩色图是RGB三通道。但是我们在使用的时候,第一个维度又是width的,第二个维度是height。然后利用opencv进行保存和show的时候,也一定要保证是BGR通道的顺序,否则保存和显示出来的图是不对的。
可以跑一下以下代码试试。
import cv2
cv2_img=cv2.imread('./demo.jpg')
print(type(cv2_img) )
print(cv2_img.shape)
# h,w,c
print(cv2_img[0,0,:])
# print左上角位置的像素值,一定要看清楚三个通道的值
cv2.imwrite('./test_cv2.jpg', cv2_img)
cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道
print(cv2_img_ch[0,0,:])
cv2.imwrite('./test_cv2_ch.jpg', cv2_img_ch)
# 看一下保存的图像是不是和原图一样?
正是因为这些原因,深度学习的处理图像时会存在是使用BGR还是使用RGB的图这个问题。还有一个另外的原因,那就是早期的深度学习平台caffe是基于opencv来读图的,读图顺序是BGR。
当然有人不喜欢opencv这种读图模式,那就换一种方式,比如最近发现在AGI领域,大家更倾向于用PIL库,用这个库来读图,更符合大家平常习惯的RGB模式,但是这个库也有问题,你如果想像opencv读进来的图像那样用,还要借助numpy进行转一下,因为本身这个函数读进来的并不是一个图向量,可以理解为一个索引。
from PIL import Image
import numpy as np
pil_img=Image.open('./demo.jpg').convert('RGB')
#关于此处convert('RGB')的使用, 如果不使用.convert('RGB')进行转换,读出来的图像是RGBA四通道的,A通道为透明,通过convert('RGB')转成只有RGB三通道的数据。可以不加convert('RGB')打印出来看看。
print(type(pil_img) )
print(pil_img.size)
# w,h 没有c
print(np.array(pil_img).shape)
# h,w,c 但是c是RGB通道的,这里通过np.array转成可以读写的数据结构,原来读进来的是无法直接print打开的
print(pil_img[0,0,:])
# print左上角位置的像素值,一定要看清楚三个通道的值
#保存图
pil_img.save('./pil_img.jpg')
目前在diffusers的库中,有个load_image,也就是基于PIL.Image来实现的。
另外还有一个做可视化时,大家常常用到的matplotlib.pyplot,这个库也可以读图
import matplotlib.pyplot as plt
import numpy as np
plt_img=plt.imread('./demo.jpg')
print(type(plt_img) )
print(plt_img.shape)
# h,w,c c上是RGB通道
print(plt_img[0,0,:])
# print左上角位置的像素值,一定要看清楚三个通道的值
#保存图
plt.imsave('./plt_img.jpg', plt_img)
但是通常深度学习模型,进模型时,通常是b,c,h,w这样的顺序,因此,以上几种方式都需要在维度上对数据进行转换。转换的时候,可以使用transpose(),也可以使用permute(),这两个函数的具体使用方式这里也简单介绍一下。
其中,transpose这个函数,在numpy中,是可以进行超过2个维度的转置的。比如我们对opencv的图进行转置。
import cv2
cv2_img=cv2.imread('./demo.jpg')
print(type(cv2_img) )
print(cv2_img.shape)
# h,w,c
print(cv2_img[0,0,:])
# print左上角位置的像素值,一定要看清楚三个通道的值
cv2.imwrite('./test.jpg', cv2_img)
cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道
print(cv2_img_ch[0,0,:])
cv2.imwrite('./test_ch.jpg', cv2_img_ch)
# 看一下保存的图像是不是和原图一样?
t_cv2_img=cv2_img.transpose(2,0,1)
print(cv2_img.shape)
# c,h,w
此时最后一行打印出来是c,h,w这样的顺序。numpy的transpose很强大,根据官方的介绍,参数传递时,可以这样的,也就是可以对各个维度进行交换。
Parameters:
a array_like
Input array.
axes tuple or list of ints, optional
If specified, it must be a tuple or list which contains a permutation of [0, 1, …, N-1] where N is the number of axes of a. Negative indices can also be used to specify axes. The i-th axis of the returned array will correspond to the axis numbered axes[i]
of the input. If not specified, defaults to range(a.ndim)[::-1]
, which reverses the order of the axes.
但是我们在做深度学习,通常是基于torch工作时,常常会碰到transpose和permute()这两个函数,这两个和numpy中的tranpose用途是基本一致的。但是torch.transpose只能对两个维度进行交换,而permute可以对多个维度进行交换。比如上面的实验,我们可以这么做。
import cv2
import torch
cv2_img=cv2.imread('./demo.jpg')
print(type(cv2_img) )
print(cv2_img.shape)
# h,w,c
print(cv2_img[0,0,:])
# print左上角位置的像素值,一定要看清楚三个通道的值
cv2.imwrite('./test.jpg', cv2_img)
cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道
print(cv2_img_ch[0,0,:])
cv2.imwrite('./test_ch.jpg', cv2_img_ch)
# 看一下保存的图像是不是和原图一样?
t_cv2_img=cv2_img.transpose(2,0,1)
print(cv2_img.shape)
# c,h,w
tt_cv2_img=torch.from_numpy(cv2_img).permute(2,0,1)
print(tt_cv2_img.shape)
# c,h,w
tt_cv2_img=torch.from_numpy(cv2_img).transpose(2,0,1)
# 此处会提示出错,torch的transpose只能交换两个维度
也就是说,如果是numpy的维度交换,可以随意用transpose()实现。但是如果你操作的对象是torch.tensor这种数据结构,尽量用permute()函数,用法其实和numpy的transpose()基本上完全一样。
PS.题外话:
1. 无论用哪种方式来读图,请确保训练和测试是一定要保持一致。
2. 三种方式在对同一张图读取时,读进来的像素值可能会有差异的。保存时更不用说了,肯定不一样,因为不同的方法保存时,压缩比例不保证一致,所以保存下来的图再读肯定不一样。
3. 无论哪种方式,通常都会归一化,这个地方一定要确保是一致的。