影像原始信息Raw的全方位解析
目录
什么是“RAW”？
什么是RAW数据？
Raw格式：
不同的Raw图像格式：
看raw数据的工具：
Raw数据位数：
RAW格式的优点：
RAW格式的缺点：
Pure raw和Process raw的区别：
Raw 分类：
mipi raw
packed raw & unpack raw
bit & bpp
简单介绍ISP流程raw图像如何转化为RGB格式：
简单表示一下如何由raw图得到rgb图：
什么是“RAW”？
维基百科的字面解释是：原始图像文件包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。RAW文件包含创建一个可视图像所必须的相机传感器数据信息。
通俗讲就是摄像机、相机拍摄并记录下来的带有原始信息的视频或者图片，包含传感器元数据、传感器尺寸、颜色属性、配置文件等等信息，以方便后期对视频及图片做更大幅度的处理。几乎未经压缩，也完全没进行各种处理，与记录拍摄时“用户的相机设置信息”数据被一同保存下来。
既然是原始文件，一定很大，对传输带宽、存储空间都有特别的要求，而且每个摄像机、照相机厂家对自己的原始文件（RAW）开放程度、记录方式等要求都不一样。
什么是RAW数据？
RAW数据是未经处理的sensor输出，按照特定顺序排列。ISP处理RAW Data以还原三原色，每个像素点仅感应R、G或B。ISP根据周围信息计算缺失颜色。传感器将光信号转电信号，通过AD转换成数字信号。DSP影响画面质量。举例说明了10位和16位RAW数据的表示方式。
Raw格式是sensor的输出格式，是未经处理过的数据，表示sensor接受到的各种光的强度。 Raw数据在输出的时候是有一定的顺序的，一般为以下四种:
00： GR/BG01: RG/GB10: BG/GR11: GB/RG
为什么每种情况里有两个G分量呢？这时因为人的眼睛对绿色比较敏感，所以增加了对绿色的采样。其中每个分量代表一个piexl。所以GR/BG就代表四个piexl，在物理sensor上就表示4个晶体管，用一个晶体管只采样一个颜色分量，然后通过插值计算得到每个piexl，这样做的主要目的是降低功耗。
sensor输出的数据一般要送到ISP中处理才会得到一个好的效果，这就需要ISP知道sensor输出的raw数据的顺序与大小，其中顺序一般通过配置ISP的pattern寄存器来实现，大小一般配置在ISP的输入格式控制寄存器中。
Raw格式：
Q:RAW格式是一种非压缩格式吗？
A:有一部分是。有损压缩表示在压缩处理过程中，部分图像数据将会被丢弃。但是抛弃这些信息后，能得到比无损压缩小得多的文件。有些RAW格式，例如尼康公司的.NEF格式就能通过这种形式进行保存，从而可以得到占据空间更小的文件。但这样做会造成画质的下降，在天空等影调过渡较为平滑的部分表现得尤为明显。
所有JPEG文件均使用有损压缩算法。JPEG文件在保存时会提供一个画质设置供我们选择，我们选择的画质越低，丢弃的图像数据越多，得到的图像文件也就越小。反之，画质较高的JPEG文件和画质较低的相比文件尺寸也更大一些。
经过各种查询知道，RAW图中每个像素都代表了一种颜色，一般情况下主要有这四种分布情况：
那么一帧8*8的bayerGB格式的图像是啥样的呢？就是下面这个样的：
RAW每个点只表现一种颜色的像素值，所以你看它转RGB时第一步就是去马赛克。那么下一个问题，为啥绿色像素点的数量是红色和蓝色的两倍呢？
在大多数传感器中，Raw图像中绿色像素点更多的原因与人类视觉系统和传感器技术有关。这涉及到Bayer排列（Bayer Pattern），它是一种在数字图像传感器上广泛使用的色彩滤波排列方式。
Bayer排列是一种将RGB三个颜色通道以不同的排列方式进行采样的方式，常见的Bayer排列模式为RGGB。在这种排列下，传感器中的像素以以下方式进行采样：
在这个4x4像素块中，绿色像素点占据了4个，而红色和蓝色像素点各占2个。因此，在Raw图像中，绿色像素点数量更多。
这样的排列方式有几个原因：
人类视觉系统对绿色更敏感：人眼的视觉系统对绿色更敏感，因为我们的视网膜中有更多的绿色感光细胞。采用Bayer排列，使得图像传感器在绿色通道上具有更高的分辨率，可以更好地捕捉细节和颜色信息。
降低噪点和增强分辨率：绿色像素点数量的增加可以降低图像的噪点水平，因为绿色通道通常有更高的信噪比。此外，绿色像素点更多也增强了图像的分辨率，因为对于每个4x4像素块，有四个绿色像素点用于捕捉细节。
虽然Raw图像中绿色像素点更多，但通过去马赛克（Demosaicing）的过程，可以还原出完整的RGB图像，其中每个像素点都有完整的红、绿、蓝三个颜色通道的信息。这使得Raw图像能够提供更高质量的图像数据，有助于后期处理和优化。
不同的Raw图像格式：
不同的Raw图像格式（Raw8、Raw10、Raw12、Raw16等）在不同的应用场景中有着各自的优势和用途。以下是它们常见的应用场景：
Raw8（8位Raw）：
主要特点：每个像素的位深度为8位，即256个灰度级。 应用场景：Raw8是最常见的Raw图像格式之一，适用于对存储空间和传输带宽有限的应用。常见于普通的数码相机、网络摄像头、实时视频流传输等。
Raw10（10位Raw）：
主要特点：每个像素的位深度为10位，即1024个灰度级。 应用场景：Raw10提供了比Raw8更多的色彩深度，可以捕捉更多的图像细节和动态范围。常见于高端数码相机、专业摄影设备、一些工业视觉应用等，对图像质量要求较高的场景。
Raw12（12位Raw）：
主要特点：每个像素的位深度为12位，即4096个灰度级。 应用场景：Raw12提供了更高的色彩深度和更大的动态范围，能够捕捉更丰富的色彩细节和亮度层次。常见于专业摄影、高端图像处理、工业视觉领域等，对图像质量要求较高的场景。
Raw16（16位Raw）：
主要特点：每个像素的位深度为16位，即65536个灰度级。 应用场景：Raw16是最高位深度的Raw格式之一，提供了极高的色彩深度和动态范围，非常适用于对图像质量和精度要求极高的专业摄影、卫星影像、医学影像等领域。
表示的分量详解：
RAW8:即是用8bits表示G/R/B/G中的一个分量,而不是使用8bits表示RG/GB四个分量。在sensor中，为了降低功耗，使用一个晶体来表示一种颜色，然后利用差值计算出相邻像素的值。 Raw10:就是使用10bit表示上述的一个G/R/B/G，但是数据中是16bit的，高6位没用。
Raw12:就是使用12bit表示上述的一个G/R/B/G，但是数据中是16bit的，高4位没用。
看raw数据的工具：
看raw数据工具有很多，再此只介绍影像外使用的三款：
1 > picasa
Google 的免费图片管理工具Picasa，数秒钟内就可找到并欣赏计算机上的图片。 Picasa 原为独立收费的图像管理、处理软件，其界面美观华丽， 功能实用丰富。后来被 Google 收购并改为免费软件， 成为了 Google 的一部分，它最突出的优点是搜索硬盘中的相片图片的速度很快，当你输入一个字后，准备输入第二个字时，它已经即时显示出搜索出的图片。不管照片有多少，空间有多大，几秒内就可以查找到所需要的图片；使用比较简单，将文件后缀名修改为raw，然后拖到软件中即可。
2>irfanview
仅仅不到2M的小软件，功能却能与体积大到几十M的ACDSee相媲美！这个软件就是IrfanView。图片、音频、视频浏览，图片批量格式转换、批量重命名，JPE图片无损旋转等只是IrfanView最基本的功能。IrfanView是世界第一个支持多页Gif动画的Windows图像查看器，另外强大的插件外挂功能、自定义皮肤功能以及多种热键支持让你可以定制一个完全属于自己的IrfanView！使用时，需要将文件后缀名改为raw，然后拖到软件中，填入raw的长宽，然后选择depth，主要是选择pattern，需要知道raw数据是RG/GB等的顺序。这个软件有个问题就是打开的raw数据是上下颠倒的。
3>photoshop
功能强大，不需多言。这里只说一下怎样使用其看raw数据：首先打开raw数据，在弹出的对话框中填入宽度，然后选择通道为1，如果是raw10，depth选择16，然后选择IBM，打开，发现是一张全黑的图片，然后选择：滤镜->其他->自定义。。。"在弹出的对话框中将中间的白框填入64，其他填入0，即可得到raw图，不过图片是黑白的，但是正反是正常的。
Raw数据位数：
Q:RAW文件的8位、12位、14位、16位等有什么区别？
A:我们拍摄的每张照片均由从黑到白之间的不同影调组成，而“位”则表示黑白之间影调范围的多少。位越大，黑白之间的影调就越丰富。所有的JPEG格式文件都是8位图像文件，因此在黑白之间只包含256级影调变化。而RAW格式文件大多为12位或14位，在黑白之间至少包含4096级影调变化。普遍观点认为，想表达柔和、自然的画面至少需要250级左右的影调，所以包含256级影调变化的8位图像文件能满足大多数情况下的需要。
RAW格式的优点：
无损数据：Raw图片是未经压缩的，因此它没有任何数据损失。相比于其他压缩格式（如JPEG），Raw图片保留了从图像传感器捕获的每个像素的原始信息，因此可以实现更高的图像质量。更大的动态范围：Raw图片通常具有较高的位深度，如12位或14位，这使得它们能够捕获更大的动态范围。这对于处理高对比度场景和后期图像编辑非常有用。更多的后期处理选择：由于Raw图片保留了原始的像素信息，它们在后期处理时提供更多的灵活性和选择。用户可以在计算机上使用专业图像处理软件对Raw图片进行各种调整和编辑，如白平衡、曝光补偿、色彩校正等，而这些操作在压缩图像上可能会导致质量损失。质量控制：拥有Raw图片使得摄影师和专业用户可以对图像质量有更多的控制，因为它们可以根据自己的需要对图像进行精细调整，而不依赖于相机内部的图像处理算法
总结四点如下：
*转换结果画质更高。
*与生俱来的非破坏性调整能力不会造成任何图像信息的损失。
*和标准JPEG格式相比高光、阴影细节更加丰富。
*进行色彩、白平衡、锐化等后期调整时范围更大。
RAW格式的缺点：
Raw图片通常较大，需要更大的存储空间，而且相机的连拍速度可能会受到限制。此外，由于每个相机制造商都可以定义自己的Raw格式，因此不同相机品牌的Raw图片可能需要特定的软件或驱动来解码和编辑。
总结五点如下：
*和JPEG相比文件更大。
*写入速度慢，会显著影响连拍速率。
*编辑处理耗时更长。
*交流、输出前需将其转换为JPEG或其他格式。
*RAW文件的调整需要一定时间学习。
Pure raw和Process raw的区别：
Pure RAW：就是Sensor没有+ISP的原始图片Process RAW：就是加了ISP的OB 与 Shadding的图片
Raw 分类：
mipi raw，packed raw ， unpacked raw ，ideal raw
mipi raw
10bit的raw图，10bit需要2个Byte（2x8 = 16）,但是还空了6个bit，空间就浪费掉了，mipi raw采用5个Bype （5x8=40），存储4个raw图数据，如下图所示。
packed raw & unpack raw
packed raw也就是mipi raw的一种，unpack raw是从packed raw转化而来；10bit的raw图，10bit需要2个Byte（2x8 = 16）,但是还空了6个bit，空间就浪费掉了，packed raw采用5个Bype （5x8=40），存储4个raw图数据。unpack raw采用2个Bype，存储1个raw图数据
bit & bpp
比特深度(bit depth): 一个衡量电信号强度大小的概念，bit depth描述了传感器硬件能处理数据的精细程度，越深的bit意味着更好的感光效应，即可以获取更多的数据量，而又由于传感器腔体（像素）接受的是电子的数量，意味着bit数据表示灰度值的大小。比如一个16bit的模组意味着65536的灰度范围，8bit模组即表示2的8次幂即256，256这个数字在冈萨雷斯的《数字图像处理》教材经常出现，就是这么得来的。
工业界描述一个模组感光性能的一个专用名词是bits per pixel，也有bits per channel，但有时都混淆叫做bpp。这两个是不同的概念，一个用来描述单像素点感光能力，后面的是表示三原色RGB单一通道的颜色表达能力，这是需要区分清楚的，总结有如下公式：
简单介绍ISP流程raw图像如何转化为RGB格式：
将Raw图像转换为RGB格式涉及到一系列图像处理步骤，包括去马赛克（Demosaicing）、白平衡（White Balance）、伽马校正（Gamma Correction）等。这些步骤可以在计算机上使用图像处理软件或编程库进行。
以下是将Raw图像转换为RGB格式的一般步骤：
去马赛克（Demosaicing）： Raw图像通常使用Bayer排列进行采样，其中红、绿、蓝三个颜色通道以不同的排列方式进行采样，形成一个马赛克图案。去马赛克是将这些马赛克图案还原成完整的RGB图像的过程。常见的去马赛克算法包括最近邻插值、双线性插值、双三次插值等。
白平衡（White Balance）： 白平衡是调整图像的色温，使得白色在图像中看起来是白色而不是偏色的过程。这是因为不同光源的颜色温度不同，可能会导致图像呈现偏色。白平衡可以通过调整红、绿、蓝三个通道的增益来实现。
伽马校正（Gamma Correction）： Raw图像中的像素值通常是线性的，而显示设备（如显示器）对图像的显示是非线性的。因此，需要进行伽马校正来将线性的像素值转换为适合显示的非线性值。
色彩空间转换： 如果需要将图像从相机原生的色彩空间（如sRGB、AdobeRGB）转换为其他色彩空间（如sRGB、AdobeRGB），则需要进行色彩空间的转换。
需要注意的是，Raw图像的转换过程并不是简单的直接数学运算，而是涉及到对图像的复杂处理和算法。因此，常见的图像处理软件和编程库通常都提供了相关的功能来实现Raw图像到RGB格式的转换，使得这个过程变得相对容易。
简单表示一下如何由raw图得到rgb图：
比如下图中间的点只有一个G值，那么就可以根据上下两个红色插值得到中间的R，左右两个蓝色得到B（当然这只是一种算法）：
再如下面的情况，如何得到中间点的G和B值呢？G值可以通过上下左右四个G值计算得到，B值通过四个角的B值来获得。