RAW数据格式解析

左手的ㄟ右手 2023-05-30 06:09 90阅读 0赞

[http://www.sunrayimage.com/yuvtools.html][http_www.sunrayimage.com_yuvtools.html]   yuvtools

RAM数据格式解析  
Raw格式是sensor的输出格式，是未经处理过的数据，表示sensor接受 到的各种光的强度。  
Raw数据在输出的时候是有一定的顺序的，一般为以下四种:  
00： GR/BG  
01:   RG/GB  
10: BG/GR  
11:   GB/RG

为什么每种情况里有两个G分量呢？这时因为人的眼睛对绿色比较敏感，所以增加了对绿色的采样。其中每个分量代表一个piexl。所以GR/BG就代表四个piexl，在物理sensor上就表示4个晶体管，用一个晶体管只采样一个颜色分量，然后通过插值计算得到每个piexl，这样做的主要目的是降低功耗。  
sensor输出的数据一般要送到ISP中处理才会得到一个好的效果，这就需要ISP知道sensor输出的raw数据的顺序与大小，其中顺序一般通过配置ISP的pattern寄存器来实现，大小一般配置在ISP的输入格式控制寄存器中。

下面说以下raw数据几种常用的格式:  
RAW8:  
Raw8即是用8bits表示G/R/B/G中的一个分量,而不是使用8bits表示RG/GB四个分量。在sensor中，为了降低功耗，使用一个晶体来表示一种颜色，然后利用差值计算出相邻像素的值。  
Raw10:  
Raw10就是使用10bit表示上述的一个G/R/B/G，但是数据中是16bit的，高6位没用。

Raw12:  
Raw12: 就是使用12bit表示上述的一个G/R/B/G，但是数据中是16bit的，高4位没用。

看raw数据的工具

看raw数据工具有很多，再此我只介绍我使用的三款：

1 > picasa

Google 的免费图片管理工具Picasa，数秒钟内就可找到并欣赏计算机上的图片。 Picasa 原为独立收费的图像管理、处理软件，其界面美观华丽， 功能实用丰富。后来被 Google 收购并改为免费软件， 成为了 Google 的一部分，它最突出的优点是搜索硬盘中的相片图片的速度很快，当你输入一个字后，准备输入第二个字时，它已经即时显示出搜索出的图片。不管照片有多少，空间有多大，几秒内就可以查找到所需要的图片.

使用比较简单，将文件后缀名修改为raw，然后拖到软件中即可。

2>irfanview

仅仅不到2M的小软件，功能却能与体积大到几十M的ACDSee相媲美！这个软件就是IrfanView。图片、音频、视频浏览，图片批量格式转换、批量重命名，JPE图片无损旋转等只是IrfanView最基本的功能。IrfanView是世界第一个支持多页Gif动画的Windows图像查看器，另外强大的插件外挂功能、自定义皮肤功能以及多种热键支持让你可以定制一个完全属于自己的IrfanView！

使用时，需要将文件后缀名改为raw，然后拖到软件中，填入raw的长宽，然后选择depth，主要是选择pattern，需要知道raw数据是RG/GB等的顺序。这个软件有个问题就是打开的raw数据是上下颠倒的。

3>photoshop

功能强大，不需多言。这里只说一下怎样使用其看raw数据：

首先打开raw数据，在弹出的对话框中填入宽度，然后选择通道为1，如果是raw10，depth选择16，然后选择IBM，打开，发现是一张全黑的图片，然后选择：滤镜->其他->自定义。。。"在弹出的对话框中将中间的白框填入64，其他填入0，即可得到raw图，不过图片是黑白的，但是正反是正常的。

# [图像bayer格式介绍以及bayer插值原理CFA][bayer_bayer_CFA] #

# 1 图像bayer格式介绍 #

bayer格式图片是伊士曼·柯达公司科学家Bryce Bayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像。

对于彩色图像，需要采集多种最基本的颜色，如rgb三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集rgb三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐。当用bayer格式的时候，很好的解决了这个问题。bayer 格式图片在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以一般bayer格式的图片绿色格式的像素是是r和g像素的和。

另外，Bayer格式是相机内部的原始图片, 一般后缀名为.raw。很多软件都可以查看, 比如PS。我们相机拍照下来存储在存储卡上的.jpeg或其它格式的图片, 都是从.raw格式转化过来的。如下图，为bayer色彩滤波阵列，由一半的G，1/4的R，1/4的B组成。

![format_png][]

## 2 bayer格式图像传感器硬件 ##

图像传感器的结构如下所示，每一个感光像素之间都有金属隔离层，光纤通过显微镜头，在色彩滤波器过滤之后，投射到相应的漏洞式硅的感光元件上。

![format_png 1][]

当Image Sensor往外逐行输出数据时，像素的序列为GRGRGR.../BGBGBG...（顺序RGB）。这样阵列的Sensor设计，使得RGB传感器减少到了全色传感器的1/3，如下所示。

![format_png 2][]

## 3 bayer格式插值红蓝算法实现 ##

每一个像素仅仅包括了光谱的一部分，必须通过插值来实现每个像素的RGB值。为了从Bayer格式得到每个像素的RGB格式，我们需要通过插值填补缺失的2个色彩。插值的方法有很多（包括领域、线性、3\*3等），速度与质量权衡，最好的线性插值补偿算法。其中算法如下：

R和B通过线性领域插值，但这有四种不同的分布，如下图所示：

![format_png 3][]

(a)                                   (b)

![format_png 4][]

在（a）与（b）中，R和B分别取邻域的平均值。

在（c）与（d）中，取领域的4个B或R的均值作为中间像素的B值。

## 4 bayer格式插值绿算法实现 ##

![format_png 5][]

由于人眼对绿光反应最敏感，对紫光和红光则反应较弱，因此为了达到更好的画质，需要对G特殊照顾。在上述（c）与（d）中，扩展开来就是上图的（e）与（f）中间像素G的取值，者也有一定的算法要求，不同的算法效果上会有差异。经过相关的研究，

（e）中间像素G值的算法如下：

![format_png 6][]

（f）中间像素G值的算法如下：

![format_png 7][]

CMOS摄像头这部分转换是在内部用ADC或者ISP完成的，生产商为了降低成本必然会使得图像失真。当然用外部处理器来实现转换，如果处理器的速度足够NB，能够胜任像素的操作，用上面的算法来进行转换，皆大欢喜。不过上述算法将直接成倍提高了算法的复杂度，速度上将会有所限制。因此为了速度的提成，可以直接通过来4领域G取均值来中间像素的G值，将会降低一倍的速率，而在性能上差之甚微，算法如下：

![format_png 8][]

如果能够通过损失图像的额质量，来达到更快的速度，还可以取G1、G2的均值来实现，但是这样的做法会导致边沿以及跳变部分的失真。

[http_www.sunrayimage.com_yuvtools.html]: http://www.sunrayimage.com/yuvtools.html
[bayer_bayer_CFA]: https://www.cnblogs.com/qiqibaby/p/5267566.html
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzAyNDE2NDctMTc4OTM5MDI5NC5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzAzMjcyMTAtMTE1NjA4NDM2NS5wbmc?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA0Mjg0MTMtMTMwMTgyMzU1My5wbmc?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA1MDE1NTQtMTIzMjI2MjU4MS5wbmc?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA1NDQ2NjMtMTM0NjU4MDA5My5wbmc?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA2MzU5OTEtMjA4OTc2NDYwMS5wbmc?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA3MjM2NDctMzgwNzExMDA0LnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA3NDgxOTQtMTA4MTIzOTY4Ny5wbmc?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODkzOTUxLzIwMTYwMy84OTM5NTEtMjAxNjAzMTEyMzA4MTY3ODgtNjkyNjkwMDIzLnBuZw?x-oss-process=image/format,png