手机相机成像原理 : 原来照片是这样产生的 !

末蓝、 2023-10-13 18:03 25阅读 0赞

### 1. 前言 ###

在手机`APP`项目开发中，需要调用相机来实现拍照和视频的录制。  
但有时候仅仅是知道怎么调用`Camera API`是不够的，还需要去了解其底层原理。  
这篇文章从硬件的角度，来说明相机的成像原理，看完之后也许会豁然开朗 : 原来照片是这样产生的 !

![在这里插入图片描述][5cd1ee873f324c7fafdf917f7c03580b.png]

### 2. 小孔成像 ###

#### 2.1 小孔成像原理 ####

要讲清楚摄像头的成像原理，就得介绍下小孔成像的原理。  
中国春秋时代的墨子，发现在一间黑暗的屋子朝阳的墙上开一个小孔，人对着小孔站在屋外，屋里相对的墙上就会出现一个倒立的人影，这就是全世界最早关于**小孔成像**的记载。

![在这里插入图片描述][1727fa873ce146a6b347bb8d7cc1f68f.png]

我们也可以来做个试验，在一个暗的环境里面，准备一个蜡烛和两块挡板，蜡烛放在最左侧，一块挡板放在中间，一块挡板放在最右侧。  
中间的挡板要开一个很小的孔，然后用打火机点燃蜡烛，可以发现在最右侧的挡板上，会呈现出蜡烛倒立的影像。

![在这里插入图片描述][baa435ecfc2944439e78ef8ba5088863.png]

这是为什么呢 ?  
我们来看一下火焰最顶端的这点，发射出来的光，大部分都会被隔板所挡住

![在这里插入图片描述][9c7ffbe30d224fb1811822cdc5c23c3c.png]

只有小孔这一点可以穿过，照射到右侧纸板对应的那个点。  
蜡烛其他位置的点也是同理，如下图所示。

![在这里插入图片描述][6968a80be2e1470293d061bdf7b8b585.png]

这样子就在最右侧的纸板上呈现出蜡烛倒立的影像了。  
小孔成像证明，光是沿着直线传播的，它所形成的是上下、左右颠倒的像。

#### 2.2 凸透镜 ####

在搜索资料的时候，看到一个B站的UP主的视频 : [把天空搬进房间，这就是理科生的浪漫吗？][Link 1]，很有艺术浪漫细胞哦，想到了使用小孔成像的原理，将窗外的风景搬入室内。  
她是怎么做到的呢 ? 其实也就是把窗户全部用锡纸包住，只留一个小孔，这样室外的风景就会倒立这投影到房间里的白墙上了，不过这样投出的画面会很暗淡。(因为光线不足)

这时候就需要使用到凸透镜了，凸透镜具有聚拢光线的效果，它既可以收集足够多的入射光线，又可以让出射光线集中的打在屏幕上。

![在这里插入图片描述][7db9b468656c4f7fb8d52a0e628858bf.png]

所以只要选择合适焦距的凸透镜，就可以让窗外的风景清晰地投屏到白墙上了。  
手机摄像头的成像原理也类似的，下面我们来看一下。

### 3. 相机成像原理 ###

#### 3.1 手机相机的链路 ####

![在这里插入图片描述][40d7272879824234b56041564f6ea18e.png]

先来整体看一下手机相机的链路，总共有5步，本篇文章会针对前3部分(硬件部分)进行讲解 :

1.  **Camera Lens** : 光线通过透镜，到达COMS图像传感器
2.  **Image Sensor** : CMOS图像传感器会将光信号转化为电信号，再通过内部的ADC转化为数字信号
3.  **ISP** : 数字信号会传输给ISP进行处理，主要进行矫正、白平衡、曝光控制等
4.  **SOC** : 这一步就在应用层了(比如`App`)，通过CPU和GPU对图像数据进行后处理，比如添加滤镜等操作
5.  **Display** : 最终将图像数据显示到屏幕上

#### 3.2 Camera Lens ####

手机相机镜头的硬件构成如图所示

![在这里插入图片描述][5cd1ee873f324c7fafdf917f7c03580b.png]

> 对应到小孔成像上，光圈就是小孔，透镜组承担了汇聚光线的作用，`CMOS`图像传感器就是画布。

接下来来讲下每个具体的组件的作用 :

*  镜座 : 用来支撑镜头模组
 *  透镜组 : 组汇聚光线，再发散光线，能够雨露均沾地落到图像传感器上
    
     *  透镜组的设计是非常复杂的，包含了凸透镜和凹透镜，好的透镜组素质是成像必不可少的条件
     *  透镜组确定了焦距，由凸透镜和凹透镜之间的距离决定的
     *  光圈 : 用来控制镜头进光量的东西，它的大小是用F值来表示的 : `焦距 / 光圈开口直径`
 *  对焦马达 & OIS光学防抖 : 现在的对焦马达和OIS都是合在一起的
    
     *  横向轻微移动来实现对焦
     *  竖向轻微移动用来光学防抖 : 通过陀螺仪会感受到手机的偏移，从而电机反向偏移来抵消这种抖动

#### 3.3 CMOS图像传感器 ####

CMOS图像传感器用来接收光信号，并转化为电信号，再通过内部的ADC转化为数字信号

##### 3.3.1 微透镜 #####

在彩色滤镜阵列(CFA)的上方，用来把光线聚集到每一个像素点上，每一个像素点上方都有一个微透镜，6400万像素就有6400万个微透镜，1亿像素就有1亿个微透镜

![在这里插入图片描述][ad709e42cfb545c6a14059fce7f7a444.png]

##### 3.3.2 彩色滤镜阵列 (CFA) #####

CFA的作用就是赋予图像颜色，阳光通过CFA的某个像素的时候，只有对应颜色(红/绿/蓝)的光线才能进入。  
一般用的就是拜耳(Bayer) 阵列 (RGGB 排列)，由于人眼对于绿色更敏感，所以有两个绿色像素，红色和蓝色像素各占一个。  
![在这里插入图片描述][f7c4d7b219f343ebabd840192de12002.png]  
当然也有其他的排列，比如华为和特斯拉就用的RYYB排列，这样做的好处是进光量更大，在同等条件下夜晚拍照会更清晰。  
但是存在一个问题，就是需要多一步将黄色的光再分解为红色和绿色，这导致照片会容易出现偏色问题，后期算法层面需要进行更多的优化。

![在这里插入图片描述][95ad7fefd4f8433eb689399f4e86c425.png]

##### 3.3.3 像素阵列 #####

也就是光电二极管(photodiode)，它收集着光子，并将其转化为电子。  
一个光电二极管，就代表着一个像素，是照片上最小的成像单元，一般用微米(um)来表示它的大小，比如`0.8um`

##### 3.3.4 ADC 模数转换器 #####

负责将电子信号转化为数字信号

#### 3.4 ISP图像信号处理 ####

一般ISP也集成在CMOS中，并不是每一个图像传感器(CMOS)都自带ISP，随着现在的手机摄像越来越往计算摄影去发展，这个处理过程也更多的被放在SoC级的ISP上进行。

ISP，主要用来对前端图像传感器(CMOS)输出的信号做后期处理，主要功能有去马赛克(也叫反马赛克 ，demosaicing，由于每个像素点经过CFA后只能感应到一种颜色，所以需要通过该像素周围像素来预测出该点的插补值)、自动对焦(协同对焦马达)、曝光、白平衡、校正镜头缺陷、焦躁、HDR、格式转换等功能。

> 具体功能有 : 黑电平校正(BLC)、镜头阴影校正(LSC)、坏点校正(DPC)、颜色插值(Demosaic)、自动白平衡 (AWB)、颜色校正 (CCM)、彩色空间转换 (CSC)、Gammma校正 (Gamma Correction) 、宽动态 (WDR) 、多帧降噪 (3DNR)、锐化 (Sharp)、自动曝光 (AE)等。  
> ISP中的模块有IFE、BPS、IPE，JPEG等，其中JPEG会将数据进行jpeg编码工作。  
> 颜色插值功能是去马赛克的一种方法。

### 4. 拓展知识 ###

#### 4.1 CMOS图像传感器的结构 ####

![在这里插入图片描述][5608a1226c6c457eaa09be8e16841937.png]  
CMOS图像传感器结构有前罩式，被罩式，以及堆栈式。

*  前罩式 : 比较浪费光线
 *  被罩式 : 电路层移到了光电二极管的下面，光线利用率高
 *  堆栈式 : 本质也是被罩式图像传感器，但多加入了一层DRAM，这样手机才能去拍摄超级慢动作

#### 4.2 怎么评价图像传感器的好坏 ####

`信噪比 = 有用信号 / 噪声`，信噪比越高，就意味着画质越好，越纯净。  
信噪比越低，整个画面就会看上去有很多的噪点。

除此之外，还有三个对成像质量有影响的点

*  清晰度 : 像素越高越清晰 (前提是信噪比高才有用)
 *  宽容度 (动态范围) : 相机所能记录最亮与最暗的入射光亮度之比，动态范围越高，拍摄的明暗层次越多，细节也更多；一般单像素面积越大，动态范围越大。
 *  感光能力 : 图像传感器的尺寸越大，感光能力越强，在暗光环境下，画质更好

#### 4.2 Quad-Bayer ####

将4个像素合并成1个打小像素，提升感光能力，在光线比较差的情况下，能得到相对比较亮的照片，能大幅提高动态范围。

但这个技术也有弊端

*  颜色串扰Color Crosstalk：像素点中心距过近，会造成颜色串扰
 *  光学损失Optical Loss：四个像素合成一个大像素，每个小像素之间有物理隔断，光子会有损失
 *  反马赛克Demosaicing：通过周围像素猜测出该像素的难度高

#### 4.3 硬件链路 ####

主要有MIPI和GMSL协议两种

*  MIPI协议（多组差分对，信号数量多，传输距离短）
    
     *  MIPI：Mobile Industry Processor Interface，即移动产业处理器接口
     *  CSI：Camera Serial Interface，物理层分为D-PHY和C-PHY
     *  DSI：Display Serial Interface，物理层分为D-PHY和C-PHY
 *  GMSL协议（一对差分对或者一根同轴线，传输距离远）
    
     *  GMSL：一种高速串行接口，适用于视频、音频和控制信号的传输，使用50Ω同轴电缆或100Ω屏蔽双绞线(STP)电缆时的距离可达15m或更长，线束简单和传输距离远、传输稳定

### 5. 参考 ###

[「硬核科普向」手机摄像头成像原理][Link 2]  
[「巨硬核科普向」一亿像素什么鬼？手机图像传感器全解析！][Link 3]

[5cd1ee873f324c7fafdf917f7c03580b.png]: https://img-blog.csdnimg.cn/5cd1ee873f324c7fafdf917f7c03580b.png
[1727fa873ce146a6b347bb8d7cc1f68f.png]: https://img-blog.csdnimg.cn/1727fa873ce146a6b347bb8d7cc1f68f.png
[baa435ecfc2944439e78ef8ba5088863.png]: https://img-blog.csdnimg.cn/baa435ecfc2944439e78ef8ba5088863.png
[9c7ffbe30d224fb1811822cdc5c23c3c.png]: https://img-blog.csdnimg.cn/9c7ffbe30d224fb1811822cdc5c23c3c.png
[6968a80be2e1470293d061bdf7b8b585.png]: https://img-blog.csdnimg.cn/6968a80be2e1470293d061bdf7b8b585.png
[Link 1]: https://www.bilibili.com/video/BV1Qd4y1f7cM/
[7db9b468656c4f7fb8d52a0e628858bf.png]: https://img-blog.csdnimg.cn/7db9b468656c4f7fb8d52a0e628858bf.png
[40d7272879824234b56041564f6ea18e.png]: https://img-blog.csdnimg.cn/40d7272879824234b56041564f6ea18e.png
[ad709e42cfb545c6a14059fce7f7a444.png]: https://img-blog.csdnimg.cn/ad709e42cfb545c6a14059fce7f7a444.png
[f7c4d7b219f343ebabd840192de12002.png]: https://img-blog.csdnimg.cn/f7c4d7b219f343ebabd840192de12002.png
[95ad7fefd4f8433eb689399f4e86c425.png]: https://img-blog.csdnimg.cn/95ad7fefd4f8433eb689399f4e86c425.png
[5608a1226c6c457eaa09be8e16841937.png]: https://img-blog.csdnimg.cn/5608a1226c6c457eaa09be8e16841937.png
[Link 2]: https://www.bilibili.com/video/BV1rK4y1C7bQ/?spm_id_from=333.337.search-card.all.click&vd_source=40a8bb4109f80806e9ca498af677941d
[Link 3]: https://www.bilibili.com/video/BV1e54y1d7wq/?spm_id_from=333.999.0.0&vd_source=40a8bb4109f80806e9ca498af677941d