Camera光学、成像和 3A 算法

女爷i 2023-07-16 13:58 37阅读 0赞

成像与光学。计算机视觉，图像处理，数字成像。自动驾驶与视觉。  
镜头设计；人成像（相机），机器视觉 计算机视觉

\-- 光学与 camera，书籍  
《应用光学》，《几何光学》

Camera（摄像头）算法的书，FPGA或DSP实现的。如ISP功能实现、3A、3D降噪、边缘增强、色彩还原、图像增强、防抖、去雾、隐私遮挡等的，  
张芙蓉，《基于DM642的H.264编码器研究》  
李方慧，王飞，何佩琨，《TMS329C6000系列DSPs原理与应用》

\-- camera开发

android camera开发- https://blog.csdn.net/zhangbijun1230/article/category/6500605

摄像头协议- https://blog.csdn.net/zhangbijun1230/article/category/8792290

camera- https://blog.csdn.net/zhangbijun1230/article/category/7508987  
深度相机- https://blog.csdn.net/zhangbijun1230/article/category/7531550

> Camera光学原理

Camera 图像处理原理分析- 抗噪 变焦 频闪 等- https://blog.csdn.net/colorant//article/list/6?  
Camera 图像处理原理分析- http://blog.chinaunix.net/uid-24486720-id-370942.html

camera理论基础和工作原理- https://blog.csdn.net/ysum6846/article/details/54380169  
工作原理：光线通过镜头Lens进入摄像头内部，然后经过IR Filter过滤红外光，最后到达sensor（传感器），senor分为按照材质可以分为CMOS和CCD两种，可以将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给DSP（如果有的话，如果没有则以DVP的方式传送数据到基带芯片baseband，此时的数据格式Raw Data，后面有讲进行加工）加工处理，转换成RGB、YUV等格式输出。  
目前常用的sensor有两种，一种是CCD（电荷耦合）原件；一种是CMOS（金属氧化物导体）原件。  
1.CCD（Charge Coupled Device），电荷耦合器件传感器：使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成电信号。CCD由许多独立的感光单位组成，通常以百万像素为单位。当CCD表面受到光照时，每个感光单位都会将电荷反映在组件上，所有的感光单位产生的信号加在一起，就构成了一幅完整的图像。CCD传感器以日本厂商为主导，全球市场上有90%被日本厂商垄断，索尼、松下、夏普是龙头。  
2.CMOS（Complementary Metal-Oxide Semiconductor），互补性氧化金属半导体：主要是利用硅和锗做成的半导体，使其在CMOS上共存着带N(-)和P(+)级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。CMOS传感器主要以美国、韩国和中国台湾为主导，主要生产厂家是美国的OmnVison、Agilent、Micron，中国台湾的锐像、原相、泰视等，韩国的三星、现代。

camera 原理- https://blog.csdn.net/g\_salamander/article/details/8086835  
随着数码相机、手机的普及，CCD/CMOS 图像传感器近年来得到广泛的关注和应用。 图像传感器一般都采用一定的模式来采集图像数据，常用的有 BGR 模式和 CFA 模式。BGR 模式是一种可直接进行显示和压缩等处理的图像数据模式，它由 R( 红)、G( 绿) 、B( 蓝) 三原色值来共同确定 1 个像素点，例如富士数码相机采用的 SUPER CCD 图像传感器就采用这种模式，其优点是图像传感器产生的图像数据无需插值就可直接进行显示等后续处理，图像效果最好，但是成本高，常用于专业相机中。一般数码相机的传感器（CCD 或 CMOS）约占整机总成本的 10%~25%，为了减少成本，缩小体积，市场上的数码相机大多采用 CFA 模式，即在像素阵列的表面覆盖一层彩色滤波阵列（Color Filter Array，CFA），彩色滤波阵列有多种，现在应用最广泛的是 Bayer 格式滤波阵列，满足 GRBG 规律，绿色像素数是红色或蓝色像素数的两倍，这是因为人眼对可见光光谱敏感度的峰值位于中波段，这正好对应着绿色光谱成分。

一般来说，camera 主要是由 lens 和 sensor IC 两部分组成，其中有的 sensor IC 集成 了 DSP，有的没有集成，但也需要外部 DSP 处理。细分的来讲，camera 设备由下边几部 分构成：  
1） lens（镜头） 一般 camera 的镜头结构是有几片透镜组成，分有塑胶透镜（Plastic)和玻璃透 镜(Glass) ，通常镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G 等。  
2） sensor（图像传感器） Senor 是一种半导体芯片，有两种类型：CCD 和 CMOS。Sensor 将从 lens 上传导过来的光线转换为电信号， 再通过内部的 AD 转换为数字信号。 由于 Sensor 的每个 pixel 只能感光 R 光或者 B 光或者 G 光， 因此每个像素此时存贮的是单色的， 我们称之为 RAW DATA 数据。 要想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。  
3）ISP（图像信号处理） 主要完成数字图像的处理工作，把 sensor 采集到的原始数据转换为显示支持 的格式。  
4）CAMIF（camera 控制器） 芯片上的 camera 接口电路，对设备进行控制，接收 sensor 采集的数据交给 CPU，并送入 LCD 进行显示。

工作原理：外部光线穿过 lens 后， 经过 color filter 滤波后照射到 Sensor 面上， Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果 Sensor 没有集 成 DSP，则通过 DVP 的方式传输到 baseband，此时的数据格式是 RAW DATA。如果集成 了 DSP， RAW DATA 数据经过 AWB、 则 color matrix、 lens shading、 gamma、 sharpness、 AE 和 de-noise 处理，后输出 YUV 或者 RGB 格式的数据。  
最后会由 CPU 送到 framebuffer 中进行显示，这样我们就看到 camera 拍摄到的景象 了。  
YUV 和 RGB 一样，是色彩空间中常用的色彩模型之一，两者可以相互转换。YUV 中 得 Y 表示亮度，U 和 V 表示色度。与 RGB 相比，它的优点在于占用更少的空间。 YCbCr 则是在世界数字组织视频标准研制过程中作为 ITU - R BT601 建议的一部分, 其实是 YUV 经过缩放和偏移的翻版。 其中 Y 与 YUV 中的 Y 含义一致, Cb , Cr 同样都指色 彩, 只是在表示方法上不同而已。在 YUV 家族中, YCbCr 是在计算机系统中应用最多的成 员, 其应用领域很广泛,JPEG、 MPEG 均采用此格式。 一般人们所讲的 YUV 大多是指 YCbCr。 YCbCr 有许多取样格式, 如 4∶4∶4 , 4∶2∶2 , 4∶1∶1 和 4∶2∶0。

数字信号处理芯片DSP(DIGITAL SIGNAL PROCESSING)功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。DSP结构框架:  
1. ISP(image signal processor)(镜像信号处理器)  
2. JPEG encoder(JPEG图像解码器)  
3. USB device controller(USB设备控制器)

光学变焦： 通过镜头的调整，拉近拉远所要拍摄的对象，保持像素不变和画质基本不变，却可以拍到自己 理想的物像。  
数码变焦：其实没有什么变焦，只是从原图片中截取出来放大，你从液晶屏幕上看到变大了，实际上画质并没有本质提高，而像素比你相机能拍摄的最大像素降低了。 画质上说基本是鸡肋把，但是可以提供一些方便。

做为拍照手机的核心模块之一，camera sensor 效果的调整，涉及到众多的参数，对基本的光学原理及 sensor 软/硬件对图像处理的原理能有深入的理解和把握。  
人眼对色彩的识别，是基于人眼对光谱存在三种不同的感应单元，不同的感应单元对不同波段的光有不同的响应曲线的原理，通过大脑的合成得到色彩的感知。一般来说，我们可以通俗的用RGB三基色的概念来理解颜色的分解和合成。

> Camera 3A 算法, 3A算法：自动对焦、自动曝光、自动白平衡。  
图像中的3A控制是指自动曝光控制(AE)、自动聚焦控制(AF)、自动白平衡控制(AWB)。自动曝光控制能够自动调节图像的明暗度，自动聚焦控制能够自动调节图像的焦距，自动白平衡能够使得图像成像在经典光源下的颜色.  
白平衡的本质是使白色物体在任何光源下都显示白色。  
一般的算法通过调节白平衡增益, 使拍摄画面的颜色接近物体真实的颜色, 增益调节的根据是环境光源的色温。  
自动曝光的是为了使感光器件获得合适的曝光量。  
一般的算法通过获取图像的亮度调节相应的曝光参数，得到合适的曝光量. 曝光参数包括光圈大小, 快门速度和摄像头传感器的亮度增益。  
自动对焦即调节摄像头焦距自动得到清晰的图像的过程

。  
AF算法的基本步骤是先判断图像的模糊程度，通过合适的模糊度评价函数求得采集的每一副图像的评价值, 然后通过搜索算法得到一系列评价值的峰值, 最后通过电机驱动将采集设备调节到峰值所在的位置, 得到最清晰的图像, 算法的关键在于达到准确度和速度的平衡, 同时算法的精度受到软件算法和硬件精度的双重影响.

3A算法理解- https://blog.csdn.net/u012900947/article/details/80897364  
3A技术即自动对焦（AF）、自动曝光（AE）和自动白平衡（AWB）。3A数字成像技术利用了AF自动对焦算法、AE自动曝光算法及AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿，从而呈现较高画质的图像信息。采用了3A数字成像技术的摄像机能够很好的保障图像精准的色彩还原度，呈现完美的日夜监控效果。  
3A成像控制算法对于摄像机的成像效果有着至关重要的影响。无论是在清晨还是黄昏，抑或是光线复杂的夜间环境，都能不受取景、光影影响，提供精确的颜色还原，呈现完美的日夜监控效果。

基于图像的自动曝光算法研究 ：https://wenku.baidu.com/view/c854fa93fd0a79563c1e72ba.html  
目前,自动曝光控制方法基本上有两种。一种是使用参照亮度值,把图像均匀分为许多的子图像,每一块子图像的亮度被用来设置参照亮度值,该参照亮度值可以通过调整光圈大小来获得\[2\]  
,同样也可以通过设置快门速度来获得该参照亮度值\[3\]。还有一些相机生产厂商采用另一种方法,就是通过研究不同光照条件下的亮度与曝光值之间的关系来进行曝光控制\[4～6\]

camera参数介绍及3A编程算法- https://blog.csdn.net/qccz123456/article/details/52371614  
camera的参数通常有分辨率、清晰度、亮度、对比度、饱和度、焦距、视场角、光圈、增益 、曝光时间、白平衡等。

3A 模式和状态转换(3A Modes and State)  
Google源码网地址链接：https://source.android.com/devices/camera  
图像3A算法及伽马校正原理及部分实现- https://blog.csdn.net/piaoxuezhong/article/details/7831354