CMOS图像传感器

gaosmile

1873年，科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，由此，电子影像发展开始，随着技术演进，图像传感器性能逐步提升。
1.20世纪50年代——光学倍增管(Photo Multiplier Tube，简称PMT)出现。
2.1965年-1970年，IBM、Fairchild等企业开发光电以及双极二极管阵列。
3.1970年，CCD图像传感器在Bell实验室发明，依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能，成为图像传感器市场的主导。
4.90年代末，步入CMOS时代。

图像传感器的历史沿革——PMT

1.光电倍增管（简称光电倍增管或PMT），真空光电管的一种。工作原理是：由光电效应引起，在PMT入射窗处撞击光电阴极的光子产生电子，然后由高压场加速，并在二次加工过程中在倍增电极链中倍增发射。

2.光电倍增管是一种极其灵敏的光检测器，可探测电磁波谱紫外，可见和近红外范围内光源，提供与光强度成比例的电流输出，广泛应用于验血，医学成像，电影胶片扫描（电视电影），雷达干扰和高端图像扫描仪鼓扫描仪中。
图像传感器的历史沿革——CCD
1.数字成像始于1969年，由Willard Boyle和George E. Smith于AT＆T贝尔实验室发明。

2.最初致力于内存→“充电'气泡'设备”，可以被用作移位寄存器和区域成像设备。
3.CCD是电子设备，CCD在硅芯片（IC）中进行光信号与电信号之间的转换，从而实现数字化，并存储 为计算机上的图像文件。
4.2009年， Willard Boyle和George E. Smith获得诺贝尔物理学奖。

国际空间站使用CCD相机
1.1997年，卡西尼国际空间站使用CCD相机（广角和窄角）

2.美国宇航局局长丹尼尔戈尔丁称赞CCD相机“更快，更好，更便宜”；声称在未来的航天器上减少质量，功率，成本，都需要小型化相机。而电子集成便是小型化的良好途径，而基于MOS的图像传感器便拥有无源像素和有源像素（3T）的配置。

图像传感器的历史沿革——CMOS图像传感器
1.CMOS图像传感器使得“芯片相机”成为可能，相机小型化趋势明显。

2.2007年，Siimpel AF相机模型的出现标志着相机小型化重大突破。
3.芯片相机的崛起为多个领域（车载，军工航天、医疗、工业制造、移动摄影、安防）等领域的技术创新提供了新机遇。

CMOS图像传感器走向商业化
1.1995年2月，Photobit公司成立，将CMOS图像传感器技术实现商业化。

2.1995-2001年间，Photobit增长到约135人，主要包括：私营企业自筹资金的定制设计合同、SBIR计划的重要支持（NASA/DoD）、战略业务合作伙伴的投资，这期间共提交了100多项新专利申请。
3.CMOS图像传感器经商业化后，发展迅猛，应用前景广阔，逐步取代CCD成为新潮流。

CMOS图像传感器的广泛应用
2001年11月，Photobit被美光科技公司收购并获得许可回归加州理工学院。与此同时，到2001年，已有数十家竞争对手崭露头角，例如Toshiba，STMicro，Omnivision，CMOS图像传感器业务部分归功于早期的努力促进技术成果转化。后来，索尼和三星分别成为了现在全球市场排名第一，第二。后来，Micron剥离了Aptina，Aptina被ON Semi收购，目前排名第4。CMOS传感器逐渐成为摄影领域主流，并广泛应用于多种场合。


CMOS图像传感器发展历程70年代：Fairchild
80年代：Hitachi
80年代初期：Sony
1971年：发明FDA&CDS技术
80年中叶：在消费市场上实现重大突破；
1990年：NHK/Olympus,放大MOS成像仪(AMI)，即CIS1993年：JPL,CMOS有源像素传感器，1998年：单芯片相机，2005年后：CMOS图像传感器成为主流。

CMOS图像传感器技术简介

CMOS图像传感器CMOS图像传感器（CIS）是模拟电路和数字电路的集成。主要由四个组件构成：微透镜、彩色滤光片 （CF）、光电二极管（PD）、像素设计。

1.微透镜：具有球形表面和网状透镜；光通过微透镜时，CIS的非活性部分负责将光收集起来并将其聚焦到彩色滤光片。
2.彩色滤光片（CF）：拆分反射光中的红、绿、蓝 （RGB）成分，并通过感光元件形成拜尔阵列滤镜。
3.光电二极管（PD）：作为光电转换器件，捕捉光并转换成电流；一般采用PIN二极管或PN结器件制成。
4.像素设计：通过CIS上装配的有源像素传感器(APS)实现。APS常由3至6个晶体管构成，可从大型电容阵列中获得或缓冲像素，并在像素内部将光电流转换成电压，具有较完美的灵敏度水平和的噪声指标。
Bayer阵列滤镜与像素1.感光元件上的每个方块代表一个像素块，上方附着着一层彩色滤光片（CF），CF拆分完反射光中的RGB成分后，通过感光元件形成拜尔阵列滤镜。经典的Bayer阵列是以2x2共四格分散RGB的方式成像，Quad Bayer阵列扩大到了4x4，并且以2x2的方式将RGB相邻排列。
2.像素，即亮光或暗光条件下的像素点数量，是数码显示的基本单位，其实质是一个抽象的取样，我们用彩色方块来表示。
3.图示像素用R（红）G（绿）B（蓝）三原色填充，每个小像素块的长度指的是像素尺寸，图示尺寸为0.8μm。
Bayer阵列滤镜与像素滤镜上每个小方块与感光元件的像素块对应，也就是在每个像素前覆盖了一个特定的颜色滤镜。比如红色滤镜块，只允许红色光线投到感光元件上，那么对应的这个像素块就只反映红色光线的信息。随后还需要后期色彩还原去猜色，最后形成一张完整的彩色照片。感光元件→Bayer滤镜→色彩还原，这一整套流程，就叫做Bayer阵列。

前照式（FSI）与背照式（BSI）早期的CIS采用的是前面照度技术FSI（FRONT-SIDE ILLUMINATED），拜尔阵列滤镜与光电二极管（PD）间夹杂着金属（铝，铜）区，大量金属连线的存在对进入传感器表面的光线存在较大的干扰，阻碍了相当一部分光线进入到下一层的光电二极管（PD），信噪比较低。技术改进后，在背面照度技术BSI（FRONT-SIDE ILLUMINATED）的结构下，金属（铝，铜）区转移到光电二极管（PD）的背面，意味着经拜尔阵列滤镜收集的光线不再众多金属连线阻挡，光线得以直接进入光电二极管；BSI不仅可大幅度提高信噪比，且可配合更复杂、更大规模电路来提升传感器读取速度。
CIS参数——帧率帧率（Frame rate）：以帧为单位的位图图像连续出现在显示器上的频率，即每秒能显示多少张图片。而想要实现高像素CIS的设计，很重要的一点就是Analog电路设计，像素上去了，没有匹配的高速读出和处理电路，便无办法以高帧率输出出来。
索尼早于2007年chuan'gan发布了首款Exmor传感器。Exmor传感器在每列像素下方布有独立的ADC模数转换器，这意味着在CIS芯片上即可完成模数转换，有效减少了噪声，大大提高了读取速度，也简化了PCB设计。

CMOS图像传感器的应用

CMOS图像传感器全球市场规模
2017年为CMOS图像传感器高增长点，同比增长达到20%。2018年，全球CIS市场规模155亿美元，预计2019年同比增长10%，达到170亿美元。
目前，CIS市场正处于稳定增长期，预计2024年市场逐渐饱和，市场规模达到240亿美元。
CIS应用——车载领域1.车载领域的CIS应用包括：后视摄像(RVC)，全方位视图系统(SVS)，摄像机监控系统（CMS），FV/MV，DMS/IMS系统。 2.汽车图像传感器全球销量呈逐年增长趋势。

3.后视摄像(RVC)是销量主力军，呈稳定增长趋势，2016年全球销量为5100万台，2018年为6000万台，2019年预计达到6500万台。
4.FV/MV全球销量增长迅速，2016年为1000万台，2018年为3000万台，此后，预计FV/MV将依旧保持迅速增长趋势，预计2019年销量可达4000万台，2021可达7500万台，直逼RVC全球销量。
车载领域——HDR技术方法1.HDR解决方案，即高动态范围成像，是用来实现比普通数位图像技术更大曝光动态范围。
2.时间复用。相同的像素阵列通过使用多个卷帘（交错HDR）来描绘多个边框。好处：HDR方案是与传统传感 器兼容的最简单的像素技术。缺点：不同时间发生的捕获导致产生运动伪影。
3.空间复用。单个像素阵列帧被分解为多个，通过不同的方法捕获：1.像素或行级别的独立曝光控制。优点：单帧中的运动伪影比交错的运动伪影少。缺点：分辨率损失，且运动伪影仍然存在边缘。2.每个像素共用同一微透镜的多个光电二极管。优点：在单个多捕获帧中没有运动伪影；缺点：从等效像素区域降低灵敏度。
4.非常大的全井产能。
车载领域——闪变抑制技术1.多个集成周期（时间多路传输）。在每个整合期内对光电二极管充电进行多次进行采样，样品光电二极管比LED源频率更高。
2.多个光电二极管（空间多路复用）。使用较大的光电二极管捕捉较低的轻松的场景；使用较小的不灵敏光电二极管在整个帧时间内集成（减轻LED闪烁）。
3.每个像素由两个光电二极管构成。其中包含一个大的灵敏光电二极管和一个小的不灵敏光电二极管，小型不灵敏光电二极管可在整帧中合并，从而减轻LED闪烁。优势在于有出色的闪变抑制、计算复杂度低；劣势在于更大更复杂的像素架构、更复杂的读数和电路定时、大型光电二极管和小型光电二极管和之间的光谱灵敏度不匹配。
车载领域——阵列摄像机1.阵列摄像机是一种新兴的摄像机技术，是指红外灯的内核为LED IR Array的高效长寿的红外夜视设备，可能是可行的LED检测解决方案。
2.用于LED检测的低灵敏度摄像头可以实现图像融合的组合输出，并能够实现单独输出，或同时输出。主要优势在于亮度高、体积小、寿命长，效率高，光线匀。
3.目前，阵列摄像机还面临着诸多挑战。首先，汽车光学对准误差难以保持温度范围；其次，图像融合面向应用和复杂的计算；最后，高灵敏度和低灵敏度图像之间难以融合.
车载领域——机器视觉传感器技术趋势全局快门。CMOS传感器有两种快门方式，卷帘快门和全局快门。卷帘快门通过对每列像素使用A/D来提高读取速度，每列像素数量可达数千。任何一个转换器数字化的像素总数显著减少，从而缩短了读取时间，提高了帧速率。但整个传感器阵列仍必须转换为一个一次排，这导致每行读出之间的时间延迟很小。和机械式焦平面快门一样，卷帘快门对高速运动的物体会产生明显的变形。而且因为其扫描速度比机械式焦平面快门慢，变形会更加明显；全局快门则大大改善了应用于高度运动对象时的变形问题。
改进的近红外（NIR）响应、高灵敏度滤色片阵列（RCCB）、数据加密处理、更高的帧速率、集成传感和 处理、3D成像。

CIS应用——手机领域
尽管2019智能手机销量低迷，手机图像传感器的销售也可实现约20％的增长。
随着多镜头相机变得越来越普及，以及传感器尺寸的增加。未来所有智能手机制造商都会发布具有比以往更具价值的传感器型号。

手机领域——手机摄像头发展史主摄像头：第一部拍照手机——智能手机——双摄/多摄：2000年，夏普首次推出可拍照的手机；随后智能手机时代到来，主摄像头素质不断提升；目前，双摄/多摄已成为主流。
前置摄像头：自拍——3D-sensing：前置摄像头素质同步提升，目前越来越多厂商加入人脸识别功能。
手机领域——手机摄像模组摄像模组构成: CMOS——决定照片质量的关键因素
手机领域——主摄像素升级
手机领域——CMOS迭代升级
1.随着技术的发展，越来越多的手机开始注重拍照的硬件升级。摄像头和CMOS成为了产品突出差异性的卖点之一。抛开镜头差异，成像质量与CMOS大小成正比，主摄像素提升推动CMOS迭代升级。
2.随着技术的发展，手机的CMOS也在日益增大，1/1.7英寸级的CMOS如今成为手机摄像头传感器的新选择。而更多手机也用上了1/2.3英寸级的传感器。
3.作为手机CMOS最大的上游供应商，也研发出了堆栈结构的CMOS。它在传统的感光层与底部电路之间增加了一层DRAM动态存储器，从而让感光元件具备短时间拍摄大数据量影像的能力。
手机领域——光学变焦趋势手机摄像头过去以像素升级为主；受CMOS尺寸限制，手机摄像开始注重变焦能力。
变焦有光学变焦与数码变焦两种。光学变焦通过光学原理调整焦距，成像画质无损。数码变焦就是通过软件算法来放大/缩小，通过插值计算，成像有损，有较多噪点。为了进一步提升手机成像素质，注重变焦能力；而传统专业相机的光学系统无法移植到手机上。手机变焦往往会采用“双摄变焦”，采用两个定焦镜头，利用其物理焦距的不同，实现变焦效果；显然，单摄已经无法满足对光学变焦的需求了。
手机领域——第四个摄像头：3D-sensing目前主流的3D深度摄像主流有两种种方案：结构光、TOF。iPhone采用前者，华为采用后置。
结构光（Structured Light）：结构光投射特定的光信息到物体表面后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。
TOF（Time Of Flight）：TOF系统是一种光雷达系统，可从发射极向对象发射光脉冲，接收器则可通过计算光脉冲从发射器到对象，再以像素格式返回到接收器的运行时间来确定被测量对象的距离。
手机领域——手机摄像模组数量

单只手机摄像模组需求量增加从传统的单摄，到双摄市场渗透率逐渐成为市场主流，再到三摄、全隐藏式摄像头、3D摄像头的创新式开拓，单只手机摄像模组的需求看涨。
iPhone X、小米8、OPPO FIND X、三星Galaxy S9+单 只摄像模组需求量均为4,；此外，华为P20 Pro和Mate20  Pro均配备5组摄像模组。
手机领域——多摄带动CMOS用量提升根据Yole的统计显示，平均每部智能手机CMOS图像传感器数量在2024年将达到3.4个，年复合增长率达到6.2%。
手机摄像头数量增加，CIS出货量成倍增长。为了提高照相画质，手机引入了双摄、甚至三摄、四摄。
安防领域——视频监视技术发展历程闭路电视监控系统发展历程：录像带录像机（VCR）→数字视频录像机（DVR）→网络视频录像机（NVR）。视频监控系统越来越复杂，性能也不断升级。
安防领域——当前监控摄像机类型高清摄像头中使用的图像传感器对分辨率的要求较高，在60帧/秒等高帧率下能够实现720P或1080P的清晰度。 宽动态范围摄像机的芯片上集成宽动态范围摄像技术以及图像处理技术，能在极暗和极亮环境下拍摄。
3D立体摄像级具有在动态光环境中保持追踪精度的能力，可与视频分析技术配合使用。
3D立体摄像级具有在动态光环境中保持追踪精度的能力，可与视频分析技术配合使用。
安防领域——红外线摄像技术红外线摄像技术分为被动和主动两种类型。
被动型：拍摄对象自身发射红外光被摄像机接受以成像。这类设备昂贵并且对周围环境不能良好反映，所以在夜视系统中基本不采用。
主动型：配置有红外灯主动向外发射红外辐射，使红外摄像机接收反射回来的红外光，增强夜视能力。目前红外摄像机基本都配置LED红外发光二级管。
主动型红外摄像机包含摄像机、防护罩、红外灯、供电散热单元。它贴切的名称为红外线增强摄像机。感光元件的频谱足够宽时能对红外线到可见光的连续谱产生感应，形成包括红外线在内的光敏感。在普通可见光强下，宽范围感光元件增加了红外频段，在弱光条件下，也能获得清楚的图像。

安防领域——红外光成像红外线摄影术以成像为目标。伴随着电子与化学科技的进 展，红外线摄像技术逐渐演化出三个方向。
1.近红外线底片：感应范围为波长700nm～900nm。在成像乳剂中加入特殊染料，利用光化学反应，使这一波域的光变化转为化学变化从而形成影像。
2.近红外线电子感光材料：感应范围为波长700nm～2,000nm。利用含硅化合物晶体的光电反应形成电子信号， 进过进一步处产生影像。
3.中、远红外线线感应材料：感应范围为波长3,000nm～14,000nm。需要 使用冷却技术和特殊的光学感应器， 加工处理形成电子影像。
安防领域——全球市场规模 全球红外摄像机设备市场规模在2017年近30亿美元，其中商用摄像机市场规模20亿美元，军用摄像机市场规模10亿美元。预计2016-2022年商用领域红外摄像机市场规模年均复合增长率为5.6%，军用领域的年均复合增长率为 8.8%。2022年市场总规模将近43亿美元。 全球安防摄像机市场销量在2015年约28万件，其中监视摄像机约8万件，安保系统摄像机约20万个。预计到2021年安防摄像机市场销量约64万件，其中监视摄像机约22万件，年均复合增长率为18%，安保系统摄像机约42万个，年均复合增长率约13%。
图像传感器应用——医疗影像与其他具有更高产量和更高成本敏感性的市场相比，图像传感器在医疗影像市场应用有其鲜明的特点：其封装步骤通常由设备制造商控制。
图像传感器技术正逐渐在行业中创造颠覆性力量，从2014年开始，市场发展迅速，行业竞争加剧：韩国和中国出现更多新参与者，成为现有大型企业的潜在障碍，行业完全整合的可能性降低。 图像传感器在医疗影像市场具有多元应用场景：X-ray、内窥镜、分子成像、光学相干断层扫描以及超声成像。
医疗影像——市场规模医疗成像设备行业是一个巨大的350亿美元的市场，2016-2022年预计复合年增长率达5.5％。
2016年，医疗传感器市场规模3.5亿美元，预计2016-2022年复合增长率8.3％，到2022年将达6亿美元。 根据应用技术不同，医疗图像传感器可分为CCD， CIS，a-Si FPD（非晶硅薄膜晶体管平面探测器），a-Se FPD（非晶硒薄膜晶体管平板探测器），SiPM（硅光电倍增管）、cMUT（电容微机械超声换能器）和pMUT（压电微机械超声换能器）。

医疗影像——市场规模CMOS传感器凭借其在通过更小的像素尺寸获得更高分辨率、降低噪声水平和暗电流以及低成本方面的优越性在医疗影像领域得到越来越广泛的应用，未来市场看涨。
CCD市场保持稳定。医用a-Si FPD因其简单性和大面板内置能力仍应用广泛；SiPM专用于分子成像；cMUT用于超声成像，可提供更高分辨率，更高速度和实时3D成像。 医疗影像——产业链目前，CMOS图像传感器主要应用于X-Ray以及内窥镜领域。
CIS医疗影像应用——X-RayX射线成像的第一次应用是在医疗领域，由Wilhelm于1895年完成。如今，X射线成像技术应用已拓展到工业无损检测（NDT）以及安全领域。但医疗市场仍是X-Ray射线成像的主力应用场景。
X-Ray探测设备市场规模
2018年X射线探测设备市场价值20亿美元，预计2018-2024年复合年增长率5.9％，2024年达到28亿美元。
2018年，医疗领域市值达14.8亿美元，占比约74%，预计2017-2024年复合增长率4.5%，2024年市值达19亿美元。 目前，X射线成像几乎完全基于半导体技术。使用非晶硅（aSi）和CMOS的平板探测器占据了市场的最大份额，其次是硅光电二极管阵列探测器。预计铟镓锌氧化物（IGZO）平板将于2021年进入市场，直接与aSi和CMOS竞争，但CMOS仍然是主流应用。
2018年，以CMOS X-Ray成像设备市场收入2.45亿美元，预计2024年将增长到5.1亿美元，年复合增长率13%。
CIS医疗市场应用——内窥镜内窥镜检查不但能以最少的伤害，达成观察人体内部器官的目的，也能切取组织样本以供切片检查，或取出体内的异物。二十世纪末微创手术的发展进一步促进了内窥镜的应用。 普通电子内窥镜：将微型图像传感器在内窥镜顶部代替光学镜头，通过电缆或光纤传输图像信息。电子内窥镜与光纤内窥镜类似，有角度调节旋钮、充气及冲水孔、钳道孔、吸引孔和活检孔等。
CMOS电子内窥镜：照明光源通过滤色片，变成单色光，单色光通过导光纤维直达电子内窥镜前部，再通过照明镜头照在受检体的器官粘膜。器官粘膜反射光信号至非球面镜头，形成受检部位的光图像，CMOS图像传感器接收光图像，将其转换成电信号，再由信号线传至视频处理系统，经过去噪、储存和再生，显示在监控屏幕上。CMOS电子内窥镜可得到高清晰度图像，无视野黑点弊端，易于获得病变观察区信息。 CIS模块的小型化是其应用于医疗设备的关键，特别是对于较小的柔性视频内窥镜。如喉镜，支气管镜，关节镜，膀胱镜，尿道镜和宫腔镜。
小直径视频内窥镜发展历程背面照明（BSI）技术成功地提高了CIS模块的灵敏度，使得更小像素成为可能。
新开发的图像传感器封装（如硅通孔（TSV）技术）可最大限度地减少CIS模块所需的占位面积。
微电子器件微装配的进步也促进了CIS的小型化。

阅读全文