文章来自微信公众号：智东西（ID：zhidxcom），作者：智东西内参，原文标题：《揭秘摄像头之芯！无所不在的计算机视觉之源，一文看懂CMOS》，头图来自：视觉中国

1873 年，科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，由此，电子影像发展开始，随着技术演进，图像传感器性能逐步提升。

本期的智能内参，我们推荐西南证券的研究报告《摄像头芯片，CMOS图像传感器行业报告》，从图像传感器的发展历史开始，详解CMOS技术特点和行业发展现状。

图像传感器的历史沿革

20 世纪50 年代——光学倍增管(Photo Multiplier Tube，简称PMT)出现。

1965年至1970年，IBM、Fairchild等企业开发光电以及双极二极管阵列。

1970年，CCD图像传感器在Bell实验室发明，依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能，成为图像传感器市场的主导。

90年代末，步入CMOS时代。

▲图像传感器的历史沿革

1. 光电倍增管

光电倍增管（简称PMT），真空光电管的一种。工作原理是：由光电效应引起 ，在PMT入射窗处撞击光电阴极的光子产生电子，然后由高压场加速，并在二次加工过程中在倍增电极链中倍增发射。

光电倍增管是一种极其灵敏的光检测器，可探测电磁波谱紫外，可见和近红外范围内光源，提供与光强度成比例的电流输出，广泛应用于验血，医学成像，电影胶片扫描（电视电影），雷达干扰和高端图像扫描仪鼓扫描仪中。

▲光电倍增管

2. CCD

CCD全称为Charge Coupled Device，中文翻译为"电荷藕合器件"。它使用一种高感光度的半导体材料制成，能把光线转变成电荷。因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。CCD是电子设备， CCD在硅芯片（IC）中进行光信号与电信号之间的转换，从而实现数字化，并存储为计算机上的图像文件。

数字成像始于1969年，由Willard Boyle和George E. Smith于AT＆T贝尔实验室发明 。最初致力于内存——“充电'气泡'设备”，可以被用作移位寄存器和区域成像设备 。

2009年， Willard Boyle和George E. Smith获得诺贝尔物理学奖 。

1997年，卡西尼国际空间站使用CCD相机（广角和窄角） 。美国宇航局局长丹尼尔戈尔丁称赞CCD相机“更快，更好，更便宜”；声称在未来的航天器上减少质量，功率，成本，都需要小型化相机。而电子集成便是小型化的良好途径，而基于MOS的图像传感器便拥有无源像素和有源像素（3T）的配置。

3. CMOS图像传感器

CMOS全称为ComplementaryMetal-OxideSemiconductor，中文翻译为互补性氧化金属半导体。CMOS的制造技术和一般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。

CMOS图像传感器使得“芯片相机”成为可能，相机小型化趋势明显 。

▲“芯片相机”上的带有有缘像素转换器的CMOS有效像素传感器

1995年2月，Photobit公司成立，将CMOS图像传感器技术实现商业化 。

1995-2001年间，Photobit 增长到约135人，主要包括：私营企业自筹资金的定制设计合同、SBIR计划的重要支持（NASA / DoD）、战略业务合作伙伴的投资，这期间共提交了100多项新专利申请。

CMOS图像传感器经商业化后，发展迅猛，应用前景广阔，逐步取代CCD成为新潮流。

2001年11月 ，Photobit被美光科技公司收购并获得许可回归加州理工学院。与此同时，到2001年，已有数十家竞争对手崭露头角，例如Toshiba，ST Micro，Omnivision，CMOS图像传感器业务部分归功于早期的努力促进技术成果转化。后来，索尼和三星分别成为了现在全球市场排名第一，第二。后来，Micron剥离了Aptina，Aptina被ON Semi收购，目前排名第4。CMOS传感器逐渐成为摄影领域主流，并广泛应用于多种场合 。

▲CMOS应用领域

▲ CMOS图像传感器发展历程

CMOS图像传感器技术特点

CMOS图像传感器（CIS）是模拟电路和数字电路的集成。主要由四个组件构成：微透镜、 彩色滤光片（CF）、光电二极管（PD）、像素设计。

▲CIS结构

微透镜：具有球形表面和网状透镜；光通过微透镜时，CIS的非活性部分负责将光收集起来并将其聚焦到彩色滤光片 。

彩色滤光片（CF）：拆分反射光中的红、绿、蓝（RGB）成分，并通过感光元件形成拜尔阵列滤镜。

光电二极管（PD）：作为光电转换器件，捕捉光并转换成电流；一般采用PIN二极管或PN结器件制成 。

像素设计：通过CIS上装配的有源像素传感器（APS）实现。APS常由3至6个晶体管构成，可从大型电容阵列中获得或缓冲像素，并在像素内部将光电流转换成电压，具有较完美的灵敏度水平和的噪声指标 。

感光元件上的每个方块代表一个像素块，上方附着着一层彩色滤光片（CF），CF拆分完反射光中的RGB成分后，通过感光元件形成拜尔阵列滤镜。经典的Bayer阵列是以2x2共四格分散RGB的方式成像，Quad Bayer阵列扩大到了4x4，并且以2x2的方式将RGB相邻排列。

▲Bayer阵列滤镜与像素

滤镜上每个小方块与感光元件的像素块对应，也就是在每个像素前覆盖了一个特定的颜色滤镜。比如红色滤镜块，只允许红色光线投到感光元件上，那么对应的这个像素块就只反映红色光线的信息。随后还需要后期色彩还原去猜色，最后形成一张完整的彩色照片。感光元件—Bayer滤镜—色彩还原，这一整套流程，就叫做Bayer阵列。

▲彩色滤镜块工作原理

早期的CIS采用的是前面照度技术FSI（FRONT-SIDE ILLUMINATED），拜尔阵列滤镜与光电二极管（PD）间夹杂着金属（铝，铜）区，大量金属连线的存在对进入传感器表面的光线存在较大的干扰，阻碍了相当一部分光线进入到下一层的光电二极管（PD），信噪比较低。

技术改进后，在背面照度技术BSI（FRONT-SIDE ILLUMINATED）的结构下，金属（铝，铜）区转移到光电二极管（PD）的背面，意味着经拜尔阵列滤镜收集的光线不再众多金属连线阻挡，光线得以直接进入光电二极管；BSI不仅可大幅度提高信噪比，且可配合更复杂、更大规模电路来提升传感器读取速度。

▲前面照度技术和背面照度技术

帧率（Frame rate）：以帧为单位的位图图像连续出现在显示器上的频率，即每秒能显示多少张图片。而想要实现高像素CIS的设计，很重要的一点就是Analog电路设计，像素上去了，没有匹配的高速读出和处理电路，便无办法以高帧率输出出来。

索尼早于2007年chuan'gan发布了首款Exmor传感器。Exmor传感器在每列像素下方布有独立的ADC模数转换器，这意味着在CIS芯片上即可完成模数转换，有效减少了噪声，大大提高了读取速度，也简化了PCB设计。

▲Exmor架构

CMOS图像传感器的应用

2017年为CMOS图像传感器高增长点，同比增长达到20%。2018年，全球CIS市场规模155亿美元，预计2019年同比增长10%，达到170亿美元。

目前，CIS市场正处于稳定增长期，预计2024年市场逐渐饱和，市场规模达到240亿美元。

▲CIS市场规模

1. 车载领域

车载领域的CIS应用包括：后视摄像(RVC)，全方位视图系统(SVS)，摄像机监控系统(CMS)，FV/MV，DMS/IMS系统 。

汽车图像传感器全球销量呈逐年增长趋势。 后视摄像(RVC)是销量主力军，呈稳定增长趋势，2016年全球销量为5100万台，2018年为6000万台，2019年预计达到6500万台。 FV/MV全球销量增长迅速，2016年为1000万台，2018年为3000万台，此后，预计FV/MV将依旧保持迅速增长趋势，预计2019年销量可达4000万台，2021可达7500万台，直逼RVC全球销量。

▲汽车图像传感器全球市场

HDR技术方法 。HDR解决方案，即高动态范围成像，是用来实现比普通数位图像技术更大曝光动态范围。 时间复用。相同的像素阵列通过使用多个卷帘（交错HDR）来描绘多个边框。好处：HDR方案是与传统传感器兼容的最简单的像素技术。缺点：不同时间发生的捕获导致产生运动伪影 。

空间复用。单个像素阵列帧被分解为多个，通过不同的方法捕获：1.像素或行级别的独立曝光控制。优点：单帧中的运动伪影比交错的运动伪影少。缺点：分辨率损失，且运动伪影仍然存在边缘。2.每个像素共用同一微透镜的多个光电二极管。优点：在单个多捕获帧中没有运动伪影；缺点：从等效像素区域降低灵敏度。

非常大的全井产能。

闪变抑制技术 。多个集成周期（时间多路传输）。在每个整合期内对光电二极管充电进行多次进行采样，样品光电二极管比LED源频率更高。

多个光电二极管（空间多路复用）。使用较大的光电二极管捕捉较低的轻松的场景；使用较小的不灵敏光电二极管在整个帧时间内集成（减轻LED闪烁）。

每个像素由两个光电二极管构成。其中包含一个大的灵敏光电二极管和一个小的不灵敏光电二极管，小型不灵敏光电二极管可在整帧中合并，从而减轻LED闪烁。优势在于有出色的闪变抑制、计算复杂度低；劣势在于更大更复杂的像素架构、更复杂的读数和电路定时、大型光电二极管和小型光电二极管和之间的光谱灵敏度不匹配。

▲闪变抑制技术成像效果

阵列摄像机 。阵列摄像机是一种新兴的摄像机技术，是指红外灯的内核为LED IR Array的高效长寿的红外夜视设备，可能是可行的LED检测解决方案。

用于LED检测的低灵敏度摄像头可以实现图像融合的组合输出，并能够实现单独输出，或同时输出。主要优势在于亮度高、体积小、寿命长，效率高，光线匀。

2. 手机领域

2000年，夏普首次推出可拍照的手机；随后智能手机时代到来，主摄像头素质不断提升；目前，双摄/多摄已成为主流 。前置摄像头素质同步提升，目前越来越多厂商加入人脸识别功能。

▲摄像模组构成

随着技术的发展，越来越多的手机开始注重拍照的硬件升级。摄像头和CMOS成为了产品突出差异性的卖点之一。抛开镜头差异，成像质量与CMOS大小成正比，主摄像素提升推动CMOS迭代升级。

随着技术的发展，手机的CMOS也在日益增大，1/1.7英寸级的CMOS如今成为手机摄像头传感器的新选择。而更多手机也用上了1/2.3英寸级的传感器。

手机摄像头过去以像素升级为主；受CMOS尺寸限制，手机摄像开始注重变焦能力 。

变焦有光学变焦与数码变焦两种。光学变焦通过光学原理调整焦距，成像画质无损。数码变焦就是通过软件算法来放大/缩小，通过插值计算，成像有损，有较多噪点。

为了进一步提升手机成像素质，注重变焦能力；而传统专业相机的光学系统无法移植到手机上。手机变焦往往会采用“双摄变焦”，采用两个定焦镜头，利用其物理焦距的不同，实现变焦效果；显然，单摄已经无法满足对光学变焦的需求了。

目前主流的 3D 深度摄像主流有两种种方案：结构光、TOF。iPhone采用前者，华为采用后置。 结构光（Structured Light）：结构光投射特定的光信息到物体表面后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

结构光（Structured Light）：结构光投射特定的光信息到物体表面后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

根据Yole的统计显示，平均每部智能手机CMOS图像传感器数量在2024年将达到3.4个，年复合增长率达到6.2%。

手机摄像头数量增加，CIS出货量成倍增长。为了提高照相画质，手机引入了双摄、甚至三摄、四摄。

3. 安防领域

闭路电视监控系统发展历程：录像带录像机（VCR）→数字视频录像机（DVR）→网络视频录像机（NVR）。视频监控系统越来越复杂，性能也不断升级。

▲闭路电视监控系统发展历程

红外线摄像技术 。红外线摄像技术分为被动和主动两种类型 。被动型：拍摄对象自身发射红外光被摄像机接受以成像。这类设备昂贵并且对周围环境不能良好反映，所以在夜视系统中基本不采用 。被动型：拍摄对象自身发射红外光被摄像机接受以成像。这类设备昂贵并且对周围环境不能良好反映，所以在夜视系统中基本不采用 。

主动型红外摄像机包含摄像机、防护罩、红外灯、供电散热单元。它贴切的名称为红外线增强摄像机。感光元件的频谱足够宽时能对红外线到可见光的连续谱产生感应，形成包括红外线在内的光敏感。在普通可见光强下，宽范围感光元件增加了红外频段，在弱光条件下，也能获得清楚的图像。

全球红外摄像机设备市场规模在2017年近30亿美元，其中商用摄像机市场规模20亿美元，军用摄像机市场规模10亿美元。预计2016-2022年商用领域红外摄像机市场规模年均复合增长率为5.6%，军用领域的年均复合增长率为8.8%。2022年市场总规模将近43亿美元 。

▲全球视频监控设备市场规模

全球安防摄像机市场销量在2015年约28万件，其中监视摄像机约8万件，安保系统摄像机约20万个。预计到2021年安防摄像机市场销量约64万件，其中监视摄像机约22万件，年均复合增长率为18%，安保系统摄像机约42万个，年均复合增长率约13%。

▲ 全球安防摄像机销量情况及预测

4. 医疗影像

与其他具有更高产量和更高成本敏感性的市场相比，图像传感器在医疗影像市场应用有其鲜明的特点：其封装步骤通常由设备制造商控制；

图像传感器技术正逐渐在行业中创造颠覆性力量，从2014年开始，市场发展迅速，行业竞争加剧：韩国和中国出现更多新参与者，成为现有大型企业的潜在障碍，行业完全整合的可能性降低。

图像传感器在医疗影像市场具有多元应用场景：X-ray、内窥镜、分子成像、光学相干断层扫描以及超声成像 。

▲ 医疗影像市场应用

医疗成像设备行业是一个巨大的350亿美元的市场，2016年至2022年预计复合年增长率达5.5％。

2016年，医疗传感器市场规模3.5亿美元，预计2016年至2022年复合增长率8.3％，到2022年将达6亿美元 。

根据应用技术不同，医疗图像传感器可分为CCD，CIS，a-Si FPD（非晶硅薄膜晶体管平面探测器），a-Se FPD（非晶硒薄膜晶体管平板探测器），SiPM（硅光电倍增管）、cMUT（电容微机械超声换能器）和pMUT（压电微机械超声换能器） 。

CMOS传感器凭借其在通过更小的像素尺寸获得更高分辨率、降低噪声水平和暗电流以及低成本方面的优越性在医疗影像领域得到越来越广泛的应用，未来市场看涨。

CCD市场保持稳定。医用a-Si FPD因其简单性和大面板内置能力仍应用广泛；SiPM专用于分子成像；cMUT用于超声成像，可提供更高分辨率，更高速度和实时3D成像。

目前，CMOS图像传感器主要应用于X-Ray以及内窥镜领域。

X-Ray。X射线成像的第一次应用是在医疗领域，由WilhelmRöntgen于1895年完成。如今，X射线成像技术应用已拓展到工业无损检测（NDT）以及安全领域。但医疗市场仍是X-Ray射线成像的主力应用场景。

2018年X射线探测设备市场价值20亿美元，预计2018年至2024年复合年增长率5.9％，2024年达到28亿美元 。

2018年，医疗领域市值达14.8亿美元，占比约74%，预计2017年至2024年复合增长率4.5%，2024年市值达19亿美元 。

目前，X射线成像几乎完全基于半导体技术。使用非晶硅（aSi）和CMOS的平板探测器占据了市场的最大份额，其次是硅光电二极管阵列探测器。预计铟镓锌氧化物（IGZO）平板将于2021年进入市场，直接与aSi和CMOS竞争，但CMOS仍然是主流应用。

2018年，以CMOS X-Ray成像设备市场收入2.45亿美元，预计2024年将增长到5.1亿美元，年复合增长率13%。

内窥镜。内窥镜检查不但能以最少的伤害，达成观察人体内部器官的目的，也能切取组织样本以供切片检查，或取出体内的异物。二十世纪末微创手术的发展进一步促进了内窥镜的应用。

普通电子内窥镜：将微型图像传感器在内窥镜顶部代替光学镜头，通过电缆或光纤传输图像信息。电子内窥镜与光纤内窥镜类似，有角度调节旋钮、充气及冲水孔、钳道孔、吸引孔和活检孔等。

CMOS电子内窥镜：照明光源通过滤色片，变成单色光，单色光通过导光纤维直达电子内窥镜前部，再通过照明镜头照在受检体的器官粘膜。器官粘膜反射光信号至非球面镜头，形成受检部位的光图像，CMOS图像传感器接收光图像，将其转换成电信号，再由信号线传至视频处理系统，经过去噪、储存和再生，显示在监控屏幕上。CMOS电子内窥镜可得到高清晰度图像，无视野黑点弊端，易于获得病变观察区信息 。

▲CMOS电子内窥镜原理图

CIS模块的小型化是其应用于医疗设备的关键，特别是对于较小的柔性视频内窥镜。如喉镜，支气管镜，关节镜，膀胱镜，尿道镜和宫腔镜。

▲小直径视频内窥镜发展历程

智东西认为，图像传感器是当今应用最普遍、重要性最高的传感器之一。其主要采用感光单元阵列和辅助控制电路获取对象景物的亮度和色彩信号，并通过复杂的信号处理和图像处理技术输出数字化的图像信息。而后起之秀CMOS近些年优势越来越突出，已经占据了大部分图像传感器市场，CMOS 图像传感器芯片采用了适合大规模生产的标准流程工艺，批量生产时，单位成本非常低。

手机是CMOS传感器的最大应用市场，汽车、安防等新应用领域高速成长。 随着多摄像头手机的普及以及自动驾驶技术的发展，相信CMOS传感器的高速发展仍不会停止。 

文章来自微信公众号：智东西（ID：zhidxcom），作者：智东西内参