眼睛對于包括人類在內的動物而言至關重要，它幫助我們測量距離，是生存的條件之一。捕獵者在捕獵時使用眼睛來測量與獵物之間的距離，而獵物也在用眼睛觀察是否有捕獵者正在靠近，以便避開危險。大約5.4億年前，地球上開始出現擁有視力的生物，而與視力息息相關的生存競爭也由此拉開序幕。從那時起，眼部結構各異的動物物種數量飛速增長。生物進化早期的物種在這一方面十分多元，從僅有一只眼睛的寒武厚槳蝦（Cambropachycope）到多達五只眼睛的歐巴賓海蝎（Opabinia）和麒麟蝦（Kylinxia）等。而如今，大多數動物都擁有兩只眼睛【1】。
通過雙眼觀察物體會出現輕微的雙眼視差，也就是左眼和右眼接收到的圖像位置有所差異。大腦通過計算這種差異來預測與目標物體之間的距離。這就是所謂的雙眼視差（Binocular disparity）1，大多數動物都依靠雙眼視差來測量距離。
1 雙眼視差（Binocular disparity）：左眼和右眼所見物體在圖像位置上存在差異
智能手機攝像頭采用了一種名為相位檢測自動對焦（PDAF，Phase Detection Auto Focus）【2】的技術，該技術使用雙眼視差來根據拍攝對象調整焦距。在此基礎上，SK海力士研發(fā)了A4C（All 4-Coupled）圖像傳感器，在讀取色彩信息的同時，利用每個像素的視差，提高圖像質量和自動對焦功能。本文將介紹SK海力士全新開發(fā)的A4C圖像傳感器所具備的三大優(yōu)勢—快速準確的對焦檢測、高分辨率圖像以及多種應用場景。
A4C傳感器的優(yōu)勢之一：快速準確的對焦檢測
A4C圖像傳感器的結構如圖1所示。與傳統(tǒng)Quad【3】傳感器類似，A4C傳感器搭載一個可將光線轉換為電流的光電二極管和僅特定波長光束可以穿透的濾色片。但是，與Quad傳感器不同的是，A4C傳感器的結構將每四個相同顏色像素歸為一組，每組上方配備一個微透鏡（Micro lens）2 ，四個像素分別位于左上角（TL，Top Left）、右上角（TR，Top Right）、左下角（BL，Bottom Left）和右下角（BR，Bottom Right）。
2 微透鏡（Micro lens）：一種將光集中到中心位置以提高CIS效率的透鏡。
A4C傳感器的自動對焦功能基于這樣一種機制：如果來自物體的不同光線匯聚至一個焦點，則物體處于對焦狀態(tài)；如果來自物體的不同光線未能匯聚至一個點，則物體處于失焦狀態(tài)。換句話說，如果一個微透鏡下的四個像素的強度值一致，則物體處于對焦狀態(tài)；如果強度值不一致，則物體處于失焦狀態(tài)。例如，在捕捉圖2所示物體時，當圖像處于圖2第一個示例中的對焦狀態(tài)，上方紅色光路和下方藍色光路會落在同一微透鏡下的同一組像素。然而，如圖2第二個和第三個示例所示，當物體位于焦點交匯處的前方或后方，通過頂部和底部路徑進入透鏡的光路則無法聚焦到同一個微透鏡。這些光線會落在不同的像素上，從而形成視差（Disparity）3。通過視差分析，傳感器可以判斷出如何移動透鏡模塊的位置才能將焦距調整至最佳狀態(tài)。
3 視差（Disparity）：當物體的一個點按照光路聚焦到傳感器平面的不同位置時發(fā)生的位移。
與現有的PDAF技術相比，A4C傳感器能夠計算每個像素的視差。換言之，A4C傳感器具有很高的精度，在低于10 勒克斯（lux）的弱光環(huán)境下也可以確保10倍以上精度。與利用雙眼視差的PDAF技術不同，A4C傳感器利用的是微透鏡下方位于上下左右四角的四個像素的視差。因此，A4C傳感器擁有非常出色的對焦檢測性能，能夠準確檢測水平或垂直方向的物體。
A4C傳感器的優(yōu)勢之二：高分辨率圖像
A4C傳感器的輸出圖像能以每個微透鏡下四個像素為一組的方式提高感光度，或通過將各個像素獨立輸出的方法來提高圖像分辨率（例如，5000萬像素A4C傳感器可以輸出5000萬像素分辨率的圖像4 或1250萬像素微透鏡分辨率的圖像5）。如果傳感器將每個微透鏡下四個像素作為一組生成輸出圖像，圖像分辨率會降至單獨使用每個像素時的圖像分辨率的四分之一。但是，四個像素一組的方法可以將感光度提高四倍。因此，在夜間、弱光環(huán)境等光線不足的情況下，微透鏡分辨率（Micro lens resolution）傳感器的優(yōu)勢更為明顯。
4 像素分辨率（Pixel resolution）：A4C傳感器的像素數量
5 微透鏡分辨率（Micro lens resolution）：A4C傳感器的微透鏡數量。A4C傳感器的微透鏡分辨率是像素分辨率的四分之一。
另一方面，在白天或室外等光線充足的情況下，可以使用將各個像素獨立輸出的方式來提高圖像分辨率。像素分辨率（Pixel resolution）是微透鏡分辨率的四倍，因此，單獨像素輸出的圖像會更清晰，且有更多細節(jié)。但是，在使用A4C傳感器的像素分辨率模式時，需要克服視差帶來的圖像質量問題。當同一場景中的物體處于不同距離時（如圖3所示），鏡頭會捕捉處于聚焦狀態(tài)下的物體的高分辨率圖像，如實線所示。另一方面，所有處于失焦狀態(tài)的物體都會出現視差問題，如圖3虛線所示。這意味著，同一微透鏡下相鄰像素之間的強度存在差異，進而導致圖像中出現柵格圖案，圖像質量下降。
使用A4C傳感器拍攝處于不同距離的物體時得到的圖像。距離傳感器最近的綠色物體處于對焦狀態(tài)，而其他物體均處于失焦狀態(tài)，成像較為模糊。如果將圖4中的白色區(qū)域放大，可以看到視差造成的柵格圖案，圖像質量下降。為改善圖片質量下降的問題，SK海力士的A4C傳感器采用了專有A4C相位校正（APC，A4C Phase Correction）技術和四合一像素（Q2B，Quad-to-Bayer）技術，可以對圖像進行處理并改善圖像質量。需要特別指出的是，SK海力士的APC算法可以分析物體反射的光線，從而確定落在圖像傳感器的透鏡模塊路徑。而且，這項技術既解決了因失焦區(qū)域視差所導致的圖像質量下降問題，又保證了處于對焦狀態(tài)的物體區(qū)域的細節(jié)呈現。
A4C傳感器的優(yōu)勢之三：多種應用場景
除了精準對焦檢測和捕捉高分辨率圖像外，A4C傳感器的優(yōu)勢還包括它可以應用于一系列光場成像場景。光場成像是一種再現物體射線分布的技術，可以計算場景中的光線強度和光線源頭的精確方向，并將這些信息用于背景虛化（Bokeh）6、再對焦（Refocus）7和多視角（Multi-view）8等計算機視覺應用程序中。
6 背景虛化（Bokeh）：一種調整物體對焦同時模糊背景的技術
7 再對焦（Refocus）：一種在圖片成像后針對某一點進行再對焦的技術
8 多視角（Multi-view）：一種使用由不同角度拍攝的多幅圖像來進行幾何或空間復合校準的技術
當使用A4C傳感器拍攝圖像時，從物體反射出來的、與焦點一致的光線經過四個不同的路徑，到達同一微透鏡下的四個像素，如圖5所示。因此，如果傳感器能夠感知A4C像素的強度和微透鏡下的具體位置，便可明確具體像素的光強度及光的來源方向。
具體而言，如果傳感器以同一微透鏡下多個像素為一組的模式形成局部圖像，這些像素會接收通過相同透鏡模塊路徑到達傳感器的光線，這意味著，傳感器可以再現從透鏡模塊的相同位置感知到的局部圖像（例如，如果傳感器將同一微透鏡下左上角TL的像素作為一組來形成圖像，則將呈現透鏡模塊左上角的局部圖像）。這樣的局部圖像被稱為子孔徑（SA，Sub-Aperture）圖像【4】，A4C傳感器可以從透鏡模塊的左上角、右上角、左下角和右下角生成四個子孔徑圖像。如下文所述，這四個來自不同點的子孔徑圖像可用于各種計算機的視覺應用。
1）背景虛化應用：使用四個子孔徑圖像可以提高虛化圖像的質量。由于左右攝像頭之間的視角和機械位移問題，使用普通雙攝鏡頭生成的背景虛化圖像往往與實際場景有一定差別。但是，只要使用子孔徑圖像，即通過A4C傳感器生成局部圖像，就不會出現上述差別問題。此外，A4C傳感器可以使用四張子孔徑圖像來計算深度數據，在精度方面要優(yōu)于使用兩個圖像的雙攝像頭。
2）再對焦應用：子孔徑圖像支持再對焦，即，通過A4C傳感器的強度和方向信息將焦點調整至指定位置。傳統(tǒng)的再對焦技術因為需要在圖像傳感器上方添加微透鏡陣列【4】，會存在機械誤差問題。而A4C傳感器則不需要額外添加微透鏡陣列，因此不存在機械誤差問題，同時精度也可以得到很大改善。
3）多視角應用：從本質上來說，子孔徑圖像是從不同角度觀察物體得出的圖像數據。因此，在一系列多視圖應用場景中可以使用到四張子孔徑圖像，包括3D圖像恢復、3D安全應用程序以及改善弱光條件下圖像質量等。
綜上所述，SK海力士開發(fā)的A4C傳感器不僅可以克服傳統(tǒng)圖像傳感器的局限性，而且具有三大優(yōu)勢：快速準確對焦檢測、捕捉高分辨率圖像、多種光場成像應用場景。除A4C傳感器外，SK海力士正在開發(fā)HDR（High Dynamic Range）、非拜耳（Non-Bayer）、像素裝倉（Pixel Binning）等新型圖像信號處理（ISP，Image Signal Processing）技術。SK海力士憑借業(yè)界最佳的設備和工藝技術，開發(fā)了0.7um和0.64um微型像素，提高了CIS（CMOS圖像傳感器，CMOS Image Sensor）像素密度，使其在未來成為信息傳感器的核心組成部件。未來，SK海力士的CIS技術有望用于包括智能手機攝像頭、生物、安全和自動駕駛汽車在內的各個應用領域，為創(chuàng)造經濟和社會價值做出貢獻。
參考文獻
【1】Andrew Parker，《一瞬之間：視覺激發(fā)的寒武紀大爆發(fā)》（In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution），2003年。
【2】SK海力士新聞中心，圖像傳感器的視覺演變與創(chuàng)新，https://news.skhynix.com.cn/the_visual_evolution_and_innovation_of_image_sensors/。
【3】SK海力士新聞中心，SK海力士“1.0μm黑珍珠（Black Pearl）” 圖像傳感器詳解，https://news.skhynix.com.cn/everything-about-the-1-0%CE%BCm-black-pearl-sk-hynixs-image-sensor/。
【4】R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz與P. Hanrahan.“手持式全光學相機的光場攝影”，斯坦福大學計算機科學技術報告 CSTR 2005-02，2005年4月。
