ISP（Image Signal Processor，圖像處理器）是手機芯片系統(tǒng)中的重要組成部分，負(fù)責(zé)圖像處理部分。隨著智能手機市場的發(fā)展，我們正在看到越來越多的手機廠商在自研ISP。國外的重要手機廠商中，蘋果和三星一直在使用自研的ISP芯片模組，而谷歌再其Pixel系列手機中也用上了帶有眾多實驗特性的自研ISP；而在中國的手機廠商中，我們也在看到越來越多的公司加入自研ISP的隊列。華為作為中國手機市場技術(shù)的領(lǐng)頭羊，其自研ISP早已落地在自己的手機系列中；此外，近些年來積極開發(fā)芯片的Oppo和Vivo也有消息正在自研ISP。最近，小米也加入了自研ISP的行列，可見無論是在國外還是國內(nèi)，手機廠商自研ISP正在成為主流。

　　為何手機廠商要自研ISP？

　　手機廠商自研ISP的最根本原因還是照相系統(tǒng)在手機中是一個極其重要的組成部分，同時拍照質(zhì)量也是決定手機消費者體驗的一個極重要的參數(shù)。每年的新手機發(fā)布會上，幾乎都離不開照相圖像質(zhì)量相關(guān)的內(nèi)容，而ISP則很大程度上決定了圖像質(zhì)量。

　　具體來說，在手機的照相系統(tǒng)中，圖像傳感器（CIS）負(fù)責(zé)提供原始圖像，通常是RGGB RAW圖像。該原始圖像和用戶看到的最終圖像相差甚遠，而需要大量的后續(xù)處理，這些處理通常包括自動白平衡，去噪，tone mapping等等，而不同的ISP將直接決定最終圖像質(zhì)量。一般來說，無論是使用自研的ISP還是使用第三方提供的ISP，在使用在手機上的時候都需要經(jīng)過大量的參數(shù)調(diào)整，即根據(jù)圖像傳感器和主要應(yīng)用場景，需要工程師去仔細(xì)調(diào)整ISP各個處理的參數(shù)甚至是算法，才能確保圖像質(zhì)量達到最優(yōu)。顯然，如果是手機廠商自研ISP，則可以更好地根據(jù)手機的目標(biāo)應(yīng)用場景和CIS等來實現(xiàn)協(xié)同設(shè)計，其最終的圖像質(zhì)量效果往往會好過使用第三方ISP然后再去調(diào)整ISP參數(shù)。

　　不同ISP參數(shù)對于圖像質(zhì)量影響巨大

　　另外，我們看到在手機應(yīng)用中，拍照的應(yīng)用場景正在越來越多。除了傳統(tǒng)的拍照之外，隨著直播、抖音等應(yīng)用的普及，越來越多的用戶正在成為這類視頻應(yīng)用的創(chuàng)作者，而這就讓越來越多的用戶對于圖像質(zhì)量有更高的需求。此外，在谷歌、蘋果等公司都在力推的AR應(yīng)用中，通常的使用方式都是用戶使用手機的照相機去拍攝真實世界的實時圖像，而AR應(yīng)用則把虛擬物件渲染疊加在真實世界的圖像上。例如，目前地圖類應(yīng)用中得到應(yīng)用的AR導(dǎo)航就是把路線指示疊加在用戶實時拍攝的真實世界圖像中，從而以一種更直觀的方式完成導(dǎo)航。隨著AR應(yīng)用得到更多應(yīng)用，我們認(rèn)為拍照也在獲得更多的使用時長，因此對于ISP的功能、延遲和功耗等都提出了一定需求。為了能在越來越多的拍照應(yīng)用中實現(xiàn)差異化，手機廠商自研ISP也是順理成章。

　　最后，研發(fā)ISP芯片可以說是手機廠商自研芯片路線圖中的一個重要里程碑。對于想要自研芯片的手機廠商來說，ISP是一個極好的起步點：它的重要性高，一個好的ISP能幫助手機實現(xiàn)更好的拍照質(zhì)量從而與其他手機實現(xiàn)差異化；另一方面，它的開發(fā)難度相比modem等模塊來說又較為簡單，在可以將越來越多芯片設(shè)計環(huán)節(jié)外包的今天，我們認(rèn)為手機廠商開發(fā)ISP芯片無論是投入還是風(fēng)險都比較小。因此，ISP可以說是投入和風(fēng)險較小，而潛在的回報又較大，因此很適合作為想要自研芯片的手機廠商的第一個芯片模組。

　　ISP的技術(shù)發(fā)展方向

　　ISP目前正在經(jīng)歷一個新的技術(shù)革新期，而這個技術(shù)革新的主要動力來自計算機視覺技術(shù)的新發(fā)展以及計算機視覺技術(shù)的新需求。我們將對這兩個方向分別分析。

　　首先，計算機視覺技術(shù)在這幾年革新很快：隨著機器學(xué)習(xí)技術(shù)和計算機視覺技術(shù)的結(jié)合，在這幾年中，我們看到了許多基于機器學(xué)習(xí)的算法正在取代傳統(tǒng)的機器視覺技術(shù)。舉例來說，基于機器學(xué)習(xí)算法的超分辨、去噪、低光照場景圖像增強等都取得了遠超傳統(tǒng)機器視覺算法的效果，而在未來幾年我們預(yù)計還將看到更多類似的新計算機視覺技術(shù)更新。因此，我們認(rèn)為基于機器學(xué)習(xí)的算法會越來越多地進入手機的照相系統(tǒng)中，而這也會影響ISP芯片模組的設(shè)計。例如，之前許多ISP算法都是固化的算法模塊，不同的環(huán)節(jié)擁有不同的計算邏輯和電路；而隨著基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)算法逐漸取代傳統(tǒng)的ISP算法，我們可望看到在ISP中也會有越來越多的神經(jīng)網(wǎng)絡(luò)加速模塊——這些神經(jīng)網(wǎng)絡(luò)加速模塊根據(jù)具體設(shè)計可能會成為ISP中專用的模塊，也可以作為手機整體AI加速器的一部分，在ISP有需求的時候來完成相應(yīng)的算法加速。

　　另外，新的計算機視覺技術(shù)對于ISP也有新的需求。我們看到計算機視覺算法越來越多進入手機和下一代智能設(shè)備——例如VR設(shè)備中就有基于這類算法的手部追蹤來完成人機交互，而這些算法算法對于圖像質(zhì)量的需求往往和人眼對于圖像質(zhì)量的需求不盡相同，例如算法需要的圖像分辨率常常在400x400以下，對于許多細(xì)節(jié)的噪聲等也不是很敏感；而另一方面這些基于計算機是覺得應(yīng)用常常需要照相系統(tǒng)長時間打開（而不像傳統(tǒng)用戶主導(dǎo)的拍照通常只會開啟很短時間）。因此，對于這些應(yīng)用來說，我們更希望ISP能在滿足算法對基本圖像質(zhì)量需求的同時，盡可能減少功耗，從而能滿足智能設(shè)備散熱以及電池使用時間的要求。類似的設(shè)計往往還需要結(jié)合一些圖像傳感器的特殊特性來設(shè)計——例如使用某些算法需要直接使用圖像傳感器的低幀率低分辨率模式，從而實現(xiàn)能效比的最優(yōu)化。

　　因此，我們認(rèn)為ISP技術(shù)將在未來幾年內(nèi)有較大的演進，因此現(xiàn)在是手機廠商開始自研ISP的一個很好時間節(jié)點。

　　ISP市場將如何變化？

　　目前ISP芯片模組供應(yīng)商中，除了蘋果等自研廠商之外，其余的供應(yīng)商大致可以分為幾類。首先是高通這類的SoC供應(yīng)商在其SoC中已經(jīng)包括了ISP進行打包銷售，但是ISP不會單獨銷售。另一類是提供ISP IP授權(quán)的供應(yīng)商，例如ARM和芯原等等。還有介于這兩類之間的設(shè)計服務(wù)提供商，例如Socionext等，他們擁有ISP模組設(shè)計，而客戶可以根據(jù)需求去對這些ISP模組進行部分定制并集成在其整體芯片方案中。

　　隨著越來越多公司開始自研ISP，我們認(rèn)為設(shè)計服務(wù)提供商可能將會從中受益。首先，對于初次自研ISP的廠商來說，從設(shè)計服務(wù)提供商的參考ISP設(shè)計出發(fā)，在這個基礎(chǔ)上加入一些定制化的特性將會是一種不錯的方式。此外，無論是否要使用設(shè)計服務(wù)提供商的參考方案，廠商自研ISP通常都需要設(shè)計服務(wù)商提供的物理設(shè)計等服務(wù)，而這都有利于設(shè)計服務(wù)提供商。

　　對于ISP的IP提供商以及SoC整體供應(yīng)商來說，手機廠商開始自研ISP意味著自己的客戶正在開始與自己競爭，如果要繼續(xù)保持出貨量則可能需要在性能上做到提升，同時在價格上則可能要有更多讓步。對于高通這樣的SoC供應(yīng)商來說，小米和Oppo等自研ISP的手機廠商仍然需要使用高通的SoC來實現(xiàn)主要功能，因此如何利用這一點來部分抵消客戶自研ISP的影響將成為重要的課題。