當手機不斷地整合包括照相、游戲、數據、視頻等各種功能于一身時，它已搖身變成一個多媒體應用的播放平臺，可說是朝細致而微的隨身型迷你計算機發展。在定位上，這樣的手機有別于既有的純粹語音的手機(Voice phone)或具備某些功能的手機(Feature phone)，而當屬于智能型手機(Smart phone)。
智能型手機除了具有較強的數據編輯管理能力，更能提供音、視頻、游戲等多媒體應用服務，也能同時處理多項工作。更進一步來看，它的功能面涵蓋了通信、信息與多媒體功能，即：
1. 通信功能：語音、訊息(messaging)、認證(Authentication)、計費(Billing)等等通信處理功能;
2. 信息功能：Email、行事歷、信息管理、Sync、安全性等信息處理功能;
3. 多媒體功能：視頻、照相、游戲、TV、串流、音樂、DRM等多媒體應用功能;
除了信息功能外，在通信與多媒體的應用上，音頻是必要的處理任務。在過去，手機只需要處理單純的語音通話信號，但今日的智能型手機中得處理的音頻任務繁重，除了多音調振鈴、MP3音樂外，可能還要有FM廣播及游戲音效，而且不能只是單聲道的效果，現在要求的是立體聲的臨場感體驗。
過去，數字音頻的世界是截然兩分的：一邊是Hi-Fi的世界，另一邊則是語音的世界。一般而言，Hi-Fi是指16bit立體聲質量、以44.1kHz取樣的音頻，也就是CD音樂的規格;電話語音則是8bit和8kHz的單聲道(mono)、低質量音頻。不過，進入智能型手機的時代，兩個音頻世界開始撞擊在一起了，如何將音頻子系統完善地與應用及通信處理平臺整合在一起，就成了便攜式設備工程師開發新產品時的關鍵性挑戰。
音頻編碼格式與接口
在進入系統架構的探討前，先來看看音頻編碼的現狀。目前音頻編碼的格式繁多，針對聲音的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、 AMR、ACC、MP3Pro以及MP3等;針對人類語音有LPC、CELP與ACELP等;其它還有MPEG-2、MPEG-4、H.264、VC-1 等視聽節目的編碼格式。
以下介紹三種常用的音頻格式：
AMR格式
AMR為自適應多碼率語音傳輸編譯碼器(Adpative Multi-Rate Speech Codec)，最初版是歐洲電信標準化協會(ETSI)為GMS系統所制定的語音編譯碼標準，而因頻寬又分為兩種—AMR-NB(AMR Narrowband)和AMR-WB(AMR Wideband)。以市場最大品牌Nokia來說，其多數手機都支持上述兩種格式的音頻文件。
MP3格式
MP3是MPEG AudioLayer3的縮寫，這是一種音頻壓縮技術，其編碼具有10:1-12:1的高壓縮率，可以保持低頻部分不失真，但犧牲了音頻中12KHz -16KHz的高頻部份來降低文件大小，其“.mp3”格式文件一般只有“.wav”的10%。另外，MP3受到歡迎的一大原因，是它并非受到版權保護的技術，所以任何人都可以使用。
MP3格式壓縮音樂的取樣頻率有很多種，可以用64kbps或更低的編碼來節省空間，亦可以用到 320kbps達到極高的壓縮音質。MP3在編碼速率上，又分為"CBR"(固定編碼)，與及“VBR”(可變碼率)技術，有些手機無法播放下載來的音樂，正是因為沒有支持“VBR”格式的MP3音樂。
AAC格式
AAC即高級音頻編碼(Advanced Audio Coding)，它采用的運算方式是與MP3不同，AAC可以同時支持多達48個音軌、15個低頻音軌、更多種取樣率和傳輸率、具有多種言語的兼容能力，以及更高的解碼效率。總結來說，AAC可以在比MP3格式再縮小30%的條件下提供更好的音質，而且聲音保真度好，更接近原音，所以被手機界視為是最佳的音頻編碼格式。AAC是一個大家族，他們是共分為9種規格，以適應不同場合的需要：
(1) MPEG-2AAC LC 低復雜度規格 (Low Complexity)
(2) MPEG-2 AAC Main 主規格
(3) MPEG-2 AAC SSR 可變取樣率規格 (Scaleable Sample Rate)
(4) MPEG-4 AAC LC低復雜度規格(LowComplexity)，現在的手機比較常見的MP4檔中的音頻部份就包括了該規格音頻文件
(5) MPEG-4AAC Main 主規格
(6) MPEG-4 AAC SSR 可變取樣率規格 (Scaleable Sample Rate)
(7) MPEG-4 AAC LTP長時期預測規格(Long Term Prediction)
(8) MPEG-4 AAC LD低延遲規格(Low Delay)
(9) MPEG-4 AAC HE高效率規格(High Efficiency
上述的規格中，主規格(Main)包含了增益控制以外的全部功能，其音質是最好，而低復雜度規格(LC)則是比較簡單，沒有了增益控制，但提高了編碼效率，至于SSR與LC規格大致相同，但是多了增益的控制功能，另外，LTP/LD/HE都是用在低碼率下的編碼，其中HE采用NeroACC編碼器支持，是近來常用的一種編碼率方式。不過一般來說，Main規格和LC規格的音質相差不大，因此考慮手機目前的內存仍有限的情況下，目前使用最多的AAC規格是 LC規格。
音頻接口
音頻接口是智能型手機設計者需考慮的重要議題。數字語音一般采用PCM(Pulse Code Modulation)接口，而Hi-Fi立體聲則采用串行I2S(Inter-IC Sound)接口或AC97接口。I2S是飛利浦公司為數字音頻設備之間的音頻數據傳輸而制定的一種總線標準，是目前消費性音頻產品中常用的接口;AC?7則是英特爾公司用于提升個人計算機音效、降低噪音的規格，由于在1997年制訂，因此稱為AC97。
因此，為特定應用而量身定制一套整合性的解決方案是較理想的作法。在SoC的技術趨勢下，已有一些廠商將立體聲數字模擬轉換器(DAC)或編譯碼器(CODEC)整合到特定功能的IC當中。不過，有些功能適合整合在一起，有些則可能得到反效果。
舉例來說，當廠商將電源管理和音頻處理功能整合在一起時，通常得在音質的部分做妥協，因為電源穩壓器(regulator) 所產生的噪音會干擾到附近的音頻路徑;若將音頻功能整合到數字IC中也有困難，因為對于Hi-Fi的組件來說，需要用到0.35mm的工藝來讓混合訊號處理得到最佳化效能，但目前數字邏輯方面的應用已朝0.18mm以下的更高工藝發展。以上述兩種整合性的芯片策略來說，要讓兩種不同的電路同時存在于一個芯片當中，其最終的芯片尺寸可能也會大到難以接受。
此外，揚聲器功率放大機(louDSPeaker amplifier)特別難被整合。它所產生的熱是一個問題，需要做散熱處理，因此往往需要另一顆獨立的揚聲器驅動IC。還有一個整合上的常見問題，也就是為了讓IC盡量做到最小化，可能會產生模擬輸入或輸出接腳數目不足的問題。
專屬的音頻IC可避免這些問題，而音頻整合有好幾種方法可以達成。共享ADC和DAC能減少硬件成本，但卻不能同時播放或錄制兩種音頻流格式。為個別功能安排專用的轉換器(converter)可以解決這個問題，不過，此一作法會增加芯片成本。折中的作法是只共享ADC的部分，但有獨立的DAC，這樣做的話，當電話通信在進行時，也同時可以播放其它音頻(如播放另一通電話的鈴聲，或播放音樂)，但在通信時不能同時進行錄音。ADC的耗電可以通過關掉一種功能，而以較低取樣速率的方式來加以控制。因此，為特定應用而量身定制一套整合性的解決方案是較理想的作法。在SoC的技術趨勢下，已有一些廠商將立體聲數字模擬轉換器(DAC)或編譯碼器(CODEC)整合到特定功能的IC當中。不過，有些功能適合整合在一起，有些則可能得到反效果。
舉例來說，當廠商將電源管理和音頻處理功能整合在一起時，通常得在音質的部分做妥協，因為電源穩壓器(regulator) 所產生的噪音會干擾到附近的音頻路徑;若將音頻功能整合到數字IC中也有困難，因為對于Hi-Fi的組件來說，需要用到0.35mm的工藝來讓混合訊號處理得到最佳化效能，但目前數字邏輯方面的應用已朝0.18mm以下的更高工藝發展。以上述兩種整合性的芯片策略來說，要讓兩種不同的電路同時存在于一個芯片當中，其最終的芯片尺寸可能也會大到難以接受。
此外，揚聲器功率放大機(loudspeaker amplifier)特別難被整合。它所產生的熱是一個問題，需要做散熱處理，因此往往需要另一顆獨立的揚聲器驅動IC。還有一個整合上的常見問題，也就是為了讓IC盡量做到最小化，可能會產生模擬輸入或輸出接腳數目不足的問題。[next]
專屬的音頻IC可避免這些問題，而音頻整合有好幾種方法可以達成。共享ADC和DAC能減少硬件成本，但卻不能同時播放或錄制兩種音頻流格式。為個別功能安排專用的轉換器(converter)可以解決這個問題，不過，此一作法會增加芯片成本。折中的作法是只共享ADC的部分，但有獨立的DAC，這樣做的話，當電話通信在進行時，也同時可以播放其它音頻(如播放另一通電話的鈴聲，或播放音樂)，但在通信時不能同時進行錄音。ADC的耗電可以通過關掉一種功能，而以較低取樣速率的方式來加以控制。
在計算機的音頻需求上，基本上與消費性市場相似，但為了要能播放不同取樣速率(8kHz、44.1kHz、48kHz)下錄音的音樂文件，所以需要有更有效率和便宜的解決方案，而AC97就具有這樣的特性。在廣義的手持式設備市場中，三種格式各有其擁護者：CD、MD、MP3隨身聽會采用I2S接口;移動電話會采用PCM接口;具音頻功能的PDA則使用和PC一樣的AC97編碼格式。
音頻系統整合策略
在較早的系統中，通常是將電話與PDA的電路并排放在這個設備外殼內，其中PCM語音編譯碼由通信處理器來控制，Hi-Fi立體聲(AC?7或I2S) 的處理則連到另一顆應用處理器。在此架構中，兩個音頻子系統之間的整合性還很低，分布式的硬件切換電路除了較占空間、需要額外的外圍組件來做信號交換和混音外，也會帶來諧波失真(harmonic distortion)等的問題。
因此，為特定應用而量身定制一套整合性的解決方案是較理想的作法。在SoC的技術趨勢下，已有一些廠商將立體聲數字模擬轉換器(DAC)或編譯碼器(CODEC)整合到特定功能的IC當中。不過，有些功能適合整合在一起，有些則可能得到反效果。
舉例來說，當廠商將電源管理和音頻處理功能整合在一起時，通常得在音質的部分做妥協，因為電源穩壓器(regulator) 所產生的噪音會干擾到附近的音頻路徑;若將音頻功能整合到數字IC中也有困難，因為對于Hi-Fi的組件來說，需要用到0.35mm的工藝來讓混合訊號處理得到最佳化效能，但目前數字邏輯方面的應用已朝0.18mm以下的更高工藝發展。以上述兩種整合性的芯片策略來說，要讓兩種不同的電路同時存在于一個芯片當中，其最終的芯片尺寸可能也會大到難以接受。
此外，揚聲器功率放大機(louDSPeaker amplifier)特別難被整合。它所產生的熱是一個問題，需要做散熱處理，因此往往需要另一顆獨立的揚聲器驅動IC。還有一個整合上的常見問題，也就是為了讓IC盡量做到最小化，可能會產生模擬輸入或輸出接腳數目不足的問題。
專屬的音頻IC可避免這些問題，而音頻整合有好幾種方法可以達成。共享ADC和DAC能減少硬件成本，但卻不能同時播放或錄制兩種音頻流格式。為個別功能安排專用的轉換器(converter)可以解決這個問題，不過，此一作法會增加芯片成本。折中的作法是只共享ADC的部分，但有獨立的DAC，這樣做的話，當電話通信在進行時，也同時可以播放其它音頻(如播放另一通電話的鈴聲，或播放音樂)，但在通信時不能同時進行錄音。ADC的耗電可以通過關掉一種功能，而以較低取樣速率的方式來加以控制。
以下針對音頻系統中的幾個重要組成進行規劃上的分析：
頻率與接口
共享通信與應用子系統的內部電路雖然可行，但對于接口來說并非如此，因為不同的音頻應用得在獨立的頻率區域中以自己的頻率來運作。只要情況仍是如此，整合性智能型手機的CODEC就需要同時有PCM接口和獨立的I2S或AC97連結接口。
在非移動性的設備(如PC)中，音頻頻率通常由一個石英振蕩器(crystal oscillator)來產生，但在智能型手機的設計中，為了避免額外的耗電、板面空間和頻率芯片的成本，設計者偏向于將Hi-Fi音頻所需的頻率功能從既有的頻率中獨立出來。由于低耗電、低噪音的鎖相回路(PLL)能被以相對較低成本整合到混合訊號芯片當中，所以今日芯片廠商的作法是將一顆或兩顆PLL 整合到他們的智能型手機CODEC中。
麥克風
在智能型手機中最難的設計議題，往往與麥克風(Mic)有關。一般來說至少有兩個麥克風需要考慮：一是內建的內部麥克風和插入耳機(headset)的外部麥克風。此外，可能還會有用于噪音消除(noise cancellation)或立體聲錄音的額外內部麥克風，以及車用免提功能所需要的另一個外部麥克風。除了講話外，這些麥克風也能透過應用處理器的控制來錄制語音短訊或視頻短片中的音效。
若要由音頻CODEC芯片來涵蓋各種切換功能，此芯片的電路需要做好妥善的設計。除了錄音功能，CODEC也應提供側音(side tone)的功能，這樣一來耳機用戶也能聽到自己的聲音。插入偵測功能則能提供無縫的切換功能，也就是當耳機插入或拔出時，系統會自動轉換使用內部或外部的耳機。
人聲(acoustic)的噪噪音消除是另一個問題，它需要用到兩個麥克風，一個同時接收講話的聲音和背景噪音，另一個則只接收背景噪音。模擬的作法往往不足夠，因此需要透過數字信號處理來加強，而音頻CODEC需達成兩個麥克風訊號的數字化任務。
另一個問題是室外風聲噪印的問題，它的頻率通常低于200Hz，因此透過高通(high-pass)濾波器就能處理掉，但這樣一來，在室內錄音時就少了低頻部分的聲音。對于兩用的麥克風來說，這個過濾器應該是可選用的，但很多的音頻ADC中都已內建了這顆high-pass濾波器，因此，手機廠商應針對需求選擇合用的解決方案。
外接耳機
手機外接耳機(headset/headphone)的使用也需要特殊的模擬電路，也就是當耳機插入時，音頻輸出信號就能繞徑到耳機上頭。雖然整合機械性開關的插槽(socket)能夠滿足此要求，但它的尺寸過大且昂貴;此外，揚聲器的音量大小可能也不適合這個耳機。為內部與外部音頻提供獨立的音量控制可以解決此問題，而且也能使用較簡單的插槽設計。這一外接耳機是否具有麥克風也需要被偵測出來，這可以通過是否感測到偏流(bias current)來分辨，如果沒有電流流動，那就表示沒有麥克風被插入。智能型手機的音頻CODEC中應加入這一電流傳感器，進而能因應不同情況達成音頻輸入輸出的處理。
揚聲器
智能電話在先后增加了多音調振鈴、MP3播放及FM廣播等功能后，其播音系統也朝向立體聲揚聲器來發展。在手機揚聲器的設計上，主要的問題是配置架構、功率與耗電性的考慮。若要支持立體聲，手機需要有兩個外部揚聲器，但由于手機體積太小，這兩個揚聲器的位置難以拉開，所以立體聲的效果不易展現，這時就需要采用特殊的3D效果處理。若是要支持免持聽筒的功能，那就需要連結到另一個較大的揚聲器上。為個別揚聲器提供專屬的模擬輸出是最好的方式，但電源管理上必須有相應改變。
由于揚聲器功率放大器會用掉大量的供電，當它們不使用時關掉電源是很重要的。智能型手機的音頻CODEC能提供一些電源管理功能，為個別揚聲器的輸出做好開關管理，這樣一來能避免不需要的電源消耗。此外，系統電源管理方案中的電壓穩壓器通常無法為揚聲器提供達到最大音量所需的功率，因此CODEC芯片廠商采用加入芯片內揚聲器的作法，也就是直接通過電池來驅動揚聲器。這樣做雖然不見得能降低耗電，但它也省下了對額外電壓穩壓器的需求。
鈴聲
近幾年來，手機鈴聲愈來愈復雜，從單純的響鈴，到和弦鈴聲，再到各種聲音都能制作成立體聲的WAV和MP3格式。MIDI已成了和弦鈴聲的標準格式，很多廠商為這一應用推出專屬的低耗電MIDI芯片。要在音頻次系統中整合MIDI芯片，CODEC上需要有額外的模擬輸入。
這些額外的輸入對于FM收音機IC的連結也是有用的，能為多媒體應用提供附加功能。MIDI音頻的產生當然也能由音頻CODEC來產生，但現今市場的趨勢是以特殊的鈴聲文件來儲存，并通過現存的Hi-Fi DAC來播放，欠缺MIDI軟件庫的CODEC芯片廠商并不會積極去做這件事情。
結語
智能型手機的下一步會如何?就Hi-Fi的立體聲來說，儼然已是必備的系統功能，至于I2S與AC97在手機音頻系統上的競爭仍然會繼續下去。有些人喜歡較單純的I2S界面，但也有人更中意低引腳數和很容易可跑不同取樣速率的AC97。以智能型手機來說，目前多數低耗電的處理器對兩種規格都支持，看來兩者還是會并存下去。不過，對于CODEC的廠商來說，要同時支持兩項規格是比較困難的，因為AC97的VRA(variable rate audio)功能需要和I2S不同的頻率架構，也需要多出許多額外的數字電路才能做到。
不過，智能型手機還會不會如PC世界一樣，從立體聲走向多聲道的環繞音效格式(Intel的Azalia)呢?在近期內還看不出這樣的可能性，因為今日的多聲道效果雖然很炫，但芯片的成本和耗電性都還太高，這不是手機世界所能接受的。但今日否定的答案，在未來的電子世界仍存在很大的變量，沒有人能說得準的。