一些音頻編碼解碼器芯片主要由圍繞一些處理硬件的一個模數轉換器(ADC)和一個數模轉換器(DAC)組成，但它們只是眾所周知的海底冰山露出來的一角。最近一段時間，大部分工程師認為音頻編解碼器就是在DSP平臺上運行的壓縮和解壓縮算法。在整個音頻頻率范圍里，“語音”編解碼器適合數字電話應用，而“音頻”編解碼器則適合娛樂音頻應用。
在這個意義上，音頻編解碼器是從Dolby公司的噪音抑制技術演變成Dolby和其它一些公司更綜合性的壓縮方法。它們的出現還與國際標準組織(ISO)的運動圖像專家小組(MPEG)有關，該工作小組負責為數字音頻和視頻的編碼表示制定相應的標準。
盡管語音編解碼器技術的發展一定程度上處于靜止狀態，但音頻編解碼器技術一直在向前演進(參見圖1)。例如，朝更多的環繞聲通道發展就是一個趨勢。最大的一個技術趨勢是增加了用于模擬立體聲系統中的多通道音頻的技術，以再造特別實況音樂會會場的“現場感”。于是產生了完成所有這些處理的挑戰，因為你不再能用依靠AV接收器或DVD播放器內的大功率電源供電的DSP引擎來實現，而必須用靠手機或PDA中的電池供電的DSP引擎來實現。所有上述因素就為兩個不同但卻融合的應用領域(個人音頻和家庭影院)帶來了一個有趣的故事。
個人音頻
德州儀器公司(TI)便攜音頻和信息娛樂業務部首席技術官RandyCole指出，在個人音頻領域最普遍的音頻編碼解碼器是MP3(參見圖2)。MP3一度局限于PC和便攜多媒體播放器，但它目前在手機行業中也比比皆是，其原因就是手機制造商不斷地追逐新功能，以誘使最終用戶每隔六個月就進行一次產品換代。
MP3是ISO公布的一項標準。它是由MPEG制定的MPEG-1編碼解碼標準系列中的第三個。MPEG-1有三層，每一層都包括前面的層。因而，第3層實現了第1和2層。出于這個原因，MPEG-1及第3層就是眾所周知的MP3，它提供了一個適于便攜應用的帶寬和數據速率，雖然較低卻足夠了。
在過去10年中，MP3一直是下載音樂的主導性音頻編碼解碼器。但是蘋果公司的iPod在一項名為先進音頻編碼器(AAC)的新MPEG開發項目中打破了這個慣例。MPEG在1990年代中期開始從事AAC標準的制定，將其作為下一代MPEG-2研究的一部分，并實現了AT&T、Dolby、Fraunhof和索尼公司開發的最好最新設計理念。起初，它打算同MP3后向兼容，但這個目標不可能達到。
因此，由于整個行業深深卷入MP3，沒有一家公司愿意調撥資源為AAC這個新方案生產大量的音頻節目，所以它衰敗了。也就是說，直到蘋果公司為iPod選擇AAC的MPEG-4版本之前，該技術一直處于衰敗的狀態。(在MPEG-2之后成立的下一個MPEG工作小組是MPEG-4，越過了MPEG-3。蘋果公司所用的MPEG-4AAC是MPEG-2AAC的一個強化版本，其數據速率稍低而質量有改進。)
其它專有的編碼器存在于MP3和AAC范疇之外。它們在PC和個人多媒體設備領域有一定的穿透性，但它們在手機行業就不太重要，因為手機生產商寧愿標準的編碼器及其固定的版稅。一種大家熟悉的專有編碼器是WindowsMediaAudio(WMA)。它主要用于PC，并在其中與MP3和AAC進行競爭。然而，從數據速率看，它很靈活(從低到高有適當的質量差異)。目前，還有WMA的多頻道版本WMA-Pro，而且微軟公司在2005年6月還發布了一種損耗更低的WMA。
其它重要的專有編碼器就是DolbyDigital，也就是著名的AC3。這種編碼器用于DVD和(美國的)數字電視。直到最近，它的運行速率對互聯網和手機來說還是太高。不過，需要補救的是一個把數據速率降得更低的新版本。
根據TI公司高性能音頻業務部行銷經理MohsinImtiaz的觀點，在家庭影院領域主要的編碼解碼器是Dolby和DTS。Dolby公司發布的DolbyDigitalPlus瞄準了高清晰度DVD和廣播市場。但是在MP3、AAC、WMA等便攜標準之間有一定的交叉。針對下一代DVD，微軟公司正在力推WMA。
解析一個編解碼器
讓我們分解一個編解碼器。為了把整個事情說清楚，我們看一篇在2004年10月音頻工程學會年會上提交的論文，它描述的是DolbyDigitalPlus技術。
該論文說新的DolbyDigitalPlus編碼解碼器是基于DolbyDigital的較早版本，也叫AC-3。DolbyDigitalPlus或加強型的AC-3(E-AC-3)保留了元數據載運器、過濾器庫和幀結構。目前的數據速率范圍從32Kb/s到6.144Mb/s。在采樣速率32KHz和六模塊轉換幀的條件下，數據速率控制的分辨率可達到每秒1/3位。(數據速率的分辨率正比于采樣速率，反比于幀的尺寸。)
E-AC-3保留了AC-3的六個256系數轉換幀結構，但它允許包含一個、兩個和三個256系數轉換模塊的較短幀存在。其結果就是，音頻傳輸可以在高于6?0Kb/s的速率下進行，這適合于某些限制了每幀數據量的DVD。
E-AC-3可以支持目前的5.1、6.1或7.1頻道，進而一直到電影院的13.1頻道。主音頻節目位流加上多達八個的附加子流經過多路選通進入一個單一的E-AC-3位流。通過頻道替換消除了矩陣減法引起的編碼失誤。與AC-3相比，E-AC-3能多傳輸七個獨立的位流。
編碼效率的提高還可以通過一個新的濾波器庫、更好的量化、強化的頻道耦合、譜擴展和一種名為“瞬態預噪音處理”的技術來實現。
當具有穩定特征的音頻出現時，該濾波器庫在現有的AC-3濾波器庫之后加入一個二級DCT。這把六個256系數轉換模塊轉換成一個單一的1536系數混合轉換模塊，且提高了頻率分辨率。這個提高的頻率分辨率與六維向量分量(VQ)及增益自適應分量(GAQ)結合在一起可以改進“難于編碼”信號的編碼效率，比如說黑管和大鍵琴。
VQ用于需要較低準確度的頻帶區。當需要更高準確度分量時，GAQ更有效率。此外，通過頻道與相位保存的耦合可以使編碼效率得到一個提升。在AC-3用一個高頻單合成頻道作為每個頻道上高頻部分的地方，加入相位信息和編碼器控制的譜幅度處理能夠讓這個高頻單合成頻道處理較低的頻率，從而減小了有效的編碼帶寬并增大了編碼效率。
譜擴展是用頻域上轉換的較低頻譜段代替了較高層的頻率轉換系數。該轉換頻譜段的譜特征通過轉換系數的譜調制與原始的形式匹配。
為了提高低數據速率時的音頻質量，E-AC-3采用了瞬態預噪音處理技術。這個后解碼過程把預噪音誤差降到最低，其做法是采用可縮短預噪音持續時間的時標合成技術，因而降低了瞬態擾動的可聽度。由編碼器計算并在E-AC-3位流中發送的元數據提供了后解碼過程、時標合成處理所需的參數，時標合成處理使用了聽覺情景分析技術。
后處理
用于音頻編碼解碼器中后處理的專有算法與DolbyDigitalPlus這類壓縮標準一樣重要，它們對任何受許可人也相同。在這個領域中，這些算法對多頻道標準攜帶的信息進行操作，從而把家庭影院轉化成任何形式的收聽場所：從一個巨大的教堂到一個爵士音樂俱樂部的戶外搖滾音樂會。
按照ADI公司SigmaDSP產品經理ThomasIrrgang的說法，后處理全都是圍繞著OEM商追求一個“簽名聲音”的愿望開展的。大概最先做成功這點的是THX公司。其它開展后處理研究的公司包括SRS、TruSurroundXT和TruBass。
在電視領域有能夠復原MP-3編碼損失的后處理器BBE，包括BBE3D和BBEMP。還有一種專門用于電視的算法BBEViva，在電視中立體聲話筒一般放置的非常近以便獲得良好的立體聲收聽效果。
低音增強在便攜系統和電視機中正變得重要起來，這些設備不會給大的話筒驅動器留有大的空間。目前最突出的是WAVES公司的MaxxBass算法，它大概也是最流行的低音增強算法，因為它增強了正被處理材料中低音的主觀感受水平，同時又不加入任何低頻能量。
Dolby公司在后處理領域以其VirtualSpeaker(虛擬話筒)和DolbyHeadphone(Dolby耳麥)算法而聞名于世。Dolby公司表示其技術復制了多個所以聲音簽名，包括反射，同時提供了串擾抵消，以便保持每個耳朵的環繞音質不被其它話筒的環繞音質所抵消。虛擬話筒和Dolby耳麥算法最初是由澳大利亞的LakeDSP公司開發的。Lake現在是Dolby的一家分公司。
當然，天下沒有免費的午餐。諸如虛擬話筒這樣的算法只能在一個相對小的室內空間(俗稱“甜場”)中模仿缺失話筒的存在。在這個“甜場”之外，環繞信息崩潰了。該聲音不算壞，但聽起來它來自一個常規的雙耳話筒設置，情況就是這樣。
為了重新生成一個物理空間，Panasonic公司的網站上說，其HallMode(大廳模式)“再生了回響效果，使聽眾有一種空曠之音繞著自己傳播的感覺，”而且它在“享受音樂廳內的交響樂表演時的效果尤其好。”一個雅馬哈A/V接收器的評論家認為雅馬哈的音樂廳“的確加入了額外的一維，使人感到聲場的高度，‘音樂廳模式’甚至讓你忍不住要嘗試一下。對于令人喜愛的Mahler第四交響樂的立體聲錄音，‘音樂廳模式’給人一種親臨現場的感覺。”
房間修正
在后處理領域，超越虛擬化的下一步就是房間修正。這個功能開始出現于2002年或2003年的高端多頻道系統中，而且目前已經發展到處于價格/性能譜系中端的系統。它對一套公寓樓內家庭影院系統的用戶滿意度至關重要，因為在家庭影院系統中不可能對稱設置左、右話筒，或者說房間內一堵墻的聲學性能不同于它對面墻的聲學性能。多頻道系統從房間修正技術中獲益最多。它也許對兩頻道設置的影響較小，但立體聲系統一般說來對誤調整和誤校準不那么敏感。
房間修正涉及到把該系統調整為TEST(測試)模式，在最喜歡的傾聽位置處放一個麥克風，并播放出一系列測試聲音以便弄清楚房間聲學性能方面的信息和話筒本身的局限性，隨后根據專有算法調整增益和均衡度。對于房間整定技術，一個令人感興趣的交叉領域是汽車應用。多年來，一直在對昂貴汽車內OEM的音響系統進行聲學調整以便獲得最佳性能，但這是一個相當費力而且相當主觀的人工過程。
汽車制造商已經開始采用自動的聽覺空間調整。實踐證明，除了豐富的聽覺經驗外，這類調整一個最重要的方面就是聲學上的回音抵消。這意味著消除從免手拿話筒到安裝在太陽帽或頭頂處麥克風的反饋。
手機和個人多媒體設備的融合
MP3和AAC數據速率對個人多媒體播放器及PC是恰當的。但對于手機來說，數據速率必須要低一些。而且顯而易見的是，與下載音樂文件以便稍后播放相比，通過蜂窩網鏈接的流音頻有著很不同的需求。
由第3代合作規劃委員會(3GPP)制訂的3G手機標準采用AAC作為音頻編碼解碼器標準，可滿足了這兩類應用的要求。該標準最新的修改版(版本6)允許使用兩種音頻編碼解碼器中的任何一種。一種就是AAC的強化版，叫做AAC-Plus或高效率AAC(HE-AAC)。
前不久，強化AAC-Plus或高效率AAC的第二套改進版(版本2)也添加進來。另一種選擇是“AMRWidebandPlus”，它是一種強化的語音編碼器。對GSM手機來說，AMR寬帶是一種非常流行的語音編碼器。其Plus改進版將其應用擴展到可處理音樂。
蘇格蘭的Wolfson微電子公司從事硬件音頻編碼解碼器的制造，該公司新產品開發部的副總裁PeterFrith指出，給手機加入回放MP3的功能，或者用于下載音樂，或者作為高質量的鈴聲，意味著用戶已經希望在手機中看到一個相對高保真的回放系統。因此，手機制造商目前期盼出現功耗甚至更低的便攜式DAC，且能夠達到100dB的信噪比。
目前，帶多媒體功能的手機只能播放MP3。下一步要做的也許是個人多媒體播放器，它們能把手機的功能和藍牙及Wi-Fi技術結合在一起。在此期間，PDA電話已經逐步進入領域，它提供了一些播放視頻或音頻文件的功能。
那是你口袋里的合唱隊嗎？
Frith還表示，在過去，設計人員提供的手機只有非常簡單的鈴聲或者MIDI鈴聲功能。有了MIDI，硬件解決方案總的來看已經發展成一個獨立的MIDI解碼器芯片。
雅馬哈是個典型的例子，芯片對MIDI文件進行解碼，并將解碼結果轉換成PCM音頻文件，隨后通過一個DAC把它們播放出來。這個DAC也許可以集成進該解碼芯片之中，當然也可以是分立的。做到這點的一個替代方法是把軟件MIDI解碼器植入電話處理器之中。
用戶對播放高質量鈴聲的興趣已經導致日本市場上的某些電話為其鈴聲選用了MP3文件。電話對它們的處理如同一個音樂設備對MP3文件的處理一樣。它們是通過高保真音頻系統來處理。
在目前的大部分電話之中，這個高保真系統是一個獨立的芯片，它含有一個立體聲DAC、一個立體聲ADC、若干耳機和揚聲器驅動器、麥克風預放大器等等。但類似Wolfson這樣的公司目前尋求把所有這一切都集成在一起，以便該處理器可以實現語音播放和鈴聲、語音信號、藍牙連接以及更多的功能(參見圖3)。
