昨日，ACM 2018 圖靈獎得主公布，深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒布，一方面讓人感嘆「終于」、「實至名歸」之外，也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER，他是否也應該獲此榮譽呢？
在官方公告中，ACM 介紹說，「因三位巨頭在深度神經(jīng)網(wǎng)絡概念和工程上的突破，使得 DNN 成為計算的一個重要構(gòu)成，從而成為 2018 年圖靈獎得主。」
確實，在這波 AI 浪潮中，深度學習扮演著主力角色。在人工神經(jīng)網(wǎng)絡歷經(jīng)寒潮之時，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持，帶來了如今深度學習的崛起。
正如 ACM 主席 Cherri M. Pancake 所說，「人工智能如今是整個科學界發(fā)展最快的領域之一，也是社會上討論最廣的主題之一。AI 的發(fā)展、人們對 AI 的興趣，很大程度上是因為深度學習的近期進展，而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎……」
因此，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow（捂臉）獲此殊榮實至名歸。
然而，在我們感嘆有「計算機界諾貝爾獎」之稱的 ACM 圖靈獎「終于」頒發(fā)給深度學習時，也有學者發(fā)出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應獲得此榮譽。
Jurgen 也該得獎？
2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持，并引領學界走向深度學習爆發(fā)的三位先驅(qū)，這是 AI 領域的一件喜事。在大獎結(jié)果正式公布后，社交網(wǎng)絡上的討論也在熱烈開展，不過人們的焦點卻有些文不對題：
（圖注）在 Reddit 上，有關圖靈獎的帖子被頂最多的幾個回復：「Schmidhuber 哭暈在廁所」。
對此，人工智能著名學者，南京大學人工智能學院院長周志華第一時間也表示：「要論對深度學習的貢獻，Hinton 無疑居首，LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票，人緣也重要。。。不過沒關系，有 LSTM 這樣教科書級的貢獻足以淡定。」
在知乎問答上，也有眾多網(wǎng)友肯定 Schmidhuber 的成就，感興趣的讀者可查看該知乎帖子：
鏈接：https://www.zhihu.com/question/317715156
看來大家紛紛對 Jurgen Schmidhuber 在人工智能領域里的貢獻表示肯定。不過此人在業(yè)內(nèi)人緣似乎的確不夠好，在 2015 年還曾發(fā)文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。
作為一個例子，讓我們看看《自然》雜志 2015 年的人工神經(jīng)網(wǎng)絡（NN）文章《Deep Learning》，它是深度學習的一篇標志性文章，目前引用量已經(jīng)達到了 13886。該文章是 LeCun、Bengio 和 Hinton （簡寫LBH）聯(lián)合寫的，他們從當下的卷積、循環(huán)和反向傳播算法等核心概念概覽了深度學習，并表示無監(jiān)督學習、深度學習結(jié)合強化學習等方向才是發(fā)展趨勢。
然而，Schmidhuber 在當年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀以前開創(chuàng)領域的先驅(qū)者。此外，Schmidhuber 在文章中還說了一句「They heavily cite each other」。
如下展示了Schmidhuber 批判的前三條觀點，他對該論文一共提出了九條批判性意見。
截自：http://people.idsia.ch/~juergen/deep-learning-conspiracy.html
總體而言，Schmidhuber 列舉了三人對于深度學習、反向傳播、前饋學習、無監(jiān)督學習、卷積神經(jīng)網(wǎng)絡等等方面對于前人研究的忽視，可謂詳盡。
如此耿直，難怪不受人待見。不過另一方面，我們評判一位學者的成就不應該看他的性格，而更應該以學術(shù)成就作為標準。
正如人們所說的，Jurgen Schmidhuber 是一名人工智能先驅(qū)。
Jurgen 的學術(shù)成就
作為 LSTM 發(fā)明人、深度學習元老，Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰寫了一篇論文，其中提出了一種利用記憶功能來增強人工神經(jīng)網(wǎng)絡（模擬人類大腦的計算機系統(tǒng)）的方法，即根據(jù)之前獲得的信息，添加解釋文字或圖像模式的循環(huán)。他們稱之為「長短期記憶（LSTM）」。
LSTM 解決 RNN 存在的短板，在隨后的多年中被人們廣泛采用。然而遺憾的是，當時 LSTM 也并沒有受到業(yè)界更多的重視，在 1995 年，首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年，關于 LSTM 的論文被麻省理工學院退稿。「即便是美國、加拿大及其他地區(qū)的著名的神經(jīng)網(wǎng)絡專家，都沒能意識到我們自 1990 年代起于高山上實驗室研發(fā)的深度循環(huán)神經(jīng)網(wǎng)絡的潛能。」Schmidhuber 多次在媒體采訪時表露出遺憾。
語音識別最重要的模型之一——Connectionist temporal classification（CTC），是由 Graves、Schmidhuber 等人在 2006 年提出的，該論文出現(xiàn)在 2006 年的 ICML 上。CTC 是一種改進的 RNN 模型，可以讓網(wǎng)絡自動學會對齊，十分適合語音識別和書寫識別。
Jurgen 貢獻的重要研究還不止于此。2018 年，由谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環(huán)境的未來狀態(tài)進行預測的新方法，而論文的名字也非常霸氣：
今天人工智能的形態(tài)，是由眾多學者共同打造的。在恭喜三巨頭獲得圖靈獎的同時，不要忘了另外一些人的貢獻。
最后，網(wǎng)友實力「皮」了一波：兩彈元勛黃仁勛是不是離圖靈獎也不遠了……