10 月 31 日，由北京智源人工智能研究院主辦的 2019 北京智源大會在國家會議中心開幕，本次大會吸引了國際人工智能領域的頂級專家學者參加，圍繞人工智能基礎研究現狀及面臨的機遇和挑戰、人工智能技術未來發展的核心方向等話題，回歸 AI 技術本身，開展深入研討，探索人工智能前沿科技發展趨勢。

　　會議第一天，在上午場的尖峰對話上，張鈸、朱松純、黃鐵軍、文繼榮四位學術界大牛就《人工智能的“能”與“不能”》這一話題展開了一場思辨，探索 AI 的真理和本質。

　　主持人：

　　唐杰，智源研究院學術副院長，清華大學教授

　　劉知遠，清華大學副教授，智源青年科學家

　　嘉賓：

　　張鈸，中國科學院院士，智源研究院學術委員會主席

　　朱松純，加州大學洛杉磯分校教授，智源研究院學術委員會委員

　　黃鐵軍，北京大學教授，智源研究院院長

　　文繼榮，中國人民大學教授，智源研究院首席科學家

　　以下為 Panel 環節全程對話內容，AI 科技大本營整理（ID:rgznai100）：

　　唐杰（主持人）：從1956年在美國開始的一場討論至今，人工智能已經走過了六十多年的歷程，這中間有波峰，也有波谷，而且波谷時間很長。在一代和又一代科學家的不懈努力下，終于到達今天機器學習成為推動力的發展階段。而對于人工智能的能與不能，學術界有較大的分歧，且這種分歧將會持續下去。這里，請幾位專家就“人工智能的能與不能”的主題來分享各自的觀點。

　　本論壇名為 AI Time，這個名字源自于我的一個想法，當時也得到張鈸院士的大力支持。我在英國看到很多辯論性的思維，所以萌生了在中國也通過這種思辨的方法來探索科學的本質，所以今天創造了一個平緩寬松的環境，大家可以一起思辨，探索 AI 的真理和本質。

　　今天選了一個非常有意思的話題——人工智能的能與不能。這個題目中有三個“能”，但是意思完全不同，所以今天我們來探索一下這三個“能”到底都是哪些“能”。

　　下面進入 AI Time 思辨環節。我們知道，很多科幻電影為我們呈現了未來 AI 的場景。

　　電影中的AI實現難度如何？

　　劉知遠（主持人）：大家看一下在人工智能相關的科幻電影里，人工智能都能做什么？

　　第一個是非常有名的動畫電影《超能陸戰隊》，里面大白就是人工智能。第二個是來自于《復仇者聯盟》的相關案例，里面的鋼鐵俠的助手賈維斯為鋼鐵俠提供了非常好的可視化交互和手勢智能識別系統。第三個是《流浪地球》的同聲傳譯，影片中劉培強使用了具有同聲傳譯功能的軟件，然后可以去和外國人進行無縫交流。第四個是《速度與激情》中展現的無人駕駛場景。第五個是非常有名的文藝電影《Her》，其中男主角與人工智能系統建立了戀愛關系，稱為人工智能的情感伴侶。

　　這些是科幻電影中幾個非常有代表性的場景：以大白為代表的智能診斷系統，以賈維斯為代表的手勢交互系統，使用了很多計算機視覺和可視化交互手段，以及同聲傳譯、自動駕駛、感情伴侶。在電影世界中，這些人工智能技術人們似乎已經司空見慣，但實際上在現實中，這些技術距離我們還非常遙遠。

　　唐杰：科幻電影中的一些AI技術已經在現實生活中實現，但還有一些AI技術距離實現還比較遙遠，所以第一個問題是這五種相關技術最有可能實現的是哪些？最難實現的是哪些？前三個容易實現的技術是哪些？闡述一下另外兩種技術不容易實現的原因。

　　張鈸：手勢交互實現相對容易一點，智能診斷其次，然后是同聲傳譯、自動駕駛和情感伴侶，情感伴侶肯定是最難的。現在，人工智能究竟能解釋什么問題？我認為做人工智能只有兩個資源，一個資源是知識和經驗，特別是常識。第二個是數據，人類也使用一些數據。

　　所以根據這兩個資源，人工智能領域當時提出兩個模型。最早的模型就是以知識和經驗為基礎的推理模型，但做得不很成功。后來，人們發現機器在運用知識方面與人類差距很大，很困難。之后，另外一個思路是利用數據，結果得到意想之外的成就，發現計算機使用數據的能力遠超人類，所以現在人工智能的成功很大一部分是基于大數據的深度學習，目前大多數的應用都基于這些技術。這種模型在圖像識別、語音識別、自然語言處理上取得了一些成果，中國很多應用領域中用的都是這個成果。

　　但是，我們必須要看到這個成果本身的局限性，它的應用場景必須符合四個條件。第一個條件是信息基本上是完全確定的；第二是環境基本上是結構化的，如果有變化，變化需要是可預測的；第三是限定領域；第四是關鍵重要的場景不能用，主要是因為這個技術有四大缺點：不可靠、不可信、不安全、難以推廣，這就是單純數據驅動造成的問題。

　　為了克服這個問題，最重要的是需要加入知識。剛才講到了通用，這兩個資源必須要用，沒有這些資源不可能做出來人工智能。我的體會是盡量應用常識和知識，現在的問題是單靠數據在一些應用場景下可以解決一些問題，但在很多應用場景下不能解決問題。

　　關于同聲翻譯，目前在一般情況下做翻譯沒有很大問題，犯一些錯誤關系也不大。但是要知道這種系統一定會不可避免地產生重大錯誤，因為它缺乏知識和常識。比如現在所有的翻譯系統，“說你行的人行”這句話一定翻譯不好，最好的翻譯系統也翻得一塌糊涂。為什么出現這樣的錯誤？因為沒有常識。

　　自動駕駛也是如此，關鍵場景不可靠，經常會犯人類不可能犯的大錯。下一步最重要的是要把數據與知識結合起來，這樣才能做好系統。

　　朱松純：我不看科幻片，因為老是看不懂，邏輯不通看不進去。很有意思的是我明天晚上要趕回去，后天約了一幫好萊塢拍電影的人聊天。他們要拍新的人工智能電影，編劇希望和我聊一聊，到底哪些是可行和不可行的，哪些是將來可行的，這也正好是今天問到的問題。

　　我完全同意張老師的看法，手勢交互可能會實現。大白的狀況取決于感知器，我不知道現實中是否存在這樣的感知器。同聲翻譯和自動駕駛都非常危險，特別是用在外交上是不可靠的。智能情侶是很有趣的現象，將來人工智能會在方面超過人類，因為人的記憶力非常短暫，如果人擁有這種能力可以同時維持好多個女朋友，因為他的記憶力非常好，與誰交談過什么內容、撒過什么謊都能圓過來。計算機在這方面超過人是沒有問題的。

　　至于“能”和“不能”，如果能夠把任務定義清楚，即某一個單一任務，并且有數據，基本上都可以做。我極力反對百度、谷歌宣稱在某些任務上超過人類的做法，因為那只是定義了一個任務，如果重新定義新的任務，人工智能可能就不奏效了。這就是核心的分水嶺，即能夠做多大的任務、多少任務，是否能自己定義任務。

　　“任務陷阱”這個詞不是我的發明。現在所有刷榜的數據庫是陷阱，讓大家陷進去爬不起來。2008 年開了一個會，提出計算機視覺的方向，把計算機視覺變成一個圖像分類問題。我當時就認為，這是把大家引到了一個任務陷阱中了，這是非常危險的。但不管我怎么說，大家還是很感興趣，玩得很嗨。但是我也很高興，我們能有十年的時間獨立研究，沒有受到太多的打擾，堅持了自己研究理念。

　　文繼榮：基本上我是同意張老師和朱老師的意見，因為我自己是個科幻電影迷，這些電影我都看過。不好意思，因為我知道里面有很多Bug，但是還能看下去，跟朱老師不太一樣，朱老師是看不下去。我自己從這五個功能來說，可能有一點點不一樣的，剛才張老師和朱老師說賈維斯的手勢，其實不是手勢交互系統，更多是接近于通用的人工智能助手，實際上有點接近于你問它什么，它都可以幫你。

　　因為大白只是醫療方面的信息助手，所以我覺得最容易的是大白。接著應該是賈維斯和同聲傳譯。自動駕駛的問題，主要是容錯性要求太高了，除了技術上實現的難度以外，還要從另外一個維度考慮問題，比如說技術難度實現的差不多，但是從用戶角度有些技術是容易接受的。比如同聲翻譯也很難，但是翻譯錯一些內容問題不大，但是無人駕駛不一樣，容錯性特別特別低。情感伴侶的話，應該是最難的，因為這里面有更復雜的東西，甚至涉及到意識的問題。

　　黃鐵軍：我也得表個態，剛才各位專家回答的都很謹慎、很專業，我的回答跟你們不一樣，我是另類，腦洞派。這五個功能，每一個功能人都能做得到，包括最后一個情感伴侶，我們這一生大概花不少時間去折騰這個事，只要找一個異性就可以找到一個伴侶。實現難度排序我排不出來，但是我的回答是所有的都能實現。

　　為什么呢？我們人天天實現的不挺好的嗎？所以人工智能如果能夠做一個像人一樣的機器，為什么不能做這些事情呢？這個機器不是今天的計算機，我們可以構造一個全新的不同的系統，比如我推銷的類腦智能，我們可以構造一個新的像人的神經系統，只不過是電子版本的機器。它在復雜環境里面去訓練，我們人能在自然環境里面長出這些功能，為什么它不能呢？所以我認為這在未來的機器里面是完全有可能的。

　　唐杰：剛才大家提到了數據開放共享，包括競賽可能是一個陷阱，這樣的陷阱甚至對未來AI發展產生阻礙。黃鐵軍院長是否要回應一下這個問題？

　　黃鐵軍：我覺得不是阻礙，這是一個重要的階段。我從來不反對大數據，因為人就是大數據訓練出來的一個結果。我們從單細胞動物進化到今天這么復雜的一個身體、神經系統，那是因為進化過程中的大數據。不管我們叫不叫它大數據，也就是環境、地球的自然環境給予我們的刺激和約束，使我們不斷地去調整系統，這是一個大數據。從廣義的大數據意義上我是同意的。今天收集這么多數據變成靜態的、標好的圖像，這只不過是一種比較僵化的大數據，從大的思路上講還是必要的，因為沒有這樣足夠數據和環境的刺激，我們很難做出更強的智能。

　　張鈸：大數據、計算機處理數據的能力遠比人類強，我們要充分利用它，它可以發展出來在某些方面比人類強的機器。我對黃教授的看法有一點質疑，我們的目標一定是要做一個與人類完全一樣的機器嗎？我認為不是。做一些在某些方面比人強得多，在某些方面比人弱的機器才是我們需要的，這樣人與機器就可以互補，建立和諧的人與機器的共同體，沒有必要讓兩者站在對立面。

　　劉知遠：關于最容易實現和最難實現的 AI 技術，現場觀眾的投票結果已經出來了。大約 300 張投票顯示，大家對于最難實現的 AI 技術意見比較一致，就是情感伴侶。最容易實現的 AI 技術，有超過一半的觀眾投給了同聲傳譯，各位嘉賓老師對此有何評價？

　　唐杰：朱老師可以回答一下，因為朱老師講同聲傳譯非常難，在外交上如果翻錯一個詞會很危險。

　　朱松純：我估計是科大訊飛的廣告做的好，讓大家都知道以為同聲傳譯已經成為現實了。我覺得如果看看真正翻譯結果的話，其實還是有很大差距的。科大訊飛也是我們校友師弟做的公司，我們支持他們，但是科學還是科學，我相信他們做不了，這是現實。

　　唐杰：這里有幾個來自線上朋友提出的問題，第一個問題是實現人工智能有幾個基本的要素？第二個問題是實現人工智能的自我意識最基本的元素是什么？

　　張鈸：計算機是否會有意識？這些問題目前不可能進行科學的討論，因為我們對人類的意識了解太少。持支持和不支持觀點的人都不可能拿出充分的科學證據來支持自己的觀點。我的意思是，這個問題不應該在科學領域里爭論，但可以在哲學領域中討論。因為哲學的討論就是討論現在科學還解釋不了和解決不了的問題。

　　這涉及到智能這條路究竟是唯一的，還是有別的途徑。我們知道，現在的智能，包括意識在內是通過幾億年的進化產生的。除了進化這條路以外，是否還有別的路？如果有別的路，就可以通過機器技術的不斷提高來解決。人家常說哲學家非常痛苦，要討論目前都解決不了的問題。但是我勸搞技術的人，作為科學家或技術人員還是做快樂的科學家和技術人員，不要去討論這些問題，因為這些問題是討論不清楚的。

　　黃鐵軍：我的觀點跟張老師幾乎完全不同，我覺得從不同的角度來看這個問題。我認為要產生自我意識的必要條件，第一是要有一個類似甚至超越人類的神經系統的物理載體。可以想想最簡單的是把人的神經系統做一個電子拷貝，做一個身體。你要有一個身體，而且要有一個類似于神經系統的可以被訓練、可以被改變調整的物理載體。

　　第二是要有一個復雜的環境，其實這個很容易。地球就是一個很復雜的環境，要有一個自然的環境，或者像朱老師說的要訓練仿真的環境，無論如何要讓它有嘗試失敗、成功的環境。

　　有了這兩個條件之后，就可以進行交互、嘗試，然后不斷地去訓練。在這個過程中會發生很多種可能性，包括自我意識的產生。為什么我剛才說跟張老師的觀點不太一樣呢？張老師說科學范圍不適合討論，我完全同意。在哲學領域的討論，我不同意，哲學再討論也是空談，討論不出什么東西。但是我們可以做的是在技術領域去討論、在技術領域去實現，這件事是可做的。為什么？我就只舉一個例子，請問宋朝的時候中國發明指南針的時候，誰告訴我們有一種東西能夠沿著地磁的方向去指南？沒有。那時候科學還沒有、還不存在。那時候根本不知道電磁學、地球、磁場，所有的知識理論都沒有。但是這沒有影響中國人發明指南針。

　　在宋朝的時候絕對解釋不清楚司南為什么老往南指，我們覺得很神秘，但是是可重復、可實現的裝置。這種裝置引導著人類前行進入了航海時代，發現了地球是圓的，對科學的發展起到了很大的作用。今天我們才明白了為什么是指南的。

　　回過來講，我們做一個有自我意識的系統，前提是先去做這個系統，而不是解釋人智能背后的原理問題，它不是科學問題、哲學問題，而是技術問題。

　　唐杰：剛才這個問題有上升到人的意識形態，下一個問題，我們是否能拋開意識形態、自我意識做一些更具體的解釋？比如是否能自動進行任務分解，分解以后針對不同的任務用一種大神經網絡、小神經網絡，甚至自動機器學習的方法全部自動分解以后做自動學習？這樣是否就可以實現技術層面的人工智能？

　　朱松純：我再補充一下關于意識的問題，關于人的意識，這個事情一直是個迷，心理學和認知科學方面大概在十年前是不許討論的，把所有的經費都卡掉了，不支持這方面的研究。這幾年又開始了，我覺得人的意識是說不清楚的，因為人的進化系統不是最優的系統，是多少年沉淀慢慢積累下來的系統，很多東西是跟我們的神經系統相關的。很大程度上它依賴于我們這個特定的系統。

　　我同意黃鐵軍說的情況，這樣人工智能來解決意識的話本身不是一個問題。你可以認為里面所有的狀態，都可以隨機被調用、抽取出來，也就是意識的表達，這倒不是一個很大的問題。

　　回到剛才的問題，技術能不能把任務分解，用每個不同的任務去訓練，然后總結在一塊。我不否認這種路線，就是說我們人腦里面有很多不同的區，我的同事用不同的芯片來做不同的任務，他發現比如說人做加法和減法都是完全不同的區域在做，這就是一個問題。

　　至于特定的怎么總和起來達成一個自洽的解釋，這有另外的算法來做。這種計算的機理我們也考慮過，數據驅動的算法，每一個邊緣分布，相當于每一個子任務都可以來算數據系統，但是互相之間要保證自洽性、完整性，必須要有聯合的推理過程，這個過程是另外一個區域完成的。我倒不完全否定大數據的訓練方式在工程上的作用，可能大部分的學生被黃鐵軍的訓練集吸引過去了，或者調參去了，這是一個陷阱。

　　黃鐵軍：剛才的問題我想是否定的回答，我可以肯定地說“NO”。因為我想這位聽眾想問的問題，實際上是能不能設計一種機器，把任意的任務分解，分別有其他的機器完成，最后是全自動了，智能問題就解決了，我想他背后的意思是這個，這個顯然是“NO”。因為只要讀一下圖靈的論文就知道答案，1936年的文章說的很清楚，因為不可計算理論的奠基才有了計算機。

　　我沒有時間展開，我的意思是結論很清楚，不可能設計一臺機器把所有可計算的過程來自動完成，不存在這樣的機器，更不存在你說的一個機器能分配任務。你想象中強大的機器是不存在的，邏輯上就不可能，而不是說任務的難度和不難的問題。

　　張鈸：其實大家說的意見是一致的，剛才黃教授也表示爭論機器是否意識的條件不成熟；第二，我并不反對做研究，只是說不要去爭論，按照自己的觀點去實踐，我們應該鼓勵。最后有一點不同的，哲學家肯定會去討論這個問題，我們也無法阻止他們去討論。而且我認為這個討論肯定是有益處的，哲學會討論出一些很有啟發性的思想。

　　黃鐵軍：最后這一點我同意張老師，哲學家不僅可以討論，確實需要討論。我希望他們討論的是如果技術走的太快，捅出簍子來怎么可以和諧的問題，但是讓哲學家給我們提出路線，我覺得不太現實。

　　實現AI不會一蹴而就，AI發展應該分級嗎？

　　唐杰：很多人工智能技術可以實現，有的不容易實現，人工智能的發展不可能一蹴而就，一下子就擁有自我意識，甚至有些技術自動化也是有必要的。我們是否有必要和自動駕駛一樣對人工智能發展進行分級，甚至是認證，比如哪家公司的某項技術，或者某個學校的技術達到人工智能一級、二級、三級、四級、五級？這個分級怎么分？

　　文繼榮：我記得上次跟張老師在 AI Time 討論的時候就在想，一個程序到底為什么是人工智能的程序，而不是一個普通程序？我不知道各位想沒想過這個問題，你怎么判斷一個程序是人工智能還是普通的？我后來琢磨了這個事情，其實有一個隱含的判斷標準，這個程序是不是具有一些人才有的特質。比如說人跟傳統的程序比起來有一些特性包括了什么？

　　第一是靈活性，它能夠處理各種不確定性，有各種不確定性，靈活性、可泛化等等。

　　第二是有自適應性，能夠適應不同的變化，能夠自學習。

　　第三是可解釋性。其實可解釋性的事情對人是很重要的，背后的含義是人的理性。我們做任何東西背后是有理性的支持，這是可解釋性。

　　第四，還有創造性和自主性等等。

　　我自己根據這些特性，把人工智能做了一個分級。

　　Level 0 是能夠完成固定邏輯任務的，就是預定義邏輯任務，其實就是現在說的普通的程序。

　　Level 1 是定義為完成特定領域任務，不管用什么方法，用大數據方法或其他方法也好，它可以處理不確定的輸入、可泛化，像人臉識別。

　　Level 2 是可以對結果行為可解釋，能夠從相關到因果。這個事情很重要，為什么要有理性，其實是因為我們想結果可控。剛才大家討論了很多，基于大數據深度學習和可解釋性是有一些矛盾和沖突的。

　　Level 3 是剛才朱教授談到的通用人工智能，實際上這一塊就需要能夠具有多領域的自適應性，并且具有常識推理能力等等，使得能夠在多個領域自由游走。

　　Level 4 應該是讓系統具有一些創造性。AI產生的一些新的、有意義的東西，比如真的能夠寫出一部小說了，但是這個東西必須是要有意義的，所以這是創造性，也是人很重要的特性。

　　Level 5 是具有自我意識，剛才已經進行了哲學層面的討論，如果到了這一級是真的有生命了。

　　我立了一個靶子，請各位老師來批判。

　　朱松純：我覺得這個分級在各個垂直應用行業是非常有意義的，因為目標和任務非常清楚。但是作為一個通用人工智能的分級，整體的分級我覺得目前還很難。因為到底人工智能包含有多少個模塊，包含有多少個功能，在整體的框架沒有說清楚之前，在維度沒有說清楚之前，去分析的話可能會引起很大的爭論。

　　關于這個問題，更簡單的情況下把它說成是智商。比如說智商到底有多少個維度，為什么我們測人的智商是從0到150，這其實就是個分級，人也可以分級。我們最近也在研究這個事情，美國也在研究這個事情，為什么我們比動物聰明，為什么有的人比我聰明，基本的機制在哪兒？天才到底是因為什么變成了天才，比如數學天才或者下棋的天才。這就是有很多種維度，這個維度在大的空間里面到底是有限的還是無限的，那就說到了任務的邊界在哪兒。到底有多少個任務，智能的邊界在哪兒，智能極限在那，或者學習的終極極限在哪兒。

　　原來圖靈有一個停機問題，剛才黃鐵軍也提到了。我們其實在學習也有個停機問題，我提出了學習的極限。是什么東西決定了我們智商的極限、學習的極限，這個是可以作為一個科學的問題來研究。

　　張鈸：我基本上同意他的意見，對于具體問題要進行一些分級，這對于我們的研究很意義。比如自動駕駛現在分成五級，這樣就可以知道這個階段究竟可以做到什么程度。

　　但是，我認為對整個智能進行分級很難，因為這涉及到了很多方面。什么叫聰明？智能在不同方面的表現不同，牽涉的面很寬，所以分級的可能性較小、較難。特別是對于通用人工智能一定要謹慎，要有明確的定義。最早看到他（朱松純）講的題目，我覺得他的膽子夠大了。后來聽他講了，感覺就不一樣了，等于是做大任務。我們對通用人工智能的使用要謹慎，這在人工智能歷史上有過激烈的爭論，到現在為止都沒有搞清楚。

　　黃鐵軍：我就補充一點，我覺得我們除了功能，還要考慮性能的維度。為什么呢？比如說下圍棋，現在毫無疑問機器比人強大得多，不能說機器就超越人了，因為它靠的是速度、性能的維度。剛才提到幾個級別的時候，性能一件事就足以顛覆我們對功能的分級。比如說我們昨天給朱老師看視覺芯片，速度比人眼快一千倍。這樣的傳感器如果照著這樣的感知，動作也是這樣，推理也是這樣的，就可能遠遠超越人類了。

　　我們原來很多時候想的以人的功能為標準，制定了級別，又考慮場景，在被性能沖擊的時候可能完全就不適用了。

　　AI隱私問題

　　唐杰：今天的主題是討論“能”與“不能”，剛才大量的時間都在討論第一個“能”，第二個”能”還沒有討論。第一個“不能”和第二個”能”的含義不同。現在隨著AI技術的發展，我們可以做到很多事情，比如國內的在課堂通過視頻自動觀察學生有沒有認真聽課，深圳的交警窗口把闖紅燈者的照片、姓名自動打在大屏幕上，看起來非常厲害。

　　今年5月份，美國加州通過了網絡隱私法保護，禁止在任何公共場所使用拍照的人臉，甚至包括警察抓小偷。關于隱私問題，幾位嘉賓是否有相關考慮，你們是支持更多的保護隱私，還是在當下，尤其是中國當前的情況下，可以放開隱私（問題）做更多的技術探索？

　　黃鐵軍：我認為人工智能技術嵌入到社會生活中，嵌入到方方面面過程中一定有適應過程。但是這個適應過程是雙向的，既要技術適應人類社會，人類有時候也要一定程度上適應技術，構成一個和諧的共同體。

　　可能對于技術應該適應人類，我覺得不用論證，大家多數都會同意。但是從人類要適應技術的這一點，我們心理上也要做一定的調整。我就不舉那么多例子了，比如說圖靈之所以1954年去世，就是因為當年的倫理給了他致命一擊。如果沒有人類倫理限制的話，今天的計算機科學、人工智能可能完全是另外一個狀態，所以人類自己適當的調整是必要的。

　　張鈸：這個問題涉及廣泛，屬于人工智能治理的問題。我認為涉及到了三個層面，第一是誤用人工智能技術，第二是濫用人工智能技術，第三是有益利用人工智能技術進行國家與國家之間的對抗、集團與集團之間的對抗，這三個層面是不同的，應該采取不同的治理方法。

　　朱松純：我覺得隱私和自由，隱私是侵犯了自由的空間，人家看到你的時候，你做事情就不自由了。我覺得這個問題應該是由社會中大部分人來決定。以前我說了倫理道德不是絕對的，是相對的，在人和人之間交流過程中達成的共識。道德的“德”字我原來解釋過，就是一大堆人有十個人眼睛看著你心里怎么想的，這個東西合適是道德，不合適就是不道德，這是隨著時間在改變的事情。

　　我覺得自由的話，像人臉識別系統，我們的機場、火車站都非常方便，也是大家選擇的一個問題，要由公眾選擇。公眾如果通過法律不讓你這么做，那就不能做。

　　文繼榮：第一點，這次在 AI Time 時張老師提了一個觀點，我分享一下。大家可以看到在（美國）加州禁止了人臉的東西，但在中國可以看見各種人臉監控還是比較普遍的，跟這兩個國家的特點有關系。可能西方更強調的是個人自由。在咱們這兒更強調集體主義。在中國一直提倡可以為了集體、國家的利益，甚至可以犧牲一些個人利益，這對這個社會大多數人來說是接受這一點，這是不同點。

　　在中國的話，我們不能簡單說加州不讓做，中國就一定要這樣做，其實不是這樣的。但是邊界在哪里？我同意朱老師說的，這要交給人民去決定。比如說前兩天看新聞，比教室監控更厲害，教室是用攝像頭，而他們是給學生戴一個東西，可以監測你的腦電波，然后看你走神沒走神，最后給你弄個大數據來分析你，這是不是有點走的太遠了，所以有一個邊界。

　　第二，隱私安全另一點比較重要的是人工智能要可控。現在深度學習黑箱的問題是很麻煩的事情，我是比較擔心的。比如說武器，如果里面的可解釋性、可控性解決不了，這才是真正危險的東西。

　　劉知遠：實際上，隨著AI技術的深入應用，已經出現了很多隱私、安全和倫理相關問題，各位嘉賓都非常認可AI技術應用應該有一些邊界。很多國家和機構也都意識到了這個問題，紛紛發起了如何以負責任的態度發展人工智能的行動。

　　唐杰：最近各很多國家發表了AI宣言，北京也發布了《人工智能北京共識》，因為黃鐵軍參加了很多相關工作，我們請他簡單解讀一下《人工智能北京共識》。

　　黃鐵軍：發展人工智能，讓它造福、服務于人類，這樣的宗旨我相信是大家的共識。我不僅參加了《人工智能北京共識》的討論，也參加了國家新一代人工智能治理委員會的一些討論。這些原則，我想既然是大家討論的結果，就是一個多數人的共識，我也是同意的。

　　但是像我剛才說的，其實在剛才的兩個委員會里面我都是另類，都是提反對意見比較多的。我的一個觀點，一方面在現階段或者在未來的一段時間之內，我們確實要從人的利益、幸福感出發來考慮這個問題，但這不是永遠的。

　　從長遠來看，我個人的觀點還是要跳出以人為中心的思維慣性，而要考慮智能在地球、宇宙的意義下的長遠未來，這是同樣要考慮的問題。在那個時候就不是說智能怎么服務于人，而是人和智能系統如何共處、共融，共同融合在一起在未來去發展下去的問題。

　　AI技術安全和倫理的邊界在哪里？

　　唐杰：人工智能的發展離不開倫理，請幾位嘉賓簡單論述對于倫理和 AI發展邊界的觀點。

　　張鈸：一兩句話說不清楚，治理應該分成幾個層面，有的涉及到安全，有的涉及到倫理，作為宣言，籠統地提倡是可以的。但是具體到技術問題，還需要具體界定，這比較復雜。

　　朱松純：這個問題確實是非常難，現在大概花不到1000 美金就可以造一個殺人武器，無人機和攝像頭有人臉識別，定位某個人，就可以開槍了，其實這是非常危險的事情，肯定也無法阻止有人這么做。既然這個工具產生了，他拿這個工具砸銀行或者干什么是別人的事情。我想科學家在這個方面上阻止不了他，只能通過社會去做。

　　將來最好的辦法是計算機能夠形成一定的倫理，它能夠判斷這么去做會造成的社會后果是什么，這是一般人基本的能力。因為我們社會上的每一個人都可能做一些違法的事情，但是它會考慮到后果。如果機器沒有考慮到這個后果的話，每一個都是自殺炸彈性質的機器人，這是危險所在。

　　文繼榮：其實這個問題特別難，我有一個很樸素的想法，大家為什么會討論人工智能倫理，是因為大家擔心讓人工智能去做一些人不能做，或者不敢做的事情，或者不愿意做的事情，將來交給機器或者人工智能去做。一個簡單、樸素的邊界在哪里？就是在這個地方。如果讓人工智能去做對人的倫理評價這么大事情的話，實際上是要三思一下。

　　唐杰：醫療領域的容錯率很低，在醫療領域中，未來五年哪些AI技術真的可以實現在這個場景中落地？

　　張鈸：現在的技術實際上用在了非關鍵的場景，如分診、醫療健康管理、醫院管理、醫療系統的支撐系統等。現在的技術還難以支持人命關天的醫療場景，比如計算機疾病診斷用起來大家就很慎重。簡單來講，現在大家做了很多醫療圖像識別系統，識別率都做的很高，有的聲稱超過人類。但是醫生還是不敢用，為什么？因為不可解釋，做出的判斷解釋不了原因，醫生敢簽字嗎？所以，在關鍵領域還要下工夫，人命關天的問題還是要慎重，大家還沒有真正普遍使用。

　　唐杰：我們現在研究人工智能有兩個思路，一個思路是用計算機模擬人腦的思維方式，然后用人腦的思維方式求解這個問題。另一個思路是作為純算法，然后用純算法的思路來求解，比如可確定性的問題，或者人很難求解，但是計算可以求解的問題。這兩個思路哪個在當下最可行，為什么？

　　黃鐵軍：我覺得兩個思路好像是一個思路。當然我知道有點區別，一個是人把規則定下來然后去做，另外一個是訓練，總的來說也沒有繞出計算機的范圍。因為時間已經到了，我就簡單說兩句。其實我昨天晚上被唐杰抓來做找茬的，只看到了題目，不知道今天討論的不能是那個意思。實際上我腦子里想的“不能”是人工智能作為一種技術，它不能的邊界在什么地方，這個事情跟你剛才提的問題有關系。

　　計算機的能與不能有很多討論，也有很多著作、文章可以去看。最基本的是圖靈在1936年論文說計算邊界有了很清楚的結論，絕對不是無所不能，計算的范圍是很有限的。因此你剛才說的兩個問題在人工智能是一種方法，但是它是一種可能的有限范圍內的方法。

　　但這并不等于人工智能永遠就只能限制在這樣的范圍之內，我們完全可以去制造、去創造全新的系統。這個系統不一定非要計算，或者它超越了圖靈機，所謂超越了圖靈機因為不是在機械計算的方式在進行的。從這個意義上講，它的能力比剛才那樣的方法要大得多。我認為人也有不能，因為人類神經元有幾百億，人也有一個智能上限的天花板。天花板的突破要靠未來的機器，機器從物理載體的能力上超越我們，這是完全有可能的。

　　當然誰要敢給一個說“不能”，因為說“不能”都是最偉大的貢獻，你敢肯定一件事不能，能說人工智能的“不能”，那一定也是一個偉大的貢獻。但是我認為說“不能”時代的遠遠還沒有到來，而是有巨大的探索空間。

　　唐杰：非常感謝黃老師，最后的“不能”講得非常好。今天我們用了一個小時探討了人工智能的“能”與“不能”，但其實這沒有標準答案，很多 AI 相關技術和應用場景，還有很長的路要走。