深度學習來得太晚也太猛，對話2018年度圖靈獎三位「大佬」
雖然曾經(jīng)遭受質(zhì)疑甚至嘲笑，但 2018 年度圖靈獎獲得者 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 一直在他們的研究生涯中不斷發(fā)展人工神經(jīng)網(wǎng)絡，其研究成果已成為了從搜索到內(nèi)容過濾等領(lǐng)域不可或缺的組成部分。所以，當前炙手可熱的深度學習和人工智能領(lǐng)域究竟怎么樣呢？下面，三位人工智能領(lǐng)域的「大佬」將與大家分享一些令人振奮的發(fā)現(xiàn)以及依然存在的一些問題。
現(xiàn)在關(guān)于人工智能的討論遠多于您剛開始研究生涯的時候——有些您可能聽說過，有些可能沒有。那么，您希望人們不再問哪些問題呢？
GEOFFREY HINTON：「神經(jīng)網(wǎng)絡只是一場泡沫嗎？」以前，人工智能業(yè)內(nèi)人士給出很大的承諾，而這些承諾有時被證明只是一場空談。但是，神經(jīng)網(wǎng)絡遠不止給出承諾那么簡單。這項技術(shù)確確實實在發(fā)揮作用，并且能夠縮放。當你提供更多數(shù)據(jù)和一臺運行速度更快的計算機時，神經(jīng)網(wǎng)絡性能會自動提升，而不需要任何人再多寫幾行代碼。
Geoffrey Hinton
YANN LECUN：的確是這樣。深度學習的基本理念并沒有消失。但當人們問我們，讓機器變得更智能的方法是不是只有簡單地擴展現(xiàn)有方法時，這的確令人沮喪。我們需要一些新的范式。
YOSHUA BENGIO: 當前技術(shù)得益于之前很多年的工業(yè)和科學應用累積。比如說，我們?nèi)齻€都是研究者，但常常迫不及待地想要開發(fā)更多新技術(shù)，因為我們離人類水平的人工智能以及理解自然或人工智能原理的夢想還差得遠呢。
Yoshua Bengio
哪些方面沒有得到充分討論？
HINTON：人工神經(jīng)網(wǎng)絡會告訴我們大腦如何工作嗎？人們會問這個問題，但問的人還不夠多。
BENGIO：是的。不過遺憾的是，雖然深度學習從大腦和認知中汲取靈感，但很多相關(guān)領(lǐng)域的工程師目前并不關(guān)心這些主題。這也不難理解，因為只要能夠把技術(shù)應用到工業(yè)中，其它東西都仿佛不重要了。但就研究而言，如果我們不能與那些努力理解大腦工作原理的研究人員保持聯(lián)系，則是一大損失。
Yann LeCun
HINTON：也就是說，神經(jīng)科學家現(xiàn)在正在認真對待這個問題。多年來，神經(jīng)科學家一直在說：「人工神經(jīng)網(wǎng)絡與真正的大腦一點也不像，它們并不能告訴我們?nèi)魏斡嘘P(guān)大腦如何工作的東西?！沟F(xiàn)在，這些神經(jīng)科學家正在認真考慮大腦中存在反向傳播這種東西的可能性，這是一個非常令人興奮的領(lǐng)域。
LECUN：現(xiàn)在，幾乎所有關(guān)于人類和動物視覺的研究都使用卷積網(wǎng)絡作為標準概念模型。這種情況最近才出現(xiàn)。
HINTON：我認為人工神經(jīng)網(wǎng)絡還會慢慢地對社會科學產(chǎn)生巨大的影響，因為它能夠改變我們對人自身的看法。我們過去認為人是理性存在的，并且人的特別之處在于能夠借助推理來得出結(jié)論?，F(xiàn)在，我們對人有了更好的理解，即人基本上是能夠做出大量類比的機器。人發(fā)展這些表征的過程非常緩慢，之后這些表征決定了人所能做出的類比種類。當然，我們可以做出推理，并且如果沒有推理則發(fā)展不出數(shù)學，但這并不是基本的思考方式。
作為具有開創(chuàng)性研究的學者，您似乎常常不滿足自己現(xiàn)有的成績。
HINTON：在我看來，那些發(fā)明了當前標準技術(shù)的人雖然會有一些特殊之處，但他們并沒有什么天賦異稟，并且還可能存在一些更好的技術(shù)。但是，當一個領(lǐng)域已經(jīng)有了一種標準的做事方式時，那么進入該領(lǐng)域的人不會理解這種標準的做事方法是多么的武斷。
BENGIO：有時候，學生在談論神經(jīng)網(wǎng)絡的時候就好像是在描述《圣經(jīng)》一樣。
LECUN：標準的方法可能會造成教條主義。而且，一些最有創(chuàng)意的想法可能是由年輕人提出來的。
該領(lǐng)域已經(jīng)取得了一些令人矚目的進展。20 或者 30 年前，哪些可能發(fā)生的事物會讓您感到驚訝呢？
LECUN：讓我感到驚訝的東西太多了。比如，深度學習革命開始得太晚了，而開始革命后它發(fā)展的速度也太快了。我本來希望神經(jīng)網(wǎng)絡的發(fā)展更加地循序漸進，但遺憾的是，人們在 20 世紀 90 年代中期到 21 世紀前 10 年中期完全放棄了神經(jīng)網(wǎng)絡。我們有證據(jù)表明神經(jīng)網(wǎng)絡之前就發(fā)揮過作用。但這一觀點被證明之后，神經(jīng)網(wǎng)絡的發(fā)展開始變得勢不可擋：先是在語音識別領(lǐng)域，然后是圖像識別，現(xiàn)在已經(jīng)擴展到自然語言理解領(lǐng)域了。
HINTON：20 年前，如果有人可以提取一種語言中的句子，將它分割為小的單詞片段，然后將其輸入一個始于隨機連接的神經(jīng)網(wǎng)絡，然后訓練這個神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡再將這個句子翻譯成另一種語言，而不需要任何語法或語義知識——完全沒有運用到語言知識——并且翻譯效果比任何其它工具都好。這會讓我非常驚訝。雖然這種翻譯并不完美，不如雙語人才，但它已經(jīng)在做得越來越好。
LECUN：令我驚訝的還有這些技術(shù)應用到很多產(chǎn)業(yè)中的速度，也是如此之快。如果現(xiàn)在你從谷歌或 Facebook 中移除深度學習，則兩家公司會陷入癱瘓。它們完全是圍繞深度學習來構(gòu)建的。當我加入 Facebook 時，令我感到驚訝的是該公司有一個小組使用卷積網(wǎng)絡來研究人臉識別。當時我對卷積網(wǎng)絡的第一感覺是它們可能對分類的識別有用：汽車、狗、貓、飛機和桌子，而不適用于人臉等細粒度目標識別。但結(jié)果證明卷積網(wǎng)絡非常有效，并且現(xiàn)在完全成為了標準。另一件令我感到驚訝的是 Yoshua 實驗室中開發(fā)的生成對抗網(wǎng)絡——人們基本上可以將神經(jīng)網(wǎng)絡作為生成模型使用，以生成圖像和聲音。
BENGIO：在我攻讀博士期間，我曾竭盡全力擴展自己的想法，即神經(jīng)網(wǎng)絡的作用不是僅限于模式識別——將固定大小的向量作為輸入并生成類別。但直到最近的翻譯研究才讓我們擺脫了這種固有認識。正如 Yann 所說，網(wǎng)絡生成新事物的能力的確已經(jīng)出現(xiàn)革命性的變化。所以神經(jīng)網(wǎng)絡有能力操縱任何種類的數(shù)據(jù)結(jié)構(gòu)，而不僅僅是像素和向量。以傳統(tǒng)的觀點來看，神經(jīng)網(wǎng)絡只限于執(zhí)行那些人類可以快速且無意識完成的任務，如目標和圖像識別?，F(xiàn)代神經(jīng)網(wǎng)絡在本質(zhì)上有別于我們在 20 世紀 80 年代所以為的那樣，這些神經(jīng)網(wǎng)絡現(xiàn)在能做的事情更加接近我們推理以及編程時所做的事情。
盡管已經(jīng)取得了這么多成就，Yoshua，您曾討論過促使發(fā)展中國家更容易獲取神經(jīng)網(wǎng)絡技術(shù)的緊迫性。能夠談談這些嗎？
BENGIO：我認為這個問題非常重要。我以前沒有考慮太多的政治問題，但機器學習和人工智能已經(jīng)從大學的象牙塔里走出來了。我認為我們有責任考慮這個問題，并參與到關(guān)于人工智能用法的社會和政治討論中去。其中一個問題是，專業(yè)知識和技能、財富和技術(shù)將集中在哪里？這些是否由少數(shù)國家、少數(shù)公司以及一小群人集中掌控？或者是否有方法使人們更容易獲取這些？特別是在一些它們能夠?qū)Ω嗳水a(chǎn)生更大影響的國家。
HINTON：谷歌已經(jīng)開源了發(fā)展神經(jīng)網(wǎng)絡的主要軟件，這就是大家所稱的 TensorFlow。人們還可以使用特殊的谷歌硬件在云端建立神經(jīng)網(wǎng)絡。所以，谷歌正努力促使更多的人獲取并使用這項技術(shù)。
LECUN：我認為這是非常重要的一點。深度學習社區(qū)在這一方面已經(jīng)做得很好了。具體而言，在學術(shù)界有學術(shù)會議公開發(fā)表論文和評審，在業(yè)界有谷歌和 Facebook 等公司開源其絕大多數(shù)自己編寫的軟件，并為他人提供工具以便他們在這些軟件的基礎(chǔ)上進一步構(gòu)建。所以，任何人都可以復現(xiàn)其他人的研究，有時幾天內(nèi)就可以完成。任何頂級研究組織都不可能在任何特定主題上領(lǐng)先其他人幾個月。重要的問題是這個領(lǐng)域的整體進展速度有多快。因為對于我們真正想要構(gòu)建的東西——能夠回答任何問題且在現(xiàn)實生活中為我們提供幫助的虛擬助手，我們不僅缺少相關(guān)技術(shù)，還缺少一些基本的科學原理。我們越快地促使整個研究社區(qū)致力于此，則對我們所有人來說越好。
深度學習是一類對計算資源有著高度要求的領(lǐng)域，而 GPU 的選擇和配置將從根本上決定你的深度學習體驗。
云軒i7六核 RTX2080ti雙路顯卡深度學習訓練電腦主機便是一款不錯的選擇。
