Deep Learning est mort. Vive Differentiable Programming!

這句英法混合的話，翻譯成漢語，就是“深度學(xué)習(xí)已死，可微分編程萬歲”。說這話的，正是深度學(xué)習(xí)三巨頭之一：Yann LeCun。

納尼？

無論是上個月Ali Rahimi的“煉金術(shù)說”，還是前些天Gary Marcus對深度學(xué)習(xí)的質(zhì)疑，LeCun老師都挺身而出強(qiáng)硬回懟，今天何出此言？

嗯……LeCun在Facebook上的文章里，宣稱深度學(xué)習(xí)已死之前還有一句，說“深度學(xué)習(xí)作為一個流行詞活得太久了，已經(jīng)沒什么用了。”

只是換個說法么？“可微分編程”又是什么？

LeCun承認(rèn)，“可微分編程”只不過是對現(xiàn)代深度學(xué)習(xí)技術(shù)體系的重新命名，和當(dāng)年給神經(jīng)網(wǎng)絡(luò)里有兩個以上隱藏層的變體起名叫“深度學(xué)習(xí)”差不多。

“深度學(xué)習(xí)已死，可微編程萬歲！”LeCun老師為何又語出驚人？

他還說：

但是重點(diǎn)是，人們現(xiàn)在正通過組裝參數(shù)化功能模塊網(wǎng)絡(luò)，并用某種基于梯度的優(yōu)化方法訓(xùn)練它們，來構(gòu)建一類新軟件。

越來越多的人正在以一種依賴于數(shù)據(jù)的方式（用循環(huán)和條件）來程序化地定義網(wǎng)絡(luò)，讓它們隨著輸入數(shù)據(jù)的動態(tài)變化而變化。除了參數(shù)化、自動微分和可訓(xùn)練/可優(yōu)化的特性之外，這非常像一個普通程序。

動態(tài)網(wǎng)絡(luò)已經(jīng)變得越來越流行（尤其是對于NLP來說），這要?dú)w功于PyTorch和Chainer等深度學(xué)習(xí)框架（注意：以前的深度學(xué)習(xí)框架Lush，可以處理一種名叫Graph Transformer Networks的特殊動態(tài)網(wǎng)絡(luò)，用于文本識別）。

現(xiàn)在，人們正在積極研究命令式可微分編程語言的編譯器，對開發(fā)基于學(xué)習(xí)的AI來說，這是一種非常激動人心的途徑。

除了認(rèn)為深度學(xué)習(xí)應(yīng)該改名叫可微分編程之外，LeCun還說他決定將自己最近特別推崇的“預(yù)測性學(xué)習(xí)”，改名叫做“Imputative Learning”，我們暫時叫“歸責(zé)學(xué)習(xí)”好了。

他最后還發(fā)了個小預(yù)告，說稍后會談更多，不過量子位從早上等到中午，也還沒等到……只好一起持續(xù)關(guān)注他的Facebook啦~（來源：量子位）