<p><img src="https://info.compassedu.hk/sucai/content/1668573366214/1668573366214.png" width="808" height="454" /></p> <p>去年，麻省理工學院的研究人員宣布，他們已經(jīng)建立了&ldquo;液體&rdquo;神經(jīng)網(wǎng)絡，靈感來自小型物種的大腦:一類靈活、健壯的機器學習模型，可以在工作中學習，并能適應不斷變化的條件，用于現(xiàn)實世界的安全關(guān)鍵任務，如駕駛和飛行。這些&ldquo;液體&rdquo;神經(jīng)網(wǎng)絡的靈活性意味著增強我們與世界相連的血脈，為許多涉及時間序列數(shù)據(jù)的任務提供更好的決策，如大腦和心臟監(jiān)測、天氣預報和股票定價。</p> <p>&nbsp;</p> <p>但隨著神經(jīng)元和突觸數(shù)量的增加，這些模型的計算成本變得昂貴，需要笨拙的計算機程序來解決其潛在的復雜數(shù)學問題。所有這些數(shù)學問題，就像許多物理現(xiàn)象一樣，用規(guī)模來解決變得更加困難，這意味著計算許多小步驟才能得到一個解決方案。</p> <p>&nbsp;</p> <p>現(xiàn)在，同一組科學家發(fā)現(xiàn)了一種緩解這一瓶頸的方法，即通過突觸求解兩個神經(jīng)元相互作用背后的微分方程，從而解鎖一種新型快速高效的人工智能算法。這些模式具有與液體神經(jīng)網(wǎng)絡相同的特征&mdash;&mdash;靈活、因果性、魯棒性和可解釋性&mdash;&mdash;但速度要快幾個數(shù)量級，而且可擴展。因此，這種類型的神經(jīng)網(wǎng)絡可以用于任何需要長期洞察數(shù)據(jù)的任務，因為即使經(jīng)過訓練，它們也非常緊湊和適應性強&mdash;&mdash;而許多傳統(tǒng)模型都是固定的。</p> <p>&nbsp;</p> <p>該模型被稱為&ldquo;封閉連續(xù)時間&rdquo;(CfC)神經(jīng)網(wǎng)絡，在一系列任務中優(yōu)于最先進的同類模型，在從運動傳感器識別人類活動、模擬步行機器人的物理動力學建模和基于事件的順序圖像處理方面具有更高的速度和性能。例如，在一項醫(yī)療預測任務中，新模型對8000名患者的采樣速度要快220倍。</p> <p>&nbsp;</p> <p>一篇關(guān)于這項工作的新論文今天發(fā)表在《自然機器智能》雜志上。</p> <p>&nbsp;</p> <p>麻省理工學院計算機科學和人工智能實驗室(CSAIL)主任、這篇新論文的資深作者Daniela Rus教授說:&ldquo;我們稱之為&lsquo;CfC&rsquo;的新機器學習模型，用一個封閉的近似形式取代了定義神經(jīng)元計算的微分方程，保留了液體網(wǎng)絡的美麗屬性，而不需要數(shù)值積分。&rdquo;&ldquo;CfC模型是因果的、緊湊的、可解釋的，訓練和預測是有效的。它們?yōu)榘踩P(guān)鍵應用打開了可信賴的機器學習之路。&rdquo;</p> <p>&nbsp;</p> <p><strong><span class="h1">保持流動性</span></strong></p> <p>&nbsp;</p> <p>微分方程使我們能夠計算世界的狀態(tài)或一種現(xiàn)象的演變，但不是整個時間的全部&mdash;&mdash;只是一步一步的。為了建模自然現(xiàn)象，了解過去和未來的行為，比如人類活動識別或機器人的路徑，該團隊從一袋數(shù)學技巧中找到了門票:一個&ldquo;封閉形式&rdquo;的解決方案，在一個單一的計算步驟中建模整個系統(tǒng)的整個描述。</p> <p>&nbsp;</p> <p>根據(jù)他們的模型，人們可以在未來的任何時候計算這個方程，也可以在過去的任何時候計算這個方程。不僅如此，計算速度也快得多因為你不需要一步一步地解微分方程。</p> <p>&nbsp;</p> <p>想象一下，一個端到端神經(jīng)網(wǎng)絡可以從安裝在汽車上的攝像頭接收駕駛信息。這個網(wǎng)絡經(jīng)過訓練，可以產(chǎn)生輸出，比如汽車的轉(zhuǎn)向角度。2020年，該團隊通過使用19個節(jié)點的液體神經(jīng)網(wǎng)絡解決了這一問題，因此19個神經(jīng)元加上一個小型感知模塊可以駕駛一輛汽車。微分方程描述了系統(tǒng)的每個節(jié)點。對于封閉形式的解，如果你把它替換到這個網(wǎng)絡中，它會給出精確的行為，因為它很好地近似了系統(tǒng)的實際動力學。因此，他們可以用更少的神經(jīng)元數(shù)量來解決這個問題，這意味著它將更快，計算成本更低。</p> <p>&nbsp;</p> <p>這些模型可以接收時間序列(時間中發(fā)生的事件)的輸入，可用于分類、控制汽車、移動人形機器人或預測金融和醫(yī)療事件。使用所有這些不同的模式，它還可以提高準確性、魯棒性和性能，重要的是，還可以提高計算速度&mdash;&mdash;這有時是一種權(quán)衡。</p> <p>&nbsp;</p> <p>解決這個方程對推進自然和人工智能系統(tǒng)的研究都有深遠的意義。&ldquo;當我們對神經(jīng)元和突觸的通信有了一個封閉的描述時，我們就可以建立具有數(shù)十億細胞的大腦計算模型，由于神經(jīng)科學模型的高度計算復雜性，這一能力在今天是不可能實現(xiàn)的。封閉形式的方程可以促進這種大層次的模擬，因此為我們理解智能打開了新的研究途徑，&rdquo;麻省理工學院CSAIL研究附屬機構(gòu)Ramin Hasani說，他是這篇新論文的第一作者。</p> <p>&nbsp;</p> <p><strong><span class="h1">便攜式學習</span></strong></p> <p>&nbsp;</p> <p>此外，早期的證據(jù)表明，Liquid CfC模型可以在一個環(huán)境中從視覺輸入學習任務，并將它們學到的技能轉(zhuǎn)移到一個全新的環(huán)境中，而無需額外的訓練。這就是所謂的分布外泛化，這是人工智能研究中最基本的開放挑戰(zhàn)之一。</p> <p>&nbsp;</p> <p>&ldquo;基于微分方程的神經(jīng)網(wǎng)絡系統(tǒng)很難解決，而且難以擴展到數(shù)百萬乃至數(shù)十億個參數(shù)。獲得神經(jīng)元如何相互作用的描述，而不僅僅是閾值，而是解決細胞之間的物理動力學，使我們能夠建立更大規(guī)模的神經(jīng)網(wǎng)絡，&rdquo;Hasani說。&ldquo;這個框架可以幫助解決更復雜的機器學習任務&mdash;&mdash;實現(xiàn)更好的表示學習&mdash;&mdash;并應該成為未來任何嵌入式智能系統(tǒng)的基本構(gòu)建模塊。&rdquo;</p> <p>&nbsp;</p> <p>波音公司Aurora Flight Sciences的人工智能和機器學習小組負責人Sildomar Monteiro沒有參與這篇論文，他說:&ldquo;最近的神經(jīng)網(wǎng)絡架構(gòu)，如神經(jīng)ode和液體神經(jīng)網(wǎng)絡，都有由代表無限潛在狀態(tài)的特定動力系統(tǒng)組成的隱藏層，而不是明確的層堆棧。&rdquo;&ldquo;這些隱式定義的模型顯示了最先進的性能，而所需的參數(shù)比傳統(tǒng)架構(gòu)少得多。然而，由于訓練和推理所需的高計算成本，它們的實際應用受到了限制。&rdquo;他補充說，這篇論文&ldquo;顯示了這類神經(jīng)網(wǎng)絡在計算效率方面的顯著改進&hellip;&hellip;(并且)有潛力使更廣泛的實際應用與安全關(guān)鍵的商業(yè)和國防系統(tǒng)相關(guān)。&rdquo;</p> <p>&nbsp;</p> <p>Hasani和麻省理工學院CSAIL的博士后Mathias Lechner在Rus的監(jiān)督下撰寫了這篇論文，與他們一起撰寫論文的還有麻省理工學院CSAIL的博士后Alexander Amini;Lucas Liebenwein碩士'18，博士'21;麻省理工學院電氣工程和計算機科學博士生、CSAIL會員Aaron Ray;丹麥奧爾堡大學計算機科學副教授Max Tschaikowski;以及維也納大學數(shù)學教授Gerald Teschl。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學態(tài)度觀點。</p> </blockquote>