<p>在機(jī)器學(xué)習(xí)模型能夠完成一項(xiàng)任務(wù)之前，例如在醫(yī)學(xué)圖像中識(shí)別癌癥，該模型必須經(jīng)過(guò)訓(xùn)練。訓(xùn)練圖像分類模型通常涉及向模型展示聚集在一個(gè)龐大數(shù)據(jù)集中的數(shù)百萬(wàn)例圖像。</p> <p>&nbsp;</p> <p>然而，使用真實(shí)的圖像數(shù)據(jù)可能會(huì)引發(fā)實(shí)際和倫理方面的擔(dān)憂:這些圖像可能會(huì)違反版權(quán)法，侵犯人們的隱私，或?qū)μ囟ǚN族或民族群體有偏見(jiàn)。為了避免這些陷阱，研究人員可以使用圖像生成程序?yàn)槟Ｐ陀?xùn)練創(chuàng)建合成數(shù)據(jù)。但這些技術(shù)是有限的，因?yàn)橥ǔＰ枰獙I(yè)知識(shí)手工設(shè)計(jì)一個(gè)圖像生成程序，可以創(chuàng)建有效的訓(xùn)練數(shù)據(jù)。</p> <p>&nbsp;</p> <p>來(lái)自麻省理工學(xué)院、MIT- ibm沃森人工智能實(shí)驗(yàn)室和其他地方的研究人員采取了不同的方法。他們沒(méi)有為特定的訓(xùn)練任務(wù)設(shè)計(jì)定制的圖像生成程序，而是從互聯(lián)網(wǎng)上收集了21,000個(gè)公開可用的程序數(shù)據(jù)集。然后，他們使用大量的基本圖像生成程序來(lái)訓(xùn)練計(jì)算機(jī)視覺(jué)模型。</p> <p>&nbsp;</p> <p>這些程序產(chǎn)生各種各樣的圖像，顯示簡(jiǎn)單的顏色和紋理。研究人員沒(méi)有策劃或修改這些程序，每個(gè)程序只包含幾行代碼。</p> <p>&nbsp;</p> <p>與其他經(jīng)過(guò)綜合訓(xùn)練的模型相比，他們用這個(gè)大型程序集訓(xùn)練的模型對(duì)圖像的分類更加準(zhǔn)確。雖然他們的模型表現(xiàn)不如那些用真實(shí)數(shù)據(jù)訓(xùn)練的模型，但研究人員表明，增加數(shù)據(jù)集中圖像程序的數(shù)量也會(huì)提高模型的性能，揭示了一條獲得更高精度的路徑。</p> <p>&nbsp;</p> <p>&ldquo;事實(shí)證明，使用大量未經(jīng)策劃的程序?qū)嶋H上比使用一小組人們需要操縱的程序要好。數(shù)據(jù)很重要，但我們已經(jīng)證明，在沒(méi)有真實(shí)數(shù)據(jù)的情況下，你可以走得很遠(yuǎn)，&rdquo;在計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)工作的電氣工程和計(jì)算機(jī)科學(xué)(EECS)研究生Manel Baradad說(shuō)，他是描述該技術(shù)的論文的主要作者。</p> <p>&nbsp;</p> <p>合著者包括中國(guó)國(guó)際工程學(xué)院EECS系研究生王通洲;MIT-IBM沃森人工智能實(shí)驗(yàn)室首席科學(xué)家兼經(jīng)理Rogerio Feris;Antonio Torralba，電氣工程和計(jì)算機(jī)科學(xué)德爾塔電子教授，CSAIL成員;資深作者菲利普&middot;伊索拉(Phillip Isola)， EECS和CSAIL的副教授;以及摩根大通銀行和Xyla, Inc.的其他人。這項(xiàng)研究將在神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。</p> <p>&nbsp;</p> <p>反思pretraining</p> <p>&nbsp;</p> <p>機(jī)器學(xué)習(xí)模型通常是預(yù)先訓(xùn)練的，這意味著它們首先在一個(gè)數(shù)據(jù)集上訓(xùn)練，以幫助它們構(gòu)建可以用于處理不同任務(wù)的參數(shù)。x射線分類模型可以先使用大量合成生成的圖像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后再使用小得多的真實(shí)x射線數(shù)據(jù)集進(jìn)行實(shí)際任務(wù)訓(xùn)練。</p> <p>這些研究人員先前表明，他們可以使用少量的圖像生成程序?yàn)槟Ｐ皖A(yù)訓(xùn)練創(chuàng)建合成數(shù)據(jù)，但這些程序需要精心設(shè)計(jì)，以便合成圖像與真實(shí)圖像的某些屬性匹配。這使得這項(xiàng)技術(shù)難以擴(kuò)大規(guī)模。</p> <p>&nbsp;</p> <p>在新的工作中，他們使用了大量的非策劃圖像生成程序的數(shù)據(jù)集。</p> <p>&nbsp;</p> <p>他們從網(wǎng)上收集了21000個(gè)圖像生成程序。所有的程序都是用一種簡(jiǎn)單的編程語(yǔ)言編寫的，只包含一些代碼片段，因此它們可以快速生成圖像。</p> <p>&nbsp;</p> <p>&ldquo;這些程序是由世界各地的開發(fā)人員設(shè)計(jì)的，以產(chǎn)生具有我們感興趣的一些屬性的圖像。它們產(chǎn)生的圖像看起來(lái)有點(diǎn)像抽象藝術(shù)，&rdquo;巴拉達(dá)德解釋道。</p> <p>&nbsp;</p> <p>這些簡(jiǎn)單的程序運(yùn)行速度非?？欤灾劣谘芯咳藛T不需要提前生成圖像來(lái)訓(xùn)練模型。研究人員發(fā)現(xiàn)，他們可以同時(shí)生成圖像和訓(xùn)練模型，從而簡(jiǎn)化了過(guò)程。</p> <p>&nbsp;</p> <p>他們使用大量的圖像生成程序數(shù)據(jù)集，對(duì)計(jì)算機(jī)視覺(jué)模型進(jìn)行有監(jiān)督和無(wú)監(jiān)督圖像分類任務(wù)的預(yù)訓(xùn)練。在監(jiān)督學(xué)習(xí)中，對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)記，而在無(wú)監(jiān)督學(xué)習(xí)中，模型學(xué)習(xí)對(duì)沒(méi)有標(biāo)記的圖像進(jìn)行分類。</p> <p>&nbsp;</p> <p>提高準(zhǔn)確性</p> <p>&nbsp;</p> <p>當(dāng)他們將預(yù)先訓(xùn)練的模型與使用合成數(shù)據(jù)預(yù)先訓(xùn)練的最先進(jìn)的計(jì)算機(jī)視覺(jué)模型進(jìn)行比較時(shí)，他們的模型更準(zhǔn)確，這意味著他們更經(jīng)常地將圖像放入正確的類別。雖然準(zhǔn)確性水平仍然低于用真實(shí)數(shù)據(jù)訓(xùn)練的模型，但他們的技術(shù)將用真實(shí)數(shù)據(jù)訓(xùn)練的模型與用合成數(shù)據(jù)訓(xùn)練的模型之間的性能差距縮小了38%。</p> <p>&nbsp;</p> <p>&ldquo;重要的是，我們發(fā)現(xiàn)，對(duì)于收集的程序數(shù)量，性能呈對(duì)數(shù)增長(zhǎng)。我們不會(huì)使性能飽和，所以如果我們收集更多的程序，模型的性能會(huì)更好。因此，我們有辦法擴(kuò)展我們的方法，&rdquo;Manel說(shuō)。</p> <p>&nbsp;</p> <p>研究人員還使用每個(gè)單獨(dú)的圖像生成程序進(jìn)行預(yù)訓(xùn)練，以努力發(fā)現(xiàn)有助于模型準(zhǔn)確性的因素。他們發(fā)現(xiàn)，當(dāng)一個(gè)程序生成更多樣化的圖像集時(shí)，該模型表現(xiàn)得更好。他們還發(fā)現(xiàn)，彩色圖像和充滿整個(gè)畫布的場(chǎng)景往往最能提高模型的性能。</p> <p>&nbsp;</p> <p>現(xiàn)在，他們已經(jīng)證明了這種預(yù)訓(xùn)練方法的成功，研究人員希望將他們的技術(shù)擴(kuò)展到其他類型的數(shù)據(jù)，如包括文本和圖像的多模態(tài)數(shù)據(jù)。他們還想繼續(xù)探索提高圖像分類性能的方法。</p> <p>&nbsp;</p> <p>&ldquo;與根據(jù)真實(shí)數(shù)據(jù)訓(xùn)練的模型相比，仍有差距要縮小。這為我們的研究指明了方向，我們希望其他人也能效仿。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>