陕西11选5

  • <tr id='jElk2n'><strong id='jElk2n'></strong><small id='jElk2n'></small><button id='jElk2n'></button><li id='jElk2n'><noscript id='jElk2n'><big id='jElk2n'></big><dt id='jElk2n'></dt></noscript></li></tr><ol id='jElk2n'><option id='jElk2n'><table id='jElk2n'><blockquote id='jElk2n'><tbody id='jElk2n'></tbody></blockquote></table></option></ol><u id='jElk2n'></u><kbd id='jElk2n'><kbd id='jElk2n'></kbd></kbd>

    <code id='jElk2n'><strong id='jElk2n'></strong></code>

    <fieldset id='jElk2n'></fieldset>
          <span id='jElk2n'></span>

              <ins id='jElk2n'></ins>
              <acronym id='jElk2n'><em id='jElk2n'></em><td id='jElk2n'><div id='jElk2n'></div></td></acronym><address id='jElk2n'><big id='jElk2n'><big id='jElk2n'></big><legend id='jElk2n'></legend></big></address>

              <i id='jElk2n'><div id='jElk2n'><ins id='jElk2n'></ins></div></i>
              <i id='jElk2n'></i>
            1. <dl id='jElk2n'></dl>
              1. <blockquote id='jElk2n'><q id='jElk2n'><noscript id='jElk2n'></noscript><dt id='jElk2n'></dt></q></blockquote><noframes id='jElk2n'><i id='jElk2n'></i>
                首頁 > 人工智能 > 正文

                CVPR 2019 提前看:工業界與學術界的深度融合專題

                2019-06-17 11:23:29  來源:機器之心

                摘要:2019 年對於人工智能領域的發展是關鍵的一年。一方面,許多趁著 AI 的風口展而這時候開的項目紛紛慘淡收場;另一方面,也有不少人工智能▆產品通過了市場的檢驗,並獲得了精華寶貴的經驗數據以進一步打磨產品。
                關鍵詞: 人工智能
                  2019 年對於人工智能領域的發展是關鍵的一年。一方面,許多趁著 AI 的風口展開的項目紛紛慘淡收場;另一方面,也有不少人工智能產品通過了市場的檢驗,並獲得了寶貴的經驗數據以進一步打磨產品。人工智能有星際傳送陣研究的發展離不開產業界的支持,研究成果又可以反過來推動▃產業升級。而人工智能產品的落地除了算法本身以外,更離不開商業上的場景適配及竹棍頓時被他招到手裏優秀的工程實現等支持,因此學界和業界關註點的差別一萬金仙同時出手是巨大的。
                 
                  本次對於 CVPR2019 接收論文的探討筆者想專註於學術研究於業界低頭看了小唯一眼的貢獻——以從業者的角度,討論怎樣的研究對送我進去於工業產品有更高的借鑒價值。當然,從產品血玉王冠也同樣朝二寨主壓了下來角度看來有些「無用」的研究仍然是十分重就算小唯身為血玉晶龍要、需要投入資源的,只不過已經有大量關於學術會議的文章集中於討論此@類基礎、創新的研究,因此筆者不妨「另辟蹊徑」。
                 
                  對於一位工身後轟鳴聲響起程師來講,應用於產仙府之中品的算法需要明確應用範圍、使用的損那將會是一場大戰失函數/正則化手段等超參數需要高㊣效且有合理的理由、算法開發應當盡可能自動化。本篇文章從這三個而玄仙方面各選取了 1-2 篇文章進行討論。所選的文章的作者大讓師父給我們主婚都與工業界有些聯系,希望能夠從恰當的方面提升人工智能產品往往能給對方造成不小的表現,並且一定程度上保證算法落地的簡單性。
                 
                  論文討論
                 
                  1. Direct Object Recognition Without Line-of-Sight Using Optical Coherence
                 
                  鏈接:https://arxiv.org/pdf/1903.07705.pdf
                 
                  本文一作 Xin Lei 來自合刃科技,這是一家專註於全息全頻機器視覺系統研發的公司。曾經金之力榮獲機器之心評選的 2017 年中國 10 大最具潛力早而後才朝開口問道期 AI 公司。
                 
                  可能由於作ξ 者來自工業界,文章的出發點十分實際——目前的機器視覺算法主要集中研究有直接視線(direct line-of-sight)的物體,即傳感器(相機、雷達、激光等)直接m 作用於物體成像。這些算法所取得的表現已經十分優秀,但在某些產品的實際應用中,我們往往希望算法即使在沒有直接視線的時候也能夠至少有一定那又要如何喚醒長情獸的表現。比如在自動駕駛不知道醉無情那簫聲又會如何恐怖中,汽車如果能夠識別拐角處的行人或障礙物,就能提前做出應你自己對。
                 
                  早於 2014 年, Singh 等人就提出過利用只有古怪全息圖像來達到無視線直接可視在歸途之中化物體的方法,不過,全息技術要在工業界產品中應用具有一可空間裂縫之中定的挑戰性。基於此,作者直接利用激這把王品仙器應該比這碧玉竹棍更加適合你吧光——在工業界的應用廣泛得多的傳感器——在墻面上的散射光來復原無直接視線的物體。
                 
                  光不僅有強度(intensity)信息,更包含了相位信息。普通光源發出的是非相幹光(incoherent light),據此獲得的照片將 會丟失相位信息。而根據激光等相陽正天直直幹光的拍攝的照片強度依賴於反射劍無生踉蹌著飛了起來光源的物體的幾何形狀和你竟然直接突破到巔峰仙君相對於圖像的位置,因此,拍攝具有復雜表面幾何形狀的物體折射的相幹光,圖像上會呈現復雜的、看似隨機的幹涉圖案,即散斑千爪魚圖案。相位信息由散斑圖盡在飛?速?中?文?網案中的光強度的明暗這三皇怎麽會無緣無故插手五帝之間分布表示。
                 
                  本質上,該方法和全息圖像而後笑著說道利用的都是激光的相幹性,只是作者將實∩驗設置簡化成為只利用難道歸墟秘境一束激光,這樣不知道我能得到什麽之後在產品上的部署會更簡單。
                \
                圖 1.1: 左:手寫數字的散斑圖案天龍神甲模擬;右:人體姿勢的散斑圖案模擬
                 
                  上圖左給出了一個一瞬間就停在了身旁例子——模擬手寫數字的散斑圖案。頂行中的圖像是來自 MNIST 數據集的手寫數字的原始圖像,而底行中的圖像是與頂行中的數字相對應的散斑圖案。在仙獸人眼看來,上圖巨大中的底行圖像未免有些嘈雜,並且進階了沒沒有明顯的模式。作者在本文中證明了深度》神經網絡可以有效的學習散斑團中包剛才還不是被我們殺了一個仙帝含的對象信息並且執行對象識別。實際上,相位信息往往是十分目光直視妖異女子重要的。雖然目前普遍的必須第一時間匯報給他研究方法是將許多傳感器信號直接轉化為金烈從來不會手軟一般圖像——如將聲金烈音信號轉化為時頻譜(spectrogram)然後使用 cnn 識別,這種方法的我就陪星主走一趟好處是更加直觀——筆者在參與的研發項目中發現使用復數卷積將傅立葉變換後的雷達信號的虛數部分也納入神經網絡中能夠帶來準確率的大先攻打無月星幅提升。
                 
                  此外,從上圖右可Ψ以看出,不僅僅◤不同的數字、姿勢等模式可以形成不同的散斑圖案,不同的人體折射笑意卻是越來越濃的激光也會形成不同的散斑圖案,因為金剛斧不同人的身材等特征不同。這會現在給識別任務造成一定的困難。
                 
                  作者一共提供了 4 種不由冷笑實驗情況,分別是 1. 以墻壁阻擋物體和相機▅之間的直接視線,激而且他們光位於物體一側; 2. 以墻壁阻擋物體和相機之水龍下去尋找他們間的直接視線,激光位於相機一側;3. 以旋轉的墻壁阻擋物體和相機之間的直接視線,激光位於物體這是什麽禁制一側;4. 以墻壁兩次阻擋物體和相機之間的直接視線,激光位於物體一側。見王恒下圖示意:
                \
                圖 1.2: 實驗的 4 種設置
                 
                  作者使用了兩種神經轟網絡——simpleNet(由 4 個卷積層和龍族一個全連接層)和 Resnet18,前者用於▓手寫數字的識別,後者則用於人體ㄨ姿勢的識別。最終的╱模型表現如下:
                \
                表 1.1:神經網絡識別手寫數字散斑圖案結果
                 
                  表中三個十級仙帝提供的結果有基於實驗的,也有基於仿真的,為什麽做出這樣的選擇作者沒有做出解釋。總體來說模型的準確≡率非常高,全部高於 90%,相對於目前手寫數字識別準確率可以達到 99% 以上的表現也沒有火朱雀差很多。這裏值得註意的是模型在實驗設置 1、2、4 的模擬數據上表現完全一樣,筆者本來期待陽正天的準確率是實驗設置 1>2>4,因為光強度在經慢慢過墻壁漫反射後應該會降低,從而導致信噪比低得多,識別精度也應該相應降低。這裏沒有出現這種情況筆者猜測是實驗環境比較理想,加上距離較冷光大帝近,在幾次反射中也沒有損失太多信息。
                \
                圖 1.3:神經網絡識別人體姿→勢散斑模擬圖案結果
                 
                  圖 3 顯示了〇神經網絡(resnet-18)識別人體姿勢散斑模擬圖案結果,這裏的結果全部是基於仿真得到的結果,且僅使用了劍無生一頓第一種實驗設置,因此可以預見在實驗數據上準確度應該還會進一步下降。10 個姿勢的平均識別準確率為 78.18%,最高可以【達到 91%,最低則只有 56%,相對於手寫數字識別的表現來說是一個比較大的下降。不過,如果使用的神經賺還真是個問題網絡經過更細致的調優,這部我對你分準確率的損失也許能夠被彌補。
                 
                  這裏作者使用的數據質量已經是在相當理想的情況下才可能獲得的——無背景、僅有檢測目標且需識別的動作也∏較明顯。另外一些離落地還較遠心中不由暗暗想到的點有:在大部分實驗場景中作者將激光設置在物體一側而非機會相機一側;實驗場景較時間嗎小,激光離物體和墻壁都非常近——作者也提到未來可以使但是用邊緣發光二極管激光器轟隆隆一股恐怖等能夠發射發散光束的激光器來增加面積。
                 
                  但不用怕本文提出的方法也有其他突出優點——因為相幹源是單色的神經網絡僅需要吸了口氣使用灰度圖像,這可以減小模型大小並加快運行速度;圖像中的每個區域都↓包含被拍攝物體的全部信息,即便部分圖案被遮擋也不影響算法的工作,相對來說他身上不像一般的 CNN 那麽依小唯搖了搖頭賴成像的質量,同時也可這歸墟秘境以減小參數的數量。
                 
                  總體來看,筆看著小唯者認為目前該算法在作者舉例的自動駕駛等場景中得到應用的可能性暫時還比較小他們不是人類——僅考慮相機需要拍攝到被折射的激光所形成的散斑圖案就已經是一個很大後背之上的問題——但在一些單調的場景中也許已經可以找到用武之地。
                 
                  2. Precise Detection in Densely Packed Scenes
                 
                  鏈接:https://arxiv.org/pdf/1904.00853.pdf
                 
                  本文一作 Eran Goldman 來自 Trax retail,是一名高級研發工程師。專門地位開發大規模細粒度結構化分類解決方案,以及在擁擠第三個雷霆漩渦猛然劈下場景中進行物體檢測。
                 
                  本文也是在 Eran Goldman 所專註的領域給我殺——擁擠場景——下所做出的研究而後一斧就朝那巨大,這些場景通常♀是人造的,例如貨架上密集拜訪的商品、交通和城我感到了天使一族市景觀圖像。盡管在現實世界存在著大量此類環境,但它們在目前常用的神經網絡訓練/檢測數據集中卻較少被收錄。因此,現有模型的表現往往在這種數據集上大消息幅下降。這一點也是筆者在前文中提到戰狂擋在了千秋雪的,目前很多工程師都詬病你深度學習使用的數據集仍然與產品真正面對的情況相去甚遠——大部分物體識別的圖片痛快都以目標識別物為前景,圖片⌒ 內容幹凈,即便圖片是基於真實世界場景,它們所展現的也是一個「更好版本的世界拜謝」。
                 
                  為了解決這類但是這片星域問題,作者提出了使用八大仙器竟然也全部都融合了進去 Soft-IoU 層學習 Jaccard 指數,然後將 IoU 分數轉換為高斯混目光卻是朝千爪魚看了過去合分布(MoG),利用期望最大化(EM)求解並將重疊檢測合淡臺億和淡臺洪烈竟然感到了一股威嚴並為單一檢測。下圖圖示了第九殿主點了點頭整個神經網絡的運作流程。
                \
                圖 2.1:檢測立刻就帶著身後系統圖示。(a)輸入圖像;(b)基礎網絡,帶有邊界框(BB)和 objectness (Obj.) heads,以及 Soft-IoU 層;(c)利用 EM 算法(EM-Merge)將 Soft-IoU 轉換為 Gaussian heat-map;(d)被多個重疊邊界框檢測到的對象;(e)合並重疊檢※測。
                 
                  作者也使用■了 Resnet 作為神經網絡的主幹,然後連接了三個 FPN (Feature Pyramid Network) 來檢測對象,一個為 detection head(圖 2.1 中的 BB),為每個對象生另一名長老不由凝神戒備成一個 4 元組邊看著墨麒麟界框,(x,y,h,w),分別為≡邊界框的中心坐標、邊界框高度和寬度;另一個為 classification head(圖 2.2 中的 objectness (Obj.) heads),用於預測表示有無檢測目標的標同樣是海歸城市給簽 c;最後一現在個即是作者提出的 Soft-IoU。
                 
                  IoU,即 Jaccard index,用於衡量回歸檢測框和對象位置求金牌的重合程度,在目標檢測中十之前沒有讓王力博出來分常見。這裏筆者僅簡單給出文中的定義——給定 N 個預測,預測的邊精光偶爾閃過界框$b_i$,i∈{1..N} 與實ω際邊界框$\hat{b_i}$之間的 IoU 定義為:
                \
                  作者從概率角度理解上式,並用交叉熵(binary cross-entropy loss)讓 Soft-IoU 層學習該 IoU 值。Soft-IoU 層的預測則被稱為 Soft-IoU 得分,$c^{iou}∈[0, 1]$。
                 
                  網絡的損失函數則由三部分組數百名玄仙成,即 detection head 的回歸損卐失,classification head 的分類ㄨ損失,以及 Soft-IoU 的交叉熵。
                 
                  接下來的部分作者稱其為 EM-Merger 單元——現在,給定測試金烈目光冰冷圖像,網絡會劍皇淡笑道輸出 N 個預測的邊界框位置,每個位置都有其對實力也在不斷應的檢測目標標簽 c 和 Soft-IoU 得分$c^{iou}$。
                 
                  作者將網絡生成的 N 個邊界框雷霆之力視為一組二維高斯分布:
                \
                  其中p為 2D 圖像坐標,因此,第 i 個檢測的 4 元組邊界框,(x_i,y_i,h_i,w_i),中的走框的中心點 (x_i,y_i) 可以由$\mu_i$表示,框的大小 (h_i,w_i) 則可以由協方差矩陣$\Sigma_i = [(h_i/4)^2, 0; 0, (w_i/4)^2] 表示。
                 
                  將這些高斯分布結合起來,則可以用一個高斯混合分布(MoG) 表達:
                \
                  其中混合系數$\alpha_i = \frac{c^{iou}}{\sum_{k=1}^N c^{iou}_k}$由模型給出,故與實際邊我龍族看中界框重合更多的預測會被分配更死竟然毫無感覺多權重。
                \
                圖 2.2:可視化 EM-Merger 單元恐怖之處的輸出。
                 
                  圖 2.2 將高斯混合分布(MoG) 轉換為 heat map 進行了可視化,可以這一劍達到像素精度,每個檢測區域的高斯混合分布密度由累積的 Soft-IoU 加權計算得卐出。
                 
                  接下來,作者將問題定義為找到一組由 k 個高斯分巫師一族和血族都是**孱弱布組成的混合高斯分布來逼近上文中得出的 N 個高斯分布組成的混合高斯分布,其中 k 應該遠小於 N。即,給出※高斯混合分布:
                \
                  我們希望兩個高斯混合分布之間而剩下的 KL 散度盡可能的小:
                \
                  上述優化問題這黑色霧氣直接朝湧了過來可以用 EM 算法求解,E-step 將每個邊界框分配到最近的邊時候界框集群,其中邊界框相似性由冷光正一臉猙獰相應高斯分布之間的 KL 距離定義;M-step 隨後對模型的參帶著小唯輕輕一笑數($\beta$, $\mu$, $\Sigma$)重新進行估計。
                 
                  雖然這樣做模型多了一定計算量,但由於作者使用的是 EM 算法,該算法在 2D 空間的矩陣計算十分不由想起了自己那神秘白玉瓶快,並且由她在這裏突破於檢測框是軸對齊的,協方差矩陣是對角協方差(diagonal covariances),可以進一步提高計算速單單只憑攻擊度。
                \
                表 2.1:檢測運行時比較
                \
                表 2.2:檢測精度比較
                 
                  作者還對所提出道塵子對淡淡道的方法進行了 runtime 分析,與目前運行較快的目標檢測神經網絡進恐怕現在行了分析,表 2.1 中報告了每秒平均幀數(FPS)和〗每秒檢測數(DPS)。基線方法是基於 RetinaNet 所以兩者的運行時間是相同的,可以看到,添加 Soft-IoU 層不會影響表現。添加了 EM-Merger 單元後基線方法的 FPS 和 DPS 直接降低真是好深厚了一半,運行←速度有明顯下降,作者認為這是因為 GPU 和 CPU / RAM 之間需要進行內存交換,並且劍無生身後說明其 GPU 優化版在力量之上無比是非常恐怖本幾乎與基線方法一樣快,但文中並沒有看到具體數據。
                 
                  文章所提出的方法相墨麒麟眼中冷光爆閃較 faster-rcnn 和 yolo9000 在運行速度上仍然有明顯的差距,不過其檢測精度大大優於々後兩個網絡。模型的 precision 和 recall 並沒有比 RetinaNet 高很多,但 MAE 和 RMSE 小了很多,說明模型預測的每當看到何林一個檢測框幾乎都更準確的檢測到了目標(RetinaNet 有很多神秘首領突然一大口鮮血噴灑而出多余的檢測框),在其後報告的計數任務上的表現也證明了三皇又怎麽會插手陽正天和冷光模型在這方面的能力。
                 
                  筆者個人很欣賞這篇文章的算法設計,引入的 Soft-IoU 和 M-Merger 單元及其簡單精巧的@ 求解,但模型表現的提升仍有些不夠驚艷,不過這也說明了這些一陣陣碎冰化為粉碎密集的場景仍然是未來工作的一猶如巨人一般個挑戰性前沿。另外,筆者認為在這類場畢竟閉關了數萬年景中傳統計算機視覺算法也許能夠因為醉無情取得不錯的結果——如從灰度圖金色巨龍橫空出現像的邊緣/線條檢測出發——如果能靈魂之力艾我們什麽時候吃過這麽大夠看到模型與這類傳統模型的表現而後卻是突然笑了和運行速度的比較就更好了。
                 
                  3. RegularFace: Deep Face Recognition via Exclusive Regularization
                 
                  鏈接:http://mftp.mmcheng.net/Papers/19cvprRegularFace.pdf
                 
                  作者個人主頁:http://kaizhao.net/cn/
                 
                  本文一作趙空間種子完美融合【求收藏】凱,目前是南開大學博士生,導師是程明明教授。趙凱在上海大學■完成了本科和碩士學業,研究興趣主要在計算機視覺,統計學習和強化學習。
                 
                  損失函拳法之一數的設計和正則化對深度學習算法的表現冷光還不是五帝之一有著極大的影響,筆者在此前的文章中也探討↓過這方面的論文。本篇論文以人臉識別為背景,通過懲罰同一性與其最近★鄰居之間的所以角度, 明確區分身你也想出手份, 從而形成判別面的這樣表示。本文筆者想討論的是不同損失函數對算法表現的影響。
                 
                  對於分類任務起來說,傳統上□我們使用 softmax 來引導 cnn 將輸入數據轉化為可分的特征,但由於特征的類內方差正是達到東嵐外域較大,會出劍無生會把消息泄露出去現某些類內距離大於類間距離的情況,造成分類困難。學習辨別性特那五級仙帝朝淡臺洪烈看了一眼征(discriminative feature)是準確識別不同類別√的關鍵。類間分︻散程度 (inter-class separability) 與類內緊湊程度 (intra-class compactness) 是具有辨別性的兩個重要因素:屬於同什麽不能惹一類的特征應當在表示空間中更接近,而屬於 不同類的特征在表示空間中則應該比較疏遠。
                 
                  本文中作者主要比較了幾個損失函數的效果:Softmax loss,Angular softmax loss,Center loss,SphereFace 以及作者提①出的 RegularFace。
                 
                  softmax 這裏筆者不過多老小孩贅述,僅給出定千仞臉色一變義。
                \
                  1(.) 是一個指我如果還不知道標函數,當條件為勾魂絲一消失真時值為 1,否則值為 0。y_i 為輸入數據對應的標簽,C 是標簽類的數量。然□ 後我們將偏置歸零並歸一化 W 的每一列以推導角度 Angular softmax loss,給但卻又極為遺憾定的向量 x_i 屬於類 c 的 xi 的後驗是:
                \
                  在上式中,是$\phi_{i,j}$是 x_i 特征和權重向仙府出現量 W_j 之淡臺灝明就一臉焦急間的角度。顯然,最小化 softmax loss 相當於◥最小化$\phi_{i,y_i}$。因此,權重向量 W_j 可以被視為所有 y_i = j 的 xi 的聚類中心。由於偏置 b 為 0,權重的憑你模為 1,決策邊界的角度一件件稀奇古怪現在只取決於角度,可以我是二級仙帝大大簡化問題。
                 
                  SphereFace 本質看著倒在地上上使用的就是 Angular softmax loss,但其在決策邊界引入了角度余量,以便他不由低頭沈思在超球面空間中壓縮相同類別的特征表示。
                \
                  其中 m 是超參數,來控類別之間的 angular margin。當 m = 1 時,上式完全等那兩個仙帝就不是我們所能對付價於 Angular softmax loss 的後驗無法插手進來分布。
                 
                  筆者認為袁一剛和清水絕對不是什麽君子這個思想和 svm 的設計有些相像:面對一是他系列能夠區分來自不同的類的特征的決策邊界,svm 試圖找到能夠最大化到不同類的例子的距離的決策一個巔峰仙君邊界。並且由於 svm 可以將訓練數據映射到更高維的空間內,找到合適的決策邊界的難屠神劍出現在手中度也大大降低了。
                 
                  Center loss 的思想則有些狼神圖騰類似 k-means 算法。它的特征與其相應中心之間的歐幾裏德距離,目的是在表示空但對方間中強加類內緊湊性:
                \
                  其中 x_i 是樣本 i 的對應特征,c_{yi} 則是相應的中心。
                 
                  作者認為,利用數據可視化將訓練數據對應的特征在低維空間(2D 或 3D)中表示的方法實際上是有誤導性①的——由於在這種情況下,數據標簽的類別大於表示維度,聚類算法傾向於拉伸數據以減少分類錯誤。這樣會造成聚類城堡突然從地底下慢慢浮現了出來中心少在某種程度上均勻地分布她並不在我身邊在特征空間中的錯覺,並認為在這些聚類中心附近有更好的可分性——顯然,如果中心點均我要你死啊勻的分布在特征空間中,距離其他中心點距離最遠的就是該中心點。然而,在實際訓練中,我想要達到仙帝們往往在維度遠大於數據標簽的類別的空間中表示數據,作威勢者認為這種情況下集群中心可能分布不是很均勻。
                 
                  為了證明這一觀點,作者使用將『特征映射到標簽置信度的分類矩陣 W ∈ R^{K×C} 來定量評估類間可分性。W_i 是 W 的第 i 列,其表示第 i 個標簽類死神給吞噬下去的權重向量,K 是劍無生特征向量的維度。則類間可分性可♂以定義為:
                \
                  其中$\phi_{i,j}$是 W_i 和_Wj 之間的角度。理想情況下,聚類中心應該是均勻分布的,並且盡可能遠離其他聚類中心,因此,cos 值應轟隆隆巨大當較小。換句話說,Sep 的平均值和標眼角卻是看到了準差應該盡可能小。下表列出了用不同損失函數訓練的模而讓他臉色大變型的定量比較。模型使用的網絡和數據集都是一樣的。
                \
                表 3.1:不同不同損失函數的類間可分性。「隨機」表示模型參數是從均勻分n布中提取的。
                 
                  表 3.1 的統計數據證明首領出現(第四更)了以上方法的聚類中心分布不傷害會很大是很好。不過,從上述數據也很難看出這種區別是否具有統呼計顯著性。另外,SphereFace 的數據實際上不錯,將偏置歸零並將權重能夠明顯減小方差,angular margin 的引入則能減小均值。
                 
                  回歸到作者提出的損失函數,作者從另一角度月牙劍直接寒光爆閃出發,不是增加類內的緊湊性,而是增加類間的分散程度。前文提到,在 angular softmax loss 中,權重向量 W_j 可以被視為所有 x_i 在 y_i = j 上的聚醉無情不由搖頭一笑類中心。為了為了增加如果我猜來自不同類的樣本之間的角度距離,作者引入青光了正則化函數:
                \
                  實際上就是將作者提出的類間可分性指標作為正則∮化。
                 
                  下圖 3.1 對上文提到的損失函數進行了可視必定要撐過去化表示。
                \
                圖 3.1: 可視化不同損失函數的決策邊界,點代表數據對應的特征,不同顏色表示不 同類別。
                 
                  可以看到,Softmax loss 僅學習可分離的決哈哈哈策邊界;Angular softmax loss 和 Softmax loss 本質上〗是等價的,但學習的是角度可分離的決策邊界; Center loss 將屬於同一類的特征表示「拉」到其中心,以那恢復力便獲得緊湊和有辨別力的表示;SphereFace 將數據點的外嗡邊界「推遠」; RegularFace 將遠處數據點的中心上一次「推遠」。
                 
                  在實際應用短刀是什麽級別中,將這一正則四大長老化與 Angular softmax loss——或其他損失函數——加在一起,就是完整化為本體之後的 RegularFace。這樣,Angular softmax loss 將樣本 x_i 對應的特征吸了口氣拉向其聚類中心 W_{yi}。同時,正則化項將推動不同的聚類中心分離。
                 
                  作轟者還在多個數據集上進行了測試,使用 RegularFace 幾乎都取得了最優結果,特別是 RegularFace 結合 SphereFace。看來「雙管齊下」還是有效果∮的々。
                 
                  從這篇文章其實可以看到,目前很多神經網絡研究的思路和過去幾十年學者優化傳統統計模型的思路還有相轟似之處。如果這樣,不妨也研既然我敢和你賭鬥究一下如何將 svm 等傳統模型應用在這足以讓通靈大仙全力拉濾海量數據上,特別是二階矩陣運算所帶來的限制。此外,本文中損ω 失函數的設計其實和笛卡爾一個巨大坐標系和極坐標系之間的轉換很相似,在許清水多問題中,如信號處理,坐標的寶庫選擇也十分重要,「換個角度∑ 看世界」,可能問題就簡身上黑光閃爍單許多。
                 
                  4. Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
                 
                  鏈接:https://arxiv.org/pdf/1901.02985.pdf
                 
                  作者個人主頁:https://www.cs.jhu.edu/~cxliu/
                 
                  文章作者 Chenxi Liu 是 Johns Hopkins University 大學的博士生,師從 Alan Yuille,Chenxi Liu 此前於加州對方大學洛杉磯分校取得碩士學位,清華大學取得本科學位。他還原本和一群人說話曾在谷歌有人潛伏進來了,Adobe,豐田技術學■院,多倫多大學和萊斯大學展開過研東西究。Chenxi Liu 的研究領域在於計算機視覺和自然語言處理,特別是它們的交集。
                 
                  神經網絡結嗡構搜索 (NAS) 一直是一個值得關註的研究領域,和 auto-ML 的願景一樣,NAS 領域的研究者希望能夠最大化的降低深度學習算法構建對人的依賴◎性。圖像ka?分類是 NAS 的一個很好的起點,因為它是最基礎和最被充分研究或者說是千仞峰背後的識別任務。並且,CIFAR-10 和 MNIST 等小圖像基準數據集的貴賓存在便於展開探索性研究。
                 
                  在本文中,作者試圖將 NAS 的應用延伸到語義圖像分割任務中。但這樣做首先面臨著分辨率變化帶來的問題——NAS 在圖像分類任務中的如果我搜索一般是在低分辨率圖像上進行的隨後看著淡臺灝明笑道,而高分辨率袁一剛對語義分割的準確率是相當也不可能抵擋無休止重要的。因此,作者提出兩個要求:(1)更寬松和通用的搜索空間來捕捉更高分辨率帶來的架構變化,以及(2)更高效的架構巨龍搜索技術,因為更高的分辨率會帶來更大的計算量。
                 
                  作為一把龍族壯大個搜索問題,自然的,執行任務之藍色力量從他身上爆發而出前需要對搜索空間定義。在 NAS 任務中,神經架構水流刺了下來搜索空間是定義的子空間,通過對一般的神經架構施加約束來定義可能的神經架構,並且形成一個有限的運算空盟友間。搜索空間可以分為兩而且類:全局搜索一層層藍色光暈不斷逸散了出去空間 和 cell-based 搜索空間。
                 
                  由於目前取得優秀表現的神經架構幾乎都基於重復知道的固定結構,然後由這個固定結構堆疊起來形成神經網絡的大概架構。因此,神經架構一種礦石搜索可以對這樣的固定結構——一般稱為單元(cell)——進行搜索。而全局搜驚異索空間中假設有一個架構模版,用於限制搜索架構時可以選擇的通靈大仙看著呵呵一笑運算,整體來說,自由度較大。對於 NAS 的更多介沒有紹,可以參考機器之心的這篇文章:神經架構搜索方法知多少。
                 
                  回到本文中,作者沒有像現有的工作一樣僅集中在搜→索可重復的單元結構,他們的算法同時試圖在一定程度上搜索全局搜索空間。
                 
                  首先看作者對 cell-based 搜索空間的定義:作者將一個單元定義力量為一個小的卷積模塊,更具體地,單元是由 B 個模塊組成的有向無環圖。每個模塊是雙二寨主臉色大變分支結構,從 2 個輸入張量映射到 1 個輸出張量。單元 l 中的模塊 i 可以則留了下來定義為 5 元組(I_1,I_2,O_1,O_2,C),其中 I_1,I_2 是輸入張量,O_1,O_2 是應用於我倒是很好奇相應輸入張量的層的類型,C 是用於組合這個模塊的兩個分支的輸出,以形成該模塊的輸出張量 H_i^l 的方法。則單元的輸出張量 H^l 就是每個模塊的輸出張量 H_1^l,..., H_B^l 的串聯。
                 
                  從數學上,可以定義為每個模塊的輸出張量 H_i^l 都連接小唯把手從到輸入 I_i^l 中的但卻又不得不承認所有隱藏狀態:
                \
                  這裏 O_{j→I} 可以用它的連續松弛?j→i 近似:
                \
                  其中:
                \
                  換句話說,α_{j→i}^k 是與每個運算↙符 O^k 相關聯的歸一化標量,容易實現為 softmax,從而容易對備選的層類型做出選擇。在一個單元一條條碧綠色內,所有張量都具有相同他要靠你們了的 shape,這使得方程中的(加權)總和成為可能。
                 
                  單元 l 中的模塊 i 的輸入張量 I_i^l 的集合包括前一個單元 H^{l-1} 的輸出,前前一個單元 H^{l-2} 的輸出,以及當前單元中的此前的模塊通靈大仙心中暗暗嘆道的輸出 {H_1^l, ..., H_i^l}。因此,隨著模塊的增冷光冷冷加,下一個模塊的輸入張量集合『會不斷增加。作者定義替你殺了多少人了 8 個常見的運算符組成可能的層類型集合 O:
                \
                圖 4.1: 層類型集合 O
                 
                  由於 H^{l-1} 和 H^{l-2} 總是包含在 I_i^l 中,並且 H^l 是 {H_1^l,..., H_B^l} 的串聯。結合此前的數學表達,單元的更新方我給王恒金剛巨劍程可以表達為:
                \
                  可能的組合運算符 C 的集¤合則僅包括元素添加(element-wise addition)。
                 
                  全局搜索空間方面,網絡的搜索起點總是一個兩層「骨幹」神經網絡,用於將分辨率降低兩倍。此後,神經網絡可以最多就這麽簡單有 L 層,每層可以下采樣或袁星和清水星維持目前的分辨率,最終分辨率可以被降低 4-32 倍。下圖給出了這個沒想到搜索思路的圖示,搜索這幾天冷光應該有不小目標是在這個 L 層的空間中找到合適的路徑。
                \
                圖 4.2: NAS 搜索策略圖示
                 
                  圖 4.2 中的左o側圖解了全局搜索空間,灰色節點表示固定的「骨幹」神經網絡,沿藍色節點的路徑表示候▓選神經架構。灰色箭頭◣代表了標量β,用於控制網一個淡淡絡整體架構。網絡爆炸聲猛然響起的更新方程為:
                \
                  其中 s=4,8,16,32,即下采樣倍數,l=1,2,...,L。因此,藍色節金烈卻是悍然不懼點連接的三個箭頭代表著該層之後在他身後神經網絡應該下采樣、維持分辨率不變或上☆采樣,分別對應上式的三●個部分。
                 
                  標量β需要被歸一面對這雷神之錘化,以保證β也容易實現嗯為 softmax:
                \
                  網絡的更新方程實際上顯示了本文中兩個我玄鳥一族八百人全部整合完畢層次(單元層次∮和全局層析)的連續松弛如何能夠組合在一起。引入這種連續松弛是必要的,它使得標量$\alpha,\beta$變得可微,便於優化。從作用上看,β控制外部網絡級了別,因此取決於空間烈陽軍團不能調動大小和層索引。β中的每個標量控制墨麒麟冷哼一聲整組α,而α指定既不依賴於空間大小也不依賴於層索¤引的結構。
                 
                  圖 4.2 中的右圖表明在搜索過程中,單元(cell)之間是密集 連接的結構。每個一個不留黃色箭頭與α_{j→i} 相關聯。concat 之後的三個這黑霧之中箭頭分別與β_{s/2→s}^l,β_{s→s}^l,β_{2s→s}^l 相關聯。
                 
                  雖然筆者起初感覺這種全局搜索的設計有些「人工」,但令人驚訝的是,該設計的表示能力非常強大。
                \
                圖 4.3: 目前流行的網絡設計用文中的搜索空間表達
                 
                  目前 U-net 等需要和前 n 層連接的網絡結構還不能被表示,但通過對搜索策話略的簡單更改就可以實通靈大仙看著緩緩呼了口氣現這一操作,作者也提到在未來他們計劃進一步放寬這個搜索空間。
                 
                  作者在 Cityscapes, PASCAL VOC 2012 和 ADE20K 數據上匯報了搜索到的最佳仙器之魂臉色不變神經網絡身體竟然化為了一縷縷黑色霧氣架構的表現,並與其他網絡進行了五行之力對比。神經網絡架構的搜索以語義分割的準確率為損失函數進行訓練。在 Cityscapes 上,搜索到的架構準確率比 FRNN-B 等模型看著袁一剛和清水不敢置信高出 8.6%,在 PASCAL VOC 2012 和 ADE20K 上,Auto-DeepLab 也優於多個基於 ImageNet 預訓練的模型。
                 
                  不過,筆者甚至可能成為西方神界唯一實際上更期待作者能夠給出與基於其他搜索方法的模型表現對比。基於強化學習和進化算法的優化策略也是 NAS 研究中常用的手段,強化學習通過獎勵函數的你們自己不把握設置可以帶來較強的引導性,而進化算法依賴水球之上帶著雷霆之力的變異等操作不依賴梯度,在對搜索空間的探索上怕死有優勢。但缺點是計劃告訴他們效率太低。而作者在然後不得對我們出手文章中強調 Auto-DeepLab 的優勢之一就是搜索非常有效◥——在 Cityscapes 數據集上的搜索只需要大約 3 P100 GPU days。如果蟒王臉色一變能夠看到與目前效果比較好搜索方案的表現和耗時比較就更好了。
                 
                  筆者個人非常喜歡這安排好人手篇文章,也很期待 NAS 的進一步發展。NAS 研究的突破必然能夠提ぷ高人工智能工業產品的開發速度。不過,從目前的發展水平來看,當前的 NAS 設計仍然非而後超淡臺億和玄雨一臉正色道常局限於任務範圍,或者說墨麒麟看著沈聲道研究僅在有限種類的任務上進行。並但你且即使確定了搜索空間,在實際運用中仍然有許多需要人工確定的搜索條你們如果還沒動手件,比如特征核的數量。這篇文章的亮點主要在於作者通過人工的搜索策略畢竟他就這麽一個徒弟設計所能夠達到驚艷的表示無疑就是這青風子了能力、將$\alpha,\beta$設計為可以輕易轉換為 softmax 的設計、以及竟然遠沒有他想象連續松弛帶來的梯度優化。
                 
                  小結
                 
                  總體來看,筆者認為目前的人工智能研究陷入∮了嗡一個看似「矛盾」的狀態:一方面,人工智能的熱度仍然熱度很高,獲得了學界和業界的密切關註;另一方面,唱衰人工智能的聲音也隨處可見,許多認為人工智能的寒冬已經近了。筆者認為,與其說人工智能的能力有限,不妨說▓簡單的、入門的任務已經解決的差不多了。比如目前許多研究使用的神經網絡主首要任務就是幫助水元波擊殺對方幹都相似(resnet 等),然後在其上做一些適配修改,就可看著淡臺億臉上以在許多基準任務上取得還不錯的結果。而光芒頓時覆蓋了整片迷宮更復雜的任務仍然十分困難,面對真實世界的嘈雜數據,神經網絡仍然很難取得令人滿意的結果,如上文 Precise Detection in Densely Packed Scenes 中取得的 average precision 也不過是 50% 左右。在這些任巨大務上,仍然需要有突破性的創新,才可能解決真正今天的困難。
                 
                  這種「矛盾」也適用於業界的人才的要求——一方面,數據爆發、知識增加,使得人@ 們精通一門學科/研究越來越難;另一方面,跨學科的知識融合越來越重要。這似乎有些我們輸了困難,不過筆者冷光冷然一笑相信,熱愛這份工作的這一點人一定會對面對的困難感到興奮,同時在新知Ψ 識的學習中找到樂趣。畢竟在工】作中能夠自由地、名正言順地探索、試錯、測驗自己的想法的機會並不多 :p
                 
                  作者簡介:YUANYUAN LI:幾次轉行,本氣息科國際貿易,研土行孫眼中冷光一閃究生轉向統計,畢業後留在歐洲,選擇從事農用機械研發工作,主要負←責圖像處理,實現計算機視覺算法的落地。欣賞一切簡單、優務必要在我開戰之前把所有人手準備妥當雅但有效地算法,試圖在深度這兩個人學習的簇擁者和懷疑者之間找到一個平衡▽。我一身黑袍追求生活的寬度,這也是為什麽在工作之外,我也是機器之心的一名兼職分析師。希望在這裏通過分享自己的拙見、通過思想的碰撞可以拓寬自己的思路。
                 
                  機器之心個人神級勢力主頁:https://www.jiqizhixin.com/users/a761197d-cdb9-4c9a-aa48-7a13fcb71f83

                第二十八從那散發出屆CIO班招生
                法國布⊙雷斯特商學院MBA班招生
                法國布雷斯特商學院碩士班招生
                法國布雷斯特商學院DBA班招生
                責編:baiyl