明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
咦，怎么好好得藤原千花，突然變成了“高溫紅色版”？
這大紫手，難道是滅霸在世？？
如果你以為上面得這些效果只是對(duì)物體后期上色了，那還真是被AI給騙到了。
這些奇怪得顏色，其實(shí)是對(duì)視頻對(duì)象分割得表示。
但u1s1，這效果還真是讓人一時(shí)間分辨不出。
無(wú)論是萌妹子飛舞得發(fā)絲：
還是發(fā)生形狀改變得毛巾、物體之間來(lái)回遮擋：
AI對(duì)目標(biāo)得分割都稱(chēng)得上是嚴(yán)絲合縫，仿佛是把顏色“焊”了上去。
不只是高精度分割目標(biāo)，這種方法還能處理超過(guò)10000幀得視頻。
而且分割效果始終保持在同一水平，視頻后半段依舊絲滑精細(xì)。
更意外得是，這種方法對(duì)GPU要求不高。
研究人員表示實(shí)驗(yàn)過(guò)程中，該方法消耗得GPU內(nèi)存從來(lái)沒(méi)超過(guò)1.4GB。
要知道，當(dāng)下基于注意力機(jī)制得同類(lèi)方法，甚至都不能在普通消費(fèi)級(jí)顯卡上處理超過(guò)1分鐘得視頻。
這就是伊利諾伊大學(xué)厄巴納-香檳分校學(xué)者最新提出得一種長(zhǎng)視頻目標(biāo)分割方法XMem。
目前已被ECCV 2022接收，代碼也已開(kāi)源。
如此絲滑得效果，還在Reddit上吸引不少網(wǎng)友圍觀，熱度達(dá)到800+。
網(wǎng)友都在打趣說(shuō)：
模仿人類(lèi)記憶法為什么要把你得手涂成紫色？
誰(shuí)知道滅霸是不是有計(jì)算機(jī)視覺(jué)方面得愛(ài)好呢？
目前已有得視頻對(duì)象分割方法非常多，但是它們要么處理速度比較慢，要么對(duì)GPU要求高，要么精度不夠高。
而感謝提出得方法，可以說(shuō)是兼顧了以上三方面。
不僅能對(duì)長(zhǎng)視頻快速進(jìn)行對(duì)象分割，畫(huà)面幀數(shù)可達(dá)到20FPS，同時(shí)在普通GPU上就能完成。
其特別之處在于，它受人類(lèi)記憶模式所啟發(fā)。
1968年，心理學(xué)家阿特金森和希夫林提出多重存儲(chǔ)模型（Atkinson-Shiffrin memory model）。
該模型認(rèn)為，人類(lèi)記憶可以分為3種模式：瞬時(shí)記憶、短期記憶和長(zhǎng)期記憶。
參考如上模式，研究人員將AI框架也劃分出3種內(nèi)存方式。分別是：
其中，瞬時(shí)內(nèi)存會(huì)每幀更新一次，來(lái)記錄畫(huà)面中得圖像信息。
工作內(nèi)存從瞬時(shí)內(nèi)存中收集畫(huà)面信息，更新頻率為每r幀一次。
當(dāng)工作內(nèi)存飽和時(shí)，它會(huì)被壓縮轉(zhuǎn)移到長(zhǎng)期內(nèi)存里。
而長(zhǎng)期內(nèi)存也飽和時(shí)，會(huì)隨著時(shí)間推移忘記過(guò)時(shí)得特征；一般來(lái)說(shuō)這會(huì)在處理過(guò)數(shù)千幀后才會(huì)飽和。
這樣一來(lái)，GPU內(nèi)存也就不會(huì)因?yàn)闀r(shí)間推移而不足了。
通常，對(duì)視頻目標(biāo)進(jìn)行分割會(huì)給定第壹幀得圖像和目標(biāo)對(duì)象掩碼，然后模型會(huì)跟蹤相關(guān)目標(biāo)，為后續(xù)幀生成相應(yīng)得掩碼。
具體來(lái)看，XMem處理單幀畫(huà)面得過(guò)程如下：
整個(gè)AI框架由3個(gè)端到端卷積網(wǎng)絡(luò)組成。
一個(gè)查詢(xún)編碼器（Query encoder）用來(lái)追蹤提取查詢(xún)特定圖像特征。
一個(gè)解碼器（Decoder）負(fù)責(zé)獲取內(nèi)存讀取步驟得輸出，以生成對(duì)象掩碼。
一個(gè)值編碼器（Value encoder）可以將圖像和目標(biāo)得掩碼相結(jié)合，從而來(lái)提取新得內(nèi)存特征值。
最終值編碼器提取到得特征值會(huì)添加到工作內(nèi)存中。
從實(shí)驗(yàn)結(jié)果來(lái)看，該方法在短視頻和長(zhǎng)視頻上，都實(shí)現(xiàn)了SOTA。
在處理長(zhǎng)視頻時(shí)，隨著幀數(shù)得增加，XMem得性能也沒(méi)有下降。
研究團(tuán)隊(duì)感謝作者分享之一為華人Ho Kei (Rex) Cheng。
他研究生畢業(yè)于香港科技大學(xué)，目前在伊利諾伊大學(xué)厄巴納-香檳分校讀博。
研究方向?yàn)橛?jì)算機(jī)視覺(jué)。
他先后有多篇論文被CVPR、NeurIPS、ECCV等頂會(huì)接收。
另一位感謝作者分享是 Alexander G. Schwing。
他現(xiàn)在是伊利諾伊大學(xué)厄巴納-香檳分校得助理教授，博士畢業(yè)于蘇黎世聯(lián)邦理工學(xué)院。
研究方向?yàn)闄C(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。
論文地址：
感謝分享arxiv.org/abs/2207.07115
GitHub：
感謝分享github感謝原創(chuàng)分享者/hkchengrex/XMem
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
感謝對(duì)創(chuàng)作者的支持我們，第壹時(shí)間獲知前沿科技動(dòng)態(tài)
