什么是事件視覺?
事件視覺功能可以克服傳統(tǒng)機(jī)器視覺的固有限制,做到像眼睛和大腦一樣的視覺處理方式
人眼與傳統(tǒng)攝像機(jī)幾乎沒有共同之處。
自150年前傳統(tǒng)相機(jī)出現(xiàn)以來,所有傳統(tǒng)的視頻工具都是通過每秒捕捉一些靜止幀來表現(xiàn)運(yùn)動。這種圖像快速地展示,會造成一種連續(xù)運(yùn)動的錯(cuò)覺。從翻頁書到電影攝像機(jī),這種錯(cuò)覺變得更加令人信服,但其基本結(jié)構(gòu)從未改變。
對于計(jì)算機(jī)來說,這種運(yùn)動的表現(xiàn)形式用處不大。相機(jī)在每一幀之間的信息是無法被捕捉的。即使相機(jī)在記錄,它的每一張“快照”圖像也不包含場景中元素運(yùn)動的信息。而且在每張圖像中,不相關(guān)的同一背景對象被重復(fù)記錄,產(chǎn)生過多無用的數(shù)據(jù)。
參考一個(gè)高爾夫球手揮桿的視頻
過度采樣:天空,草地和樹木
未采樣:高爾夫球手、球桿和球的運(yùn)
參考一個(gè)高爾夫球手揮桿的視頻:傳統(tǒng)傳感器對整個(gè)場景應(yīng)用固定幀率,假設(shè)為每秒30幀。重要的信息是球桿的擺動和球的移動, 但傳感器會在幀之間漏掉這部分信息 ,反而反復(fù)記錄他身后 靜止的天空、樹木和草地。
應(yīng)用自然界的智慧
進(jìn)化發(fā)展出一種優(yōu)雅的解決方案,使自然視覺永遠(yuǎn)不會遇到這些問題。自然視覺不需要幀。當(dāng)眼睛里的細(xì)胞檢測到場景的變化——一個(gè)事件時(shí),它們就會向大腦報(bào)告。如果沒有變化,細(xì)胞就不會報(bào)告任何信息。物體移動得越多,眼睛和大腦對它的采樣就越多。
這一過程使人類視覺能夠收集所需的所有信息,而無需浪費(fèi)時(shí)間和精力重新處理場景中不變部分的圖像。
通過只記錄變化,眼睛和大腦可以從每秒1000次的變化中收集有用的信息,而不需要動用大量的腦力。捕食者和獵物都沒有時(shí)間浪費(fèi)在處理無關(guān)信息上。
這是一種基于事件的視覺獨(dú)立感受器,只收集所有必要的信息。
事件視覺系統(tǒng)僅感知場景的運(yùn)動,忽略不相關(guān)的內(nèi)容
參照眼睛和大腦,Prophesee創(chuàng)造了神經(jīng)形態(tài)傳感器和仿生算法。這種方法使得計(jì)算機(jī)視覺得到根本性的轉(zhuǎn)變——從基于幀的傳感器轉(zhuǎn)向事件視覺系統(tǒng),也稱為事件攝像機(jī)。
每個(gè)像素只在感覺到運(yùn)動時(shí)才被觸發(fā)。在基于幀的傳感器中,所有像素同時(shí)記錄,而在基于事件的傳感器中,每個(gè)像素完全獨(dú)立。

幀與幀之間沒有任何損失
當(dāng)每個(gè)像素只有在被觸發(fā)時(shí)才可以自由記錄時(shí),所創(chuàng)建的信息不會逐幀到達(dá)。相反,運(yùn)動被捕捉為連續(xù)的信息流。幀與幀之間沒有任何損失。?

The Prophesee sensor records a rotating robotic arm as a continuous stream of movement.
顛覆性技術(shù)
通過繞過傳統(tǒng)計(jì)算機(jī)視覺的固有限制,基于事件的視覺正在為覆汽車、人工智能和深度學(xué)習(xí)、工業(yè)自動化、物聯(lián)網(wǎng)、安全、監(jiān)控和醫(yī)療保健等諸多領(lǐng)域帶來革命。