寶哥和您聊聊圖像數(shù)據(jù)視頻融合拼接處理器的深度學(xué)習(xí)技術(shù)的那些事，現(xiàn)丑了 -[東健宇]

   大家都知道圖像數(shù)據(jù)視頻融合拼接處理器的核心就是咱們常說的深度學(xué)習(xí)技術(shù)和FPGA。今天寶哥就和您聊一聊現(xiàn)下應(yīng)用的這款主機是怎么應(yīng)用到深度學(xué)習(xí)和FPGA技術(shù)搭建的。

深度學(xué)習(xí)的應(yīng)用主要來自三個方面:巨大的標記數(shù)據(jù)樣本(圖像和語音)、先進的算法/模型/軟件(神經(jīng)網(wǎng)絡(luò)算法CNN和RNN以及深度學(xué)習(xí)框架)和高性能計算(數(shù)據(jù)樣本多/模型訓(xùn)練時間長/參數(shù)更新快速同步)，那么今天聊的這款圖像數(shù)據(jù)視頻融合拼接處理器正好也是在設(shè)計上應(yīng)用到了這三個方面，從硬件到軟件的搭建可謂一個不少。

算法方面,目前CNN的深度學(xué)習(xí)框架主要包括:加州大學(xué)伯克利分校維護的Cafe、谷歌維護的Tensorflow、微軟研究院維護的CNTK、分布式機器學(xué)習(xí)社區(qū)維護的 MXNETL以及百度維護的 Paddlepaddle等。CNN分為模型訓(xùn)練和應(yīng)用推理兩個環(huán)節(jié):模型訓(xùn)練是獲取推理模型,應(yīng)用推理是根據(jù)訓(xùn)練模型和輸入數(shù)據(jù)獲取計算結(jié)果,如圖片分類。那么說到圖片，圖像數(shù)據(jù)視頻融合拼接處理器就是在圖像圖片處理上有著其它類控制主機不可替代的優(yōu)點，不同環(huán)節(jié)采用不同的計算架構(gòu):模型訓(xùn)練使用CPU+GPU計算架構(gòu),應(yīng)用推理可以采用CPU+FPGA、計算架構(gòu)等。主要因為CPU算法實現(xiàn)架構(gòu)成熟,適合較復(fù)雜的訓(xùn)練算法FPCA可靈活實現(xiàn)多任務(wù)處理且運行能效更好。

算力方面,當(dāng)下實現(xiàn)深度學(xué)習(xí)的高性能計算硬件平臺主要包括CPU、ASIC、FPGA,GPU因為先發(fā)優(yōu)勢占據(jù)較大市場份額,FPGA正試圖在云端服務(wù)器發(fā)力，ASlC難度更高但更適用于深度學(xué)習(xí)算法。圖像數(shù)據(jù)視頻融合拼接處理器的場景預(yù)案 圖層疊加方面完全傳承這個物質(zhì)，算力需要具備并行性、多線程、高內(nèi)存帶寬等特性,而且由于數(shù)據(jù)的訓(xùn)練時間長,需要低功耗的硬件架構(gòu)。

FPGA適合的應(yīng)用場景包括:計算密集型高、實時性要求高、任務(wù)可并行處理以及大量重復(fù)性計算。CPU可以實現(xiàn)的功能,都可以用FPGA靈活實現(xiàn),且單顆功耗較GPU低。對復(fù)雜系統(tǒng)進行合理的軟硬件設(shè)計,由CPU和FPGA合作完成系統(tǒng)功能也是目前比較流行的方案。例如：東健宇研發(fā)生產(chǎn)的圖像數(shù)據(jù)視頻融合拼接處理器TEC9000系列就是FPGA的設(shè)計方案。FPGA的開發(fā)方式主要包括 Opencl和VHDL,前者的開發(fā)效率會好一些。FPCA要在人工智能計算中發(fā)揮更大作用,還需要提高計算能力(浮點運算能力和改進算法)和易用性(更加通用高性能的神經(jīng)網(wǎng)絡(luò)開發(fā)架構(gòu))

以上是寶哥對圖像數(shù)據(jù)視頻融合拼接處理器深度學(xué)習(xí)的理解和小見解，如果有那么一點對你有幫助，也請大家共同討論溝通，歡迎大家一起交流。