帶你了解CANN的目標檢測與識別一站式方案

但當前人工智能應用開發面臨著開發周期長、AI軟件棧理解成本高、算法模型與業務結合難度高、對開發人員技能要求高等門檻。為了降低AI應用開發得門檻，昇騰CANN開源了高性能得通用目標檢測與識別一站式方案，通過其強大得可定制、可擴展性，旨在為AI開發者們提供更好得編程選擇。

特別提示，如果您具有以下知識儲備，將有助于學習：

1. 具有C&C++編程經驗。
2. 了解異構計算架構CANN在昇騰AI全棧中得位置和作用。
3. 了解應用編程框架AscendCL得關鍵特性，并能夠基于AscendCL接口開發簡單得AI應用。

1. 了解通用目標檢測與識別一站式方案得功能與特性
2. 了解ACLlite得背景及接口使用方法
3. 深入了解通用目標檢測與識別一站式方案得實現流程
4. 能夠基于此方案定制自己得AI應用

點此detect_and_classify（感謝分享gitee感謝原創分享者/ascend/samples/tree/master/cplusplus/level3_application/1_cv/detect_and_classify），可查看方案源代碼。

方案整體特性概括如下：

通用目標檢測和識別一站式方案支持支持、離線視頻、RTSP視頻流等多輸入格式，開發者可基于此方案實現對支持和視頻等不同格式得目標進行識別。另外在結果展示方面，支持支持、離線視頻、Web前端等多形式展現，開發者可根據業務場景靈活呈現識別結果。

該方案當前選用得是YoloV3支持檢測模型與CNN顏色分類模型得串接，可實現基本得車輛檢測和車輛顏色識別，開發者可輕松修改程序代碼，自行替換/增加/刪除AI模型，實現更多AI功能。

支持、視頻等各類數據是進行目標檢測和識別得原料，在把數據投入AI算法或模型前，我們需要對數據進行預加工，才能達到更加高效和準確得計算。該樣例采用獨立數據預處理模塊，支持開發者按需定制，高效實現解碼、摳圖、縮放、色域轉換等各種常見數據處理功能。

在目標檢測和識別領域，開發者們除了需要應對輸入數據格式等方面差異，還會經常遇到支持數量、分辨率不確定得場景，這也是格外頭疼得問題之一。比如，在目標檢測和識別過程中，由于檢測出得目標個數不固定，導致程序要等到支持攢到固定數量再進行AI計算，浪費了大量寶貴得AI計算資源。該樣例開放了便捷得定制入口，支持設置多種數據量Batch檔位、多種分辨率檔位，在推理時根據實際輸入情況靈活匹配，不僅擴寬了業務場景，更有效節省計算資源，大大提升AI計算效率。

為了進一步提高編程得靈活性，滿足開發者實現高性能AI應用，該樣例支持通過極為友好和便捷得方式調整線程數和設備路數，極大降低學習成本，提升設備資源利用率。

除此之外，該樣例后續還會將原本需要在CPU上進行處理得功能推送到昇騰AI處理器上執行，利用昇騰AI處理器強大得算力實現后處理得加速，進一步提升整個AI應用得計算效率。

該樣例使用了支持檢測模型與顏色分類模型，基于CANN AI應用編程接口，對數據預處理、模型推理、模型后處理等AI核心計算邏輯進行模塊化組裝，實現了車輛檢測和車身顏色識別基礎功能，以輸入支持是JPEG壓縮支持為例，該樣例功能流程如下所示：

1. 首先輸入支持送入Device得DVPP進行數據預處理，因為模型得輸入要求是非壓縮得、指定編碼格式得支持，所以首先使用DVPP進行支持得解碼操作，解碼后格式為YUV420SP_U8。
2. 由于支持得大小與模型要求得大小不一致，解碼后我們使用DVPP得VPC功能進行大小得調整。
3. 經過前面得一系列處理后，輸入到模型得編碼格式YUV420SP_U8仍與模型要求不一致，此時我們可以在模型轉換時通過AIPP得色域轉換功能實現格式轉換，將YUV420SP_U8格式轉換為模型要求得BGR格式，這里得色域轉換功能其實就相當于在模型中添加了一個色域轉換算子，直接在模型推理前實現了編碼格式得轉換，而無需代碼層面得修改。
4. 檢測模型推理后得結果就可以送入模型后處理模塊，后處理模塊根據業務流程需要，進行檢測坐標點得存儲。
5. 下一步，就是將檢測坐標點以及前面預處理后得YUV支持，一起送入分類模型得預處理模塊，首先根據檢測結果得坐標點信息對輸入得支持進行摳圖，然后再將其縮放為分類模型要求得大小。
6. 由于顏色分類模型要求得支持編碼格式是RGB，同前面得檢測模型一樣，需要使用AIPP得色域轉換功能，在模型推理前將YUV轉換為RGB。
7. 最后對分類模型推理后得結果進行處理，在支持上進行畫框，標注結果，并根據用戶得輸出要求進行存儲或者在線展示。

下面介紹讓樣例快速跑起來，了解通用目標檢測與識別一站式方案得總體編譯運行流程，主要是：

1. 輸入/輸出數據都為支持，其中輸入數據請選擇jpeg格式得支持
2. 使用1個Device運行

這里不做過多介紹，使用得是ECS + 自家推送得鏡像，很簡單就能搞定了，需要注意得是環境準備好后，請以HwHiAiUser用戶體驗如下任務。HwHiAiUser用戶下已經配置好了環境變量，安裝好了應用所需基本依賴。

因為鏡像已經做好了配置，可以直接下載樣例，模型與數據，直接編譯運行即可。詳細步驟如下：

步驟 1 ：下載samples源碼倉。

此處已將samples倉下載到$HOME路徑下為例， 可以使用以下兩種方式下載，請選擇其中一種即可

【命令行下載】

cd ${HOME}git clone 感謝分享gitee感謝原創分享者/ascend/samples.git

【壓縮包下載】

a. 在samples倉右上角選擇【克隆/下載】下拉框，并選擇【下載ZIP】。

b. 將ZIP包以HwHiAiUser用戶上傳到開發環境得普通用戶家目錄中。

例如：${HOME}/ascend-samples-master.zip

c. 執行以下命令，解壓縮zip包。

cd ${HOME}unzip ascend-samples-master.zip

步驟 2 : 準備模型及數據。

請參見README中得模型及數據準備章節。

步驟 3 : 樣例編譯運行。

請參見README中得樣例編譯運行章節。

【說明】

1. 輸入/輸出數據都要求為支持，其中輸入數據請選擇jpeg格式得支持
2. 使用1個Device運行

如下圖所示，左圖為運行得打印輸出，右圖為輸出得推理結果支持：

此外，還支持多種輸入輸出模式：

根據自家得測試，單device最多支持22路，在輸入分辨率1280 * 720得視頻下，單幀圖像處理耗時20ms，每秒蕞大處理幀數為50幀。

本次得CANN目標檢測與識別一站式方案總體流程圖如下圖所示，

方案中大量使用了線程，多路線程分別進行數據流轉和協同合作，以單device為例，線程關系如下圖所示：

此外，還支持定制開發，開發者可根據需要，自行添加包括但不限于如下功能：

詳細得操作位置如下圖所示，具體可參考本方案代碼庫得README：

好了，最后奉上本方案代碼庫得獲取方式，如下圖所示，當然，也可以感謝閱讀在前文中咱們提供得鏈接。

感謝閱讀下方，第壹時間了解華為云新鮮技術~

華為云博客_大數據博客_AI博客_云計算博客_開發者中心-華為云