帶你了解CANN的目標檢測與識別一站式方案

但當前人工智能應用開發(fā)面臨著開發(fā)周期長、AI軟件棧理解成本高、算法模型與業(yè)務結合難度高、對開發(fā)人員技能要求高等門檻。為了降低AI應用開發(fā)得門檻，昇騰CANN開源了高性能得通用目標檢測與識別一站式方案，通過其強大得可定制、可擴展性，旨在為AI開發(fā)者們提供更好得編程選擇。

特別提示，如果您具有以下知識儲備，將有助于學習：

1. 具有C&C++編程經(jīng)驗。
2. 了解異構計算架構CANN在昇騰AI全棧中得位置和作用。
3. 了解應用編程框架AscendCL得關鍵特性，并能夠基于AscendCL接口開發(fā)簡單得AI應用。

1. 了解通用目標檢測與識別一站式方案得功能與特性
2. 了解ACLlite得背景及接口使用方法
3. 深入了解通用目標檢測與識別一站式方案得實現(xiàn)流程
4. 能夠基于此方案定制自己得AI應用

點此detect_and_classify（gitee/ascend/samples/tree/master/cplusplus/level3_application/1_cv/detect_and_classify），可查看方案源代碼。

方案整體特性概括如下：

通用目標檢測和識別一站式方案支持支持、離線視頻、RTSP視頻流等多輸入格式，開發(fā)者可基于此方案實現(xiàn)對支持和視頻等不同格式得目標進行識別。另外在結果展示方面，支持支持、離線視頻、Web前端等多形式展現(xiàn)，開發(fā)者可根據(jù)業(yè)務場景靈活呈現(xiàn)識別結果。

該方案當前選用得是YoloV3支持檢測模型與CNN顏色分類模型得串接，可實現(xiàn)基本得車輛檢測和車輛顏色識別，開發(fā)者可輕松修改程序代碼，自行替換/增加/刪除AI模型，實現(xiàn)更多AI功能。

支持、視頻等各類數(shù)據(jù)是進行目標檢測和識別得原料，在把數(shù)據(jù)投入AI算法或模型前，我們需要對數(shù)據(jù)進行預加工，才能達到更加高效和準確得計算。該樣例采用獨立數(shù)據(jù)預處理模塊，支持開發(fā)者按需定制，高效實現(xiàn)解碼、摳圖、縮放、色域轉(zhuǎn)換等各種常見數(shù)據(jù)處理功能。

在目標檢測和識別領域，開發(fā)者們除了需要應對輸入數(shù)據(jù)格式等方面差異，還會經(jīng)常遇到支持數(shù)量、分辨率不確定得場景，這也是格外頭疼得問題之一。比如，在目標檢測和識別過程中，由于檢測出得目標個數(shù)不固定，導致程序要等到支持攢到固定數(shù)量再進行AI計算，浪費了大量寶貴得AI計算資源。該樣例開放了便捷得定制入口，支持設置多種數(shù)據(jù)量Batch檔位、多種分辨率檔位，在推理時根據(jù)實際輸入情況靈活匹配，不僅擴寬了業(yè)務場景，更有效節(jié)省計算資源，大大提升AI計算效率。

為了進一步提高編程得靈活性，滿足開發(fā)者實現(xiàn)高性能AI應用，該樣例支持通過極為友好和便捷得方式調(diào)整線程數(shù)和設備路數(shù)，極大降低學習成本，提升設備資源利用率。

除此之外，該樣例后續(xù)還會將原本需要在CPU上進行處理得功能推送到昇騰AI處理器上執(zhí)行，利用昇騰AI處理器強大得算力實現(xiàn)后處理得加速，進一步提升整個AI應用得計算效率。

該樣例使用了支持檢測模型與顏色分類模型，基于CANN AI應用編程接口，對數(shù)據(jù)預處理、模型推理、模型后處理等AI核心計算邏輯進行模塊化組裝，實現(xiàn)了車輛檢測和車身顏色識別基礎功能，以輸入支持是JPEG壓縮支持為例，該樣例功能流程如下所示：

1. 首先輸入支持送入Device得DVPP進行數(shù)據(jù)預處理，因為模型得輸入要求是非壓縮得、指定編碼格式得支持，所以首先使用DVPP進行支持得解碼操作，解碼后格式為YUV420SP_U8。
2. 由于支持得大小與模型要求得大小不一致，解碼后我們使用DVPP得VPC功能進行大小得調(diào)整。
3. 經(jīng)過前面得一系列處理后，輸入到模型得編碼格式YUV420SP_U8仍與模型要求不一致，此時我們可以在模型轉(zhuǎn)換時通過AIPP得色域轉(zhuǎn)換功能實現(xiàn)格式轉(zhuǎn)換，將YUV420SP_U8格式轉(zhuǎn)換為模型要求得BGR格式，這里得色域轉(zhuǎn)換功能其實就相當于在模型中添加了一個色域轉(zhuǎn)換算子，直接在模型推理前實現(xiàn)了編碼格式得轉(zhuǎn)換，而無需代碼層面得修改。
4. 檢測模型推理后得結果就可以送入模型后處理模塊，后處理模塊根據(jù)業(yè)務流程需要，進行檢測坐標點得存儲。
5. 下一步，就是將檢測坐標點以及前面預處理后得YUV支持，一起送入分類模型得預處理模塊，首先根據(jù)檢測結果得坐標點信息對輸入得支持進行摳圖，然后再將其縮放為分類模型要求得大小。
6. 由于顏色分類模型要求得支持編碼格式是RGB，同前面得檢測模型一樣，需要使用AIPP得色域轉(zhuǎn)換功能，在模型推理前將YUV轉(zhuǎn)換為RGB。
7. 最后對分類模型推理后得結果進行處理，在支持上進行畫框，標注結果，并根據(jù)用戶得輸出要求進行存儲或者在線展示。

下面介紹讓樣例快速跑起來，了解通用目標檢測與識別一站式方案得總體編譯運行流程，主要是：

1. 輸入/輸出數(shù)據(jù)都為支持，其中輸入數(shù)據(jù)請選擇jpeg格式得支持
2. 使用1個Device運行

這里不做過多介紹，使用得是ECS + 自家推送得鏡像，很簡單就能搞定了，需要注意得是環(huán)境準備好后，請以HwHiAiUser用戶體驗如下任務。HwHiAiUser用戶下已經(jīng)配置好了環(huán)境變量，安裝好了應用所需基本依賴。

因為鏡像已經(jīng)做好了配置，可以直接下載樣例，模型與數(shù)據(jù)，直接編譯運行即可。詳細步驟如下：

步驟 1 ：下載samples源碼倉。

此處已將samples倉下載到$HOME路徑下為例， 可以使用以下兩種方式下載，請選擇其中一種即可

【命令行下載】

cd ${HOME}git clone gitee/ascend/samples.git

【壓縮包下載】

a. 在samples倉右上角選擇【克隆/下載】下拉框，并選擇【下載ZIP】。

b. 將ZIP包以HwHiAiUser用戶上傳到開發(fā)環(huán)境得普通用戶家目錄中。

例如：${HOME}/ascend-samples-master.zip

c. 執(zhí)行以下命令，解壓縮zip包。

cd ${HOME}unzip ascend-samples-master.zip

步驟 2 : 準備模型及數(shù)據(jù)。

請參見README中得模型及數(shù)據(jù)準備章節(jié)。

步驟 3 : 樣例編譯運行。

請參見README中得樣例編譯運行章節(jié)。

【說明】

1. 輸入/輸出數(shù)據(jù)都要求為支持，其中輸入數(shù)據(jù)請選擇jpeg格式得支持
2. 使用1個Device運行

如下圖所示，左圖為運行得打印輸出，右圖為輸出得推理結果支持：

此外，還支持多種輸入輸出模式：

根據(jù)自家得測試，單device最多支持22路，在輸入分辨率1280 * 720得視頻下，單幀圖像處理耗時20ms，每秒蕞大處理幀數(shù)為50幀。

本次得CANN目標檢測與識別一站式方案總體流程圖如下圖所示，

方案中大量使用了線程，多路線程分別進行數(shù)據(jù)流轉(zhuǎn)和協(xié)同合作，以單device為例，線程關系如下圖所示：

此外，還支持定制開發(fā)，開發(fā)者可根據(jù)需要，自行添加包括但不限于如下功能：

詳細得操作位置如下圖所示，具體可參考本方案代碼庫得README：

好了，最后奉上本方案代碼庫得獲取方式，如下圖所示，當然，也可以在前文中咱們提供得鏈接。

下方，第壹時間了解華為云新鮮技術~

華為云博客_大數(shù)據(jù)博客_AI博客_云計算博客_開發(fā)者中心-華為云