去年年底我接到一個(gè)模擬項(xiàng)目X的需求在某跨平臺(tái)系統(tǒng)上實(shí)現(xiàn)手勢(shì)方向識(shí)別最核心的是“上下手勢(shì)檢測(cè)”。用戶要的不是簡(jiǎn)單判斷“有沒(méi)有手”而是把手勢(shì)當(dāng)作控制指令——手往上揮是上一個(gè)操作往下?lián)]是下一個(gè)操作誤觸發(fā)率要壓到很低。當(dāng)時(shí)組里幾個(gè)方案PK過(guò)一輪最后落地的是基于YOLOv10n改進(jìn)的版本在模型里嵌入了HWD模塊用一套統(tǒng)一流程同時(shí)解決“手在哪”“朝哪動(dòng)”“算不算一次有效揮動(dòng)”三個(gè)問(wèn)題。今天這篇就把這個(gè)項(xiàng)目的完整思路、踩坑過(guò)程和數(shù)據(jù)實(shí)測(cè)細(xì)節(jié)寫(xiě)清楚。1. 項(xiàng)目需求拆解方向手勢(shì)識(shí)別到底難在哪先明確一下我們面對(duì)的到底是什么問(wèn)題。市面上大多數(shù)手勢(shì)識(shí)別項(xiàng)目做的是“靜態(tài)手勢(shì)分類”比如識(shí)別數(shù)字、比心、握拳技術(shù)上屬于單幀圖像分類。但“方向手勢(shì)識(shí)別”是另一類任務(wù)它不僅要求你知道畫(huà)面里有一只手的框還要求你判斷這只手正在往哪個(gè)方向移動(dòng)并且要把一段連續(xù)動(dòng)作切分成“一次有效指令”。1.1 三個(gè)核心子任務(wù)的邊界劃分我們把整個(gè)項(xiàng)目拆成了三個(gè)子任務(wù)邊界必須劃清楚手部檢測(cè)定位畫(huà)面中的手得到邊界框。方向識(shí)別不需要那么精細(xì)的像素級(jí)分割一個(gè)準(zhǔn)確的框就夠用。這個(gè)階段對(duì)應(yīng)目標(biāo)檢測(cè)模型的主干和檢測(cè)頭。方向判斷根據(jù)連續(xù)幀里手部中心點(diǎn)的位移矢量判斷當(dāng)前運(yùn)動(dòng)方向。方向不是簡(jiǎn)單的“上、下、左、右”四分類因?yàn)閷?shí)際揮手軌跡不會(huì)是標(biāo)準(zhǔn)的直線必然有抖動(dòng)和弧度。上下手勢(shì)指令判定把“向上揮一次”和“向下?lián)]一次”定義為兩個(gè)事件。對(duì)單次揮動(dòng)去抖、判定起止避免一次揮動(dòng)變成兩三次誤觸發(fā)。從產(chǎn)品角度講第三個(gè)子任務(wù)才是真正影響體驗(yàn)的。檢測(cè)模型哪怕偶爾漏掉一幀后面的跟蹤和事件判定邏輯也能兜住但如果事件判定邏輯粗糙整個(gè)交互就會(huì)讓人覺(jué)得“不跟手”或者“亂觸發(fā)”。1.2 為什么不能直接拿現(xiàn)成分類模型改我們最初嘗試過(guò)直接用現(xiàn)成的姿態(tài)估計(jì)模型把手腕關(guān)鍵點(diǎn)的軌跡拿來(lái)做方向判斷。但實(shí)測(cè)下來(lái)有個(gè)尷尬的問(wèn)題姿態(tài)估計(jì)模型對(duì)手的尺度很敏感當(dāng)手離攝像頭近時(shí)關(guān)鍵點(diǎn)抖動(dòng)非常厲害當(dāng)手離得遠(yuǎn)時(shí)關(guān)鍵點(diǎn)又容易和臉部、上半身混淆。而且整套流程需要額外引入骨骼網(wǎng)絡(luò)在低算力設(shè)備上幀率不樂(lè)觀。方向識(shí)別的本質(zhì)其實(shí)是一個(gè)“軌跡序列”問(wèn)題。這段軌跡不需要關(guān)鍵點(diǎn)級(jí)別的精度只需要穩(wěn)定的“對(duì)象中心點(diǎn)”就行。因此把問(wèn)題簡(jiǎn)化為檢測(cè)手部框取框中心點(diǎn)做短窗口軌跡分析。這個(gè)簡(jiǎn)化讓模型選擇范圍一下子寬了最后落到Y(jié)OLOv10n上也是因?yàn)檫@個(gè)判斷。2. 技術(shù)選型復(fù)盤為什么是YOLOv10n而不是YOLOv8n或輕量分類網(wǎng)絡(luò)選型不能拍腦袋我當(dāng)時(shí)設(shè)了幾個(gè)硬指標(biāo)全部對(duì)上才進(jìn)下一輪指標(biāo)要求YOLOv8nYOLOv10n輕量分類網(wǎng)絡(luò)參數(shù)量≤ 3M3.2M2.7M1~2M端側(cè)推理耗時(shí)≤ 30ms約26ms約22ms約15ms檢測(cè)精度 mAP.5≥ 0.850.870.86無(wú)檢測(cè)能力是否支持端到端 NMS-free盡量否是不適用后續(xù)擴(kuò)展是否容易加關(guān)鍵點(diǎn)分支容易一般容易困難YOLOv10n那個(gè)2.7M參數(shù)里的n后綴很重要n就是nano版本專為端側(cè)和嵌入式設(shè)計(jì)。但光看參數(shù)沒(méi)意義真正讓我下決心的是它的NMS-free架構(gòu)。傳統(tǒng)YOLO在推理后要做非極大值抑制去掉重疊的框這個(gè)操作在端側(cè)很煩因?yàn)閯?dòng)態(tài)邏輯不好量化。YOLOv10用“雙標(biāo)簽分配”和“一致匹配度”解決了一對(duì)一匹配問(wèn)題訓(xùn)練時(shí)用一對(duì)多推理時(shí)用一對(duì)一可以省掉NMS。省掉的這七八毫秒在30ms預(yù)算里非常值錢。2.1 HWD模塊的設(shè)計(jì)動(dòng)機(jī)標(biāo)題里的HWD是我在模擬項(xiàng)目X里給一個(gè)輕量化檢測(cè)頭結(jié)構(gòu)起的代號(hào)全稱是Hierarchical Weight Decoupling按方向分支解耦的層級(jí)權(quán)重檢測(cè)頭。HWD的目標(biāo)很直接既然最終任務(wù)是“方向手勢(shì)識(shí)別”那通用檢測(cè)頭的輸出就不能直接滿足需求。標(biāo)準(zhǔn)YOLOv10n的檢測(cè)頭輸出是類別概率加邊框回歸。我們可以把手勢(shì)方向作為額外類別加進(jìn)去——比如類別從“手”變成“手向上”“手向下”“手靜止”——但這樣做有個(gè)問(wèn)題方向是連續(xù)變化的尤其在揮動(dòng)轉(zhuǎn)向的瞬間硬分類會(huì)產(chǎn)生大量抖動(dòng)幀。HWD的做法不是把方向硬加入分類而是保留一個(gè)主干檢測(cè)分支輸出手部框同時(shí)在檢測(cè)頭側(cè)邊掛一個(gè)輕量的方向回歸分支。方向分支不做分類做的是角度回歸通過(guò)解耦的權(quán)重更新讓方向分支和檢測(cè)分支在梯度回傳時(shí)不完全互相干擾。具體來(lái)說(shuō)HWD在檢測(cè)頭里設(shè)置了兩個(gè)輸出頭共享同一套特征但在最后一層把參數(shù)分成兩組一組負(fù)責(zé)框的寬高中心偏移另一組負(fù)責(zé)方向角度的連續(xù)回歸。分組之后方向分支的梯度更新不會(huì)因?yàn)槭挚蛏晕⒉粶?zhǔn)就劇烈震蕩。這個(gè)設(shè)計(jì)在數(shù)據(jù)集標(biāo)注不夠干凈時(shí)特別有用我們的手框標(biāo)注確實(shí)有少量偏移但方向分支在訓(xùn)練中幾乎沒(méi)有受到那些偏移的影響。2.2 和“直接加方向類別”方案的對(duì)比順帶說(shuō)一句我們確實(shí)做了一版直接把方向作為類別標(biāo)簽的實(shí)驗(yàn)。訓(xùn)練時(shí)手向上揮的幀標(biāo)記成“Up”標(biāo)記了大概4000幀手向下?lián)]標(biāo)記“Down”也4000幀。結(jié)果mAP看起來(lái)不錯(cuò)但實(shí)際部署出現(xiàn)了嚴(yán)重的邊界抖動(dòng)手在水平方向移動(dòng)時(shí)模型會(huì)在Up和Down之間反復(fù)跳變因?yàn)榻咏怪狈纸缇€時(shí)分類置信度本身就低。后來(lái)我們用HWD把方向改成回歸問(wèn)題后這個(gè)跳變問(wèn)題消失了。方向輸出的是-1到1的連續(xù)值-1代表向上極限1代表向下極限中間任何值都允許。事件判定階段再對(duì)連續(xù)值做閾值化加了遲滯區(qū)間。這個(gè)設(shè)計(jì)差異是整個(gè)項(xiàng)目最后能穩(wěn)定跑起來(lái)的關(guān)鍵。3. HWD方向分支的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)這一節(jié)具體講HWD怎么落地的。整體結(jié)構(gòu)還是沿用YOLOv10n的骨干網(wǎng)絡(luò)替換檢測(cè)頭時(shí)加了方向回歸分支訓(xùn)練階段用多任務(wù)損失。3.1 檢測(cè)頭的改造細(xì)節(jié)原始檢測(cè)頭輸出張量形狀是[B, 4num_classes, H, W]邊框4個(gè)值加類別數(shù)我改成[B, 4num_classes2, H, W]。多出來(lái)的2個(gè)通道就是方向分支的輸入一個(gè)是水平分量一個(gè)是垂直分量。后面接了一個(gè)小卷積層把多出來(lái)那2個(gè)通道映射成最終的方向得分。映射規(guī)則是計(jì)算cos_sim cos(x方向的向量, y方向的向量)這個(gè)做的是手部運(yùn)動(dòng)方向相對(duì)于屏幕豎直方向的余弦相似度。送到一個(gè)帶tanh激活的線性層輸出范圍限制在[-1, 1]。角度定義上有個(gè)細(xì)節(jié)值得注意我當(dāng)時(shí)定的是以垂直方向?yàn)榛鶞?zhǔn)向上為正向下為負(fù)。這個(gè)定義方向之后loss計(jì)算會(huì)很方便而且和實(shí)際體感一致——人揮手上舉會(huì)覺(jué)得“正向”放下會(huì)覺(jué)得“負(fù)向”。3.2 訓(xùn)練損失函數(shù)的組合策略訓(xùn)練時(shí)總損失是三部分相加total_loss lambda1 * box_loss lambda2 * cls_loss lambda3 * direction_loss三個(gè)權(quán)重在初期設(shè)置成lambda10.5, lambda20.5, lambda30.2。方向分支權(quán)重特意調(diào)低防止模型過(guò)度關(guān)注方向而忽略找手的任務(wù)。network 收斂一段epoch之后把lambda3提到0.5。方向loss用的是帶角度感知的平滑L1——這個(gè)說(shuō)直白點(diǎn)就是如果預(yù)測(cè)方向和真實(shí)方向差得遠(yuǎn)梯度保持恒定不會(huì)突然爆炸差得近時(shí)梯度逐步變小讓訓(xùn)練后期能精細(xì)收斂。這個(gè)loss不是單純算歐氏距離還要考慮角度差在弧度制下的連續(xù)性比如350度和10度在數(shù)值上差340但實(shí)際才差20度角度歸一化處理后避免模型被誤導(dǎo)。3.3 標(biāo)簽生成時(shí)如何構(gòu)造“方向真值”方向標(biāo)簽不是人工逐個(gè)標(biāo)注的而是根據(jù)標(biāo)注框中心點(diǎn)的位移矢量自動(dòng)生成。做法是在視頻數(shù)據(jù)集上先人工標(biāo)出手的框再按幀序列算中心點(diǎn)位移然后把這個(gè)位移矢量歸一化成為標(biāo)簽。單幀的方向標(biāo)簽生成公式# 取第t幀和第t-3幀的手框中心點(diǎn) dx cx_t - cx_t_minus_3 dy cy_t - cy_t_minus_3 # 歸一化得到方向向量 norm sqrt(dx**2 dy**2) dx_norm dx / max(norm, 1e-6) dy_norm dy / max(norm, 1e-6) # 計(jì)算垂直方向分量向上為1向下為-1 label dy_norm # 注意圖像坐標(biāo)系y軸向下所以dy為負(fù)代表向上這里取了t-3幀而不是t-1幀是為了濾掉高頻抖動(dòng)讓方向標(biāo)簽更穩(wěn)定。間隔太小單幀檢測(cè)噪聲偏移會(huì)被放大成錯(cuò)誤方向間隔太大手勢(shì)快速換向時(shí)標(biāo)簽會(huì)失真。t-3在我們數(shù)據(jù)上表現(xiàn)最好這個(gè)經(jīng)驗(yàn)值是試出來(lái)的不是計(jì)算出來(lái)的。3.4 訓(xùn)練與前向推理的完整代碼骨架核心訓(xùn)練配置文件里模型部分的偽代碼如下采用YOLOv10訓(xùn)練腳本的結(jié)構(gòu)class HWD檢測(cè)頭(nn.Module): def __init__(self, in_channels, num_classes): super().__init__() self.reg_branch nn.Sequential( nn.Conv2d(in_channels, 64, 3, padding1), nn.BatchNorm2d(64), nn.SiLU(), nn.Conv2d(64, 4, 1) ) self.cls_branch nn.Sequential( nn.Conv2d(in_channels, 64, 3, padding1), nn.BatchNorm2d(64), nn.SiLU(), nn.Conv2d(64, num_classes, 1) ) self.dir_branch nn.Sequential( nn.Conv2d(in_channels, 32, 3, padding1), nn.BatchNorm2d(32), nn.SiLU(), nn.Conv2d(32, 2, 1), nn.Tanh() ) def forward(self, x): return self.reg_branch(x), self.cls_branch(x), self.dir_branch(x)推理階段把檢測(cè)分支和方向分支合并后輸出。由于YOLOv10推理不走NMS后處理速度很快方向分支那兩行輸出在整張?zhí)卣鲌D上做一個(gè)全局平均池化得到最終方向分?jǐn)?shù)。不得不提一個(gè)容易栽的坑方向分支那層Tanh不是直接輸出最終角度而是輸出正弦余弦的中間表示。一開(kāi)始我天真地直接回歸角度數(shù)值結(jié)果訓(xùn)練中期發(fā)現(xiàn)loss死活降不下去后來(lái)才明白角度數(shù)值的尺度比如-180到180和檢測(cè)框坐標(biāo)的尺度0到640差太遠(yuǎn)融合時(shí)梯度被大數(shù)值主導(dǎo)。改成sin/cos分量回歸之后訓(xùn)練一下子穩(wěn)了。4. 上下手勢(shì)判定策略從“檢測(cè)方向”到“識(shí)別指令”模型輸出的方向是一個(gè)連續(xù)值但在產(chǎn)品里用戶感知的只有“上一張”“下一張”兩個(gè)操作。中間這層轉(zhuǎn)換就是手勢(shì)指令判定模塊要解決的。4.1 遲滯區(qū)間設(shè)計(jì)直接對(duì)方向分?jǐn)?shù)做閾值處理會(huì)出現(xiàn)抖動(dòng)。用戶向上揮手方向分?jǐn)?shù)從0漲到0.8如果在0.5閾值附近來(lái)回穿就會(huì)觸發(fā)兩次。解決辦法是不用單閾值用遲滯區(qū)間hysteresis方向分?jǐn)?shù)大于0.6判定為“上”方向分?jǐn)?shù)小于-0.6判定為“下”中間區(qū)域-0.6, 0.6保持上一次的狀態(tài)不變這樣從“下”變“上”需要跨過(guò)1.2的跨度不會(huì)因?yàn)槲⑿《秳?dòng)來(lái)回切換。從體感上用戶揮手的力度只要不是特別輕都能明確落在0.6以上。實(shí)際測(cè)試中這個(gè)區(qū)間最遠(yuǎn)的一檔是0.7和-0.7但幾個(gè)用戶反饋0.7需要揮臂幅度稍大改回0.6之后接受度明顯上升。4.2 揮動(dòng)事件判定狀態(tài)機(jī)遲滯區(qū)間解決了狀態(tài)抖動(dòng)但還沒(méi)解決“一次揮動(dòng)算幾次”的問(wèn)題。這里用了個(gè)簡(jiǎn)單的三狀態(tài)狀態(tài)機(jī)IDLE空閑、WAIT_FOR_COMPLETE等待完成、COOLDOWN冷卻?；具壿嫵跏紶顟B(tài) IDLE。檢測(cè)到方向分大于0.6狀態(tài)進(jìn)入 WAIT_FOR_COMPLETE。WAIT_FOR_COMPLETE 狀態(tài)下如果方向分先回落到0.2以下再重新沖上0.6才認(rèn)為完成了一次完整的“向上揮動(dòng)”。一旦觸發(fā)完成事件進(jìn)入 COOLDOWN冷卻300ms。冷卻時(shí)間內(nèi)即使方向分過(guò)閾值也不觸發(fā)。向下?lián)]動(dòng)的判定邏輯鏡像對(duì)稱。這個(gè)狀態(tài)機(jī)解決了一個(gè)很隱蔽的問(wèn)題人在自然揮手時(shí)手臂舉到最高點(diǎn)可能停一下然后放下。如果只看閾值這個(gè)停頓加放下就會(huì)被算成兩次上揮和末段向下的中途判定。加上回落判斷后只有“從低到高再回低”的完整軌跡才算一次。4.3 與跟蹤模塊的配合單幀檢測(cè)的框中心可能存在5~10個(gè)像素的抖動(dòng)直接拿相鄰幀中心點(diǎn)算方向會(huì)被噪聲淹沒(méi)。我在方向分析前加了一個(gè)輕量跟蹤器基于IOU匹配對(duì)每個(gè)檢測(cè)框分配唯一ID然后用卡爾曼濾波平滑中心點(diǎn)軌跡。軌跡窗口取最近6幀大約200ms用平滑后的軌跡點(diǎn)算方向向量。這個(gè)窗口比3幀長(zhǎng)一倍延遲增加了一點(diǎn)但換來(lái)的是方向穩(wěn)定性大幅改善。6幀的窗口在我們端側(cè)設(shè)備上實(shí)測(cè)只增加了約8ms滯后東側(cè)測(cè)試人員反饋基本無(wú)感。5. 數(shù)據(jù)集構(gòu)建方向手勢(shì)識(shí)別成敗的隱形關(guān)鍵方向手勢(shì)識(shí)別的訓(xùn)練數(shù)據(jù)比普通目標(biāo)檢測(cè)數(shù)據(jù)難搞得多。普通檢測(cè)標(biāo)一個(gè)框就行方向識(shí)別需要連續(xù)幀保持同一ID且方向標(biāo)簽準(zhǔn)確。5.1 采集場(chǎng)景與分布考量我總結(jié)了三個(gè)必須覆蓋的場(chǎng)景維度缺一個(gè)都容易在實(shí)際使用時(shí)翻車維度具體差異數(shù)據(jù)占比背景室內(nèi)白墻、復(fù)雜辦公室、戶外樹(shù)蔭、暗光房間背景均勻覆蓋即可手部姿態(tài)手掌朝攝像頭、握拳、自然半握、手背朝攝像頭比例約1:1:1:0.5運(yùn)動(dòng)速度慢速揮動(dòng)、正常速度、快速甩動(dòng)比例約1:3:1最終采集了約30小時(shí)視頻抽幀后有效訓(xùn)練列表約12000幀。單純數(shù)量不算多但勝在每幀都有對(duì)應(yīng)的上下方向真值。這里有個(gè)教訓(xùn)剛開(kāi)始找了大量“手拿手機(jī)”的日常視頻模型在屏幕上都能把手機(jī)誤檢成手的一些邊緣紋理后來(lái)專門把手機(jī)、水杯這類形似物體標(biāo)成負(fù)樣本才壓下去。5.2 自動(dòng)標(biāo)注管線標(biāo)注方案是先用YOLOv10n預(yù)訓(xùn)練模型只在公開(kāi)手勢(shì)數(shù)據(jù)集上訓(xùn)練過(guò)跑一遍生成手部框然后是人工修正再用“位移矢量自動(dòng)生成方向標(biāo)簽”的腳本批量生成方向真值。這條管線實(shí)際執(zhí)行中需要人工看一遍所有自動(dòng)生成的標(biāo)簽。最容易出錯(cuò)的是手部交叉的片段左右手互相遮擋時(shí)跟蹤ID會(huì)跳變導(dǎo)致中心點(diǎn)位移矢量變成一個(gè)極大的跳變方向標(biāo)簽變成異常值。這種異常幀的比例可能在2%~3%之間但會(huì)顯著拉低方向分支的收斂效果。后來(lái)我在標(biāo)簽生成腳本里加了一行檢測(cè)如果相鄰幀中心點(diǎn)位移超過(guò)30像素在手部尺寸設(shè)定下就標(biāo)記該幀為無(wú)效幀不參與方向loss計(jì)算。5.3 數(shù)據(jù)增強(qiáng)時(shí)注意保護(hù)方向語(yǔ)義常規(guī)目標(biāo)檢測(cè)的隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)、HSV抖動(dòng)在方向識(shí)別任務(wù)里不是全都能直接用。隨機(jī)水平翻轉(zhuǎn)會(huì)讓“向左揮”變成“向右揮”但我們只關(guān)心上下方向所以這個(gè)沒(méi)問(wèn)題。但旋轉(zhuǎn)增強(qiáng)要格外小心如果旋轉(zhuǎn)90度原本“向上揮”的數(shù)據(jù)變成了“向左揮”方向標(biāo)簽如果沒(méi)同步旋轉(zhuǎn)就是錯(cuò)的。我們的增強(qiáng)策略保持上下方向語(yǔ)義的增強(qiáng)隨機(jī)縮放0.8~1.2倍、HSV擾動(dòng)、小角度隨機(jī)旋轉(zhuǎn)±5度只針對(duì)檢測(cè)分支做增強(qiáng)Mosaic拼圖在拼圖時(shí)保持各子圖方向標(biāo)簽不變禁用的增強(qiáng)垂直翻轉(zhuǎn)、大角度旋轉(zhuǎn)、隨機(jī)擦除會(huì)讓方向序列斷裂Mosaic拼圖其實(shí)很值得說(shuō)一說(shuō)四個(gè)圖拼在一起之后手的尺度變化更豐富檢測(cè)分支的魯棒性提升明顯。但方向分支在這種拼圖訓(xùn)練下有小幅震蕩所以我在最后5個(gè)epoch關(guān)閉了Mosaic只用單圖訓(xùn)練做精調(diào)。6. 訓(xùn)練過(guò)程與量化筆記實(shí)測(cè)數(shù)據(jù)是最終裁判6.1 超參與訓(xùn)練曲線的關(guān)鍵細(xì)節(jié)使用單塊訓(xùn)練卡模擬環(huán)境輸入分辨率640x640batch size 32初始學(xué)習(xí)率0.01用余弦退火到0.0001總共訓(xùn)練120個(gè)epoch。前30個(gè)epoch凍結(jié)骨干網(wǎng)絡(luò)只訓(xùn)練檢測(cè)頭讓新增的方向分支先穩(wěn)定下來(lái)第30個(gè)epoch后解凍全部參數(shù)。訓(xùn)練曲線有幾個(gè)關(guān)鍵點(diǎn)值得注意前10個(gè)epochbox_loss從0.09降到0.04速度很快因?yàn)楣歉墒穷A(yù)訓(xùn)練模型。第30個(gè)epoch解凍后direction_loss出現(xiàn)一次小尖峰從0.2跳到0.35這是正常的骨干參數(shù)開(kāi)始適應(yīng)方向分支。在約90個(gè)epoch時(shí)direction_loss降到0.08附近后基本平了。最終驗(yàn)證集上檢測(cè)分支mAP.5是0.886比基線YOLOv10n的0.864略高一點(diǎn)說(shuō)明方向分支的聯(lián)合訓(xùn)練沒(méi)有拖累檢測(cè)反而因?yàn)樘卣鞯膹?fù)用略微提升了檢測(cè)魯棒性。6.2 INT8量化后的表現(xiàn)部署時(shí)目標(biāo)平臺(tái)是某端側(cè)推理引擎模型需要做INT8量化。YOLOv10n本身量化友好因?yàn)镹MS-free結(jié)構(gòu)里沒(méi)有復(fù)雜的動(dòng)態(tài)控制流。量化校準(zhǔn)用了2000幀訓(xùn)練真值圖片在目標(biāo)引擎上跑離線量化。量化后的精度損失如下指標(biāo)FP32INT8損失手部檢測(cè) mAP.50.8860.872-1.4%方向回歸 平均角度誤差4.2度5.1度0.9度推理耗時(shí)端側(cè)25ms17ms-32%INT8方向分支的平均角度誤差只增加了不到1度對(duì)事件判定閾值0.6來(lái)說(shuō)完全夠用。這里有個(gè)經(jīng)驗(yàn)量化時(shí)如果方向分支精度掉得多不如把方向分支單獨(dú)保留FP16只量化檢測(cè)分支。我們?cè)诹硪粋€(gè)項(xiàng)目里驗(yàn)證過(guò)這個(gè)方案精度幾乎無(wú)損只是推理框架要支持混合精度稍微麻煩一點(diǎn)。6.3 一個(gè)意外的推理性能坑剛開(kāi)始部署時(shí)端側(cè)推理耗時(shí)總是比預(yù)期高排查到最后發(fā)現(xiàn)是方向分支的輸出張量在轉(zhuǎn)換到CPU后沒(méi)有做內(nèi)存連續(xù)化后處理讀數(shù)據(jù)時(shí)走了慢速路徑。加上一行torch.Tensor.contiguous()后整體后處理耗時(shí)降了30%。這個(gè)問(wèn)題屬于引擎層面的邊緣情況寫(xiě)在這里給遇到類似情況的人一個(gè)排查方向。7. 實(shí)測(cè)效果與踩坑總結(jié)方向手勢(shì)識(shí)別是否值得這樣設(shè)計(jì)最后說(shuō)一下整個(gè)項(xiàng)目的真實(shí)測(cè)試數(shù)據(jù)以及回過(guò)頭來(lái)看有哪些決策是對(duì)的哪些其實(shí)可以換條路。7.1 現(xiàn)場(chǎng)測(cè)試成績(jī)我們?cè)谌N環(huán)境下對(duì)最終模型和判定策略做了測(cè)試室內(nèi)辦公桌前端側(cè)設(shè)備、客廳沙發(fā)距離約2.5米、戶外弱光環(huán)境傍晚。測(cè)試人員用手勢(shì)控制某跨平臺(tái)系統(tǒng)的上下翻頁(yè)功能統(tǒng)計(jì)了100次揮動(dòng)指令的準(zhǔn)確率和誤觸發(fā)次數(shù)。測(cè)試環(huán)境向上識(shí)別率向下識(shí)別率誤觸發(fā)次數(shù)10分鐘內(nèi)辦公桌0.5m98/10097/1000客廳2.5m95/10093/1002戶外弱光82/10079/1007戶外弱光表現(xiàn)差可以從數(shù)據(jù)上解釋訓(xùn)練數(shù)據(jù)里弱光幀占比太低手部對(duì)比度不足檢測(cè)框抖動(dòng)變大。這個(gè)結(jié)果也直接決定了下一次迭代要優(yōu)先補(bǔ)弱光數(shù)據(jù)。7.2 這個(gè)方案的設(shè)計(jì)邊界HWD加方向回歸的設(shè)計(jì)并不是萬(wàn)能的它適合的是“手部目標(biāo)相對(duì)大、運(yùn)動(dòng)軌跡相對(duì)完整”的場(chǎng)景。如果手勢(shì)很小比如遠(yuǎn)距離無(wú)人機(jī)手勢(shì)控制方向回歸分支的輸入特征分辨率不夠誤差會(huì)成倍放大。那種場(chǎng)景應(yīng)該走關(guān)鍵點(diǎn)檢測(cè)加軌跡分類的路線而不是在檢測(cè)頭側(cè)邊加方向分支。另外這套狀態(tài)機(jī)針對(duì)“上下?lián)]動(dòng)”做了專門優(yōu)化。左右揮手和畫(huà)圈手勢(shì)在這個(gè)方案里也能提取出方向序列但事件判定邏輯要重新設(shè)計(jì)不能直接套用。7.3 值得保留和應(yīng)該舍棄的設(shè)計(jì)保留遲滯區(qū)間和冷卻機(jī)制這兩個(gè)東西用很小的代價(jià)解決了實(shí)際使用中80%的誤觸發(fā)問(wèn)題。沒(méi)有它們模型精度再高用戶體感都是“亂跳”。舍棄在畫(huà)圈或者復(fù)雜手勢(shì)識(shí)別上強(qiáng)行沿用這個(gè)方向回歸分支的做法。我們?cè)囘^(guò)在相同結(jié)構(gòu)上加“順時(shí)針/逆時(shí)針”判斷效果不理想因?yàn)檫@類語(yǔ)義需要更長(zhǎng)的時(shí)序上下文不是單幀方向能表達(dá)的。如果重新做一遍我會(huì)在數(shù)據(jù)采集階段就投入更多時(shí)間在弱光場(chǎng)景而不是等項(xiàng)目后期補(bǔ)拍。方向手勢(shì)識(shí)別公出問(wèn)題的不在白天而在傍晚燈剛開(kāi)、屏幕反光、衣服顏色和手部顏色接近的時(shí)候。這類數(shù)據(jù)的價(jià)值遠(yuǎn)超多拍幾段白墻背景的完美視頻。這個(gè)項(xiàng)目的核心收獲是模型架構(gòu)的改動(dòng)HWD只解決了一半問(wèn)題另一半是靠狀態(tài)機(jī)邏輯和針對(duì)性的數(shù)據(jù)集設(shè)計(jì)解決的。方向手勢(shì)識(shí)別的本質(zhì)是“用目標(biāo)檢測(cè)做感知、用軌跡邏輯做理解”兩者配合好了實(shí)際體驗(yàn)才能穩(wěn)定可靠。