多目標(biāo)跟蹤是指在連續(xù)的圖像中，通過目標(biāo)檢測算法識別出每一幀中的目標(biāo)，并在時(shí)間上跟蹤它們的位置和狀態(tài)。但目標(biāo)會(huì)不斷發(fā)生尺度、形變、遮擋等變化，而且還會(huì)有目標(biāo)出現(xiàn)和消失的情況，再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動(dòng)的情況（例如無人機(jī)高空檢測），就會(huì)給多目標(biāo)跟蹤造成一定的困難。由于我們不能控制目標(biāo)，所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。

鏡頭抖動(dòng)導(dǎo)致多目標(biāo)跟蹤易跟丟的原因：

1. 檢測框偏移：鏡頭抖動(dòng)時(shí)，整個(gè)場景內(nèi)的所有物體都會(huì)相對移動(dòng)，會(huì)導(dǎo)致目標(biāo)檢測器輸出的目標(biāo)框位置發(fā)生較大偏移。如果這種偏移超過了算法設(shè)定的閾值，就很容易導(dǎo)致前后幀目標(biāo)關(guān)聯(lián)失敗進(jìn)而導(dǎo)致目標(biāo)丟失。

2. 特征匹配困難：多目標(biāo)跟蹤算法依賴于目標(biāo)外觀特征的一致性來進(jìn)行幀間匹配。鏡頭抖動(dòng)可能會(huì)改變目標(biāo)在連續(xù)幀之間的外觀表現(xiàn)，導(dǎo)致特征匹配失敗，從而影響跟蹤性能。

3. 遮擋問題：鏡頭抖動(dòng)可能導(dǎo)致短時(shí)間內(nèi)目標(biāo)被場景中的其他元素遮擋，進(jìn)而使得目標(biāo)暫時(shí)從視野中消失，超過算法設(shè)定的閾值后再次出現(xiàn)時(shí)難以正確關(guān)聯(lián)。

4. 輸入數(shù)據(jù)質(zhì)量下降：劇烈的鏡頭抖動(dòng)還可能導(dǎo)致輸入圖像的質(zhì)量下降，如模糊或像素化，這些都會(huì)增加檢測和跟蹤的難度

多目標(biāo)檢測跟蹤和單目標(biāo)檢測跟蹤作為兩個(gè)不同的方向，解決的方法自然也不同。

因此，成都慧視針對于多目標(biāo)檢測跟蹤抖動(dòng)丟失的優(yōu)化方法是：

1. 改進(jìn)目標(biāo)檢測, 使用更加魯棒的目標(biāo)檢測算法。

2. 增強(qiáng)特征描述，利用深度學(xué)習(xí)提取更高級別的語義特征，這些特征對于小范圍內(nèi)的視角變化具有更好的不變性

3. 改進(jìn)運(yùn)動(dòng)模型，在算法中加入對攝像頭運(yùn)動(dòng)的估計(jì)，通過補(bǔ)償攝像頭運(yùn)動(dòng)來減小目標(biāo)真實(shí)運(yùn)動(dòng)與預(yù)測之間的差距。

4. 數(shù)據(jù)關(guān)聯(lián)策略，設(shè)計(jì)更靈活的數(shù)據(jù)關(guān)聯(lián)算法，允許更大的距離閾值來匹配候選目標(biāo)。