隨著物聯(lián)網(wǎng)和人工智能的快速發(fā)展,實時視頻傳輸在嵌入式系統(tǒng)中變得越來越重要。無論是智能攝像頭、無人機還是工業(yè)監(jiān)控設(shè)備,都需要高效、低延遲的流媒體傳輸解決方案。
慧視推出的LLSM低延遲低帶寬流媒體傳輸模塊,就能夠?qū)崿F(xiàn)在500K帶寬環(huán)境下進行穩(wěn)定的流媒體傳輸,且延遲在50ms左右(不含數(shù)據(jù)鏈)。
該結(jié)果基于我們團隊完整而周密的延遲測試!
目前大多數(shù)流媒體視頻典型的傳輸鏈路如下:
攝像頭成像輸出 -> 流媒體傳輸模塊處理 -> 拉流端顯示
于是我們從這三個方面入手。
測試設(shè)備如下:
采集端:SDI相機,分辨率 1080p@60HZ
處理端:Rockchip RK3588,自帶硬件編解碼器
拉流端:
CPU:Intel Xeon E5-2650 v2 @ 2.6GHZ
GPU: Nvidia GeForce RTX 2060
顯示器:2k@120HZ顯示器,支持 PiP(可同時接收兩個輸入源,并以畫中畫的方式顯示)
網(wǎng)路環(huán)境:本地局域網(wǎng)
測試目的:在同分辨率同幀率的條件下,對比不同相機的成像延時。
測試步驟:
顯示器同時接入兩個輸入源,并開啟畫中畫模式。
一個輸入源接電腦輸出
一個輸入源接相機,相機通過SDI轉(zhuǎn)HDMI轉(zhuǎn)換器接入(該轉(zhuǎn)化器延時約為10ms)。
在電腦上運行高幀率秒表程序,相機對準秒表程序。
使用高幀率相機對屏幕進行拍照,照片中兩個秒表的差值即為相機的成像延時。
測試結(jié)果:
廠家一相機測試結(jié)果如圖,減去轉(zhuǎn)換器延時,相機延時為 23ms。
廠家二相機測試結(jié)果如圖,減去轉(zhuǎn)換器延時,相機延時為 61ms。
測試目的:在整體鏈路相同的條件下,對比使用不同協(xié)議時,整個鏈路的整體延時。
測試步驟:
使用延時為 23ms 的相機,接入 RK3588 流媒體模塊。
在電腦上運行高幀率秒表程序,相機對準秒表程序。
在電腦上運行專用拉流軟件,進行拉流顯示。
對整個屏幕進行高幀率錄屏。
使用 vlc 按幀查看視頻,視頻中兩個秒表的差值即為整體延時。
更換 RK3588 流媒體模塊的流媒體協(xié)議,重復(fù)上述步驟。
測試結(jié)果:
首先確認錄制的視頻確實為 120Hz!
使用 rtsp 協(xié)議的整體延時為 100ms。
使用 rtmp 協(xié)議的整體延時為 108ms。
使用自定義協(xié)議的整體延時為 60ms。
測試目的:在整體鏈路相同的條件下,對比使用不同拉流軟件時,整個鏈路的整體延時。
測試步驟:
與上述不同協(xié)議下的整體延時測試的測試步驟相同。
流媒體協(xié)議固定為 rtsp,使用不同的拉流軟件。
測試結(jié)果:
使用專用拉流軟件,延時為 100ms。
使用 vlc 進行拉流播放,延時為 192ms。
大部分流媒體視頻傳輸都有低帶寬高畫質(zhì)的需求。常見的流媒體協(xié)議(rtsp,rtmp)傳輸?shù)亩际?H264/H265 碼流,其傳輸時需要的帶寬與編碼后的碼流大小相關(guān)。
于是我們通過設(shè)置不同碼率,來對比成像畫質(zhì),且觀察帶寬波動。
1080p@60HZ 的視頻流,使用rtsp協(xié)議,編碼格式為 H264,并設(shè)置為 2M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖:
通過上圖可以發(fā)現(xiàn):
圖片有些部分已經(jīng)模糊了,碼率再低一點就沒法看了
碼率上下波動較大
1080p@60HZ 的視頻流,使用自定義協(xié)議,并設(shè)置為 0.5M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖:
通過上圖可以發(fā)現(xiàn):
圖片基本清晰可看
碼率上下波動小,基本穩(wěn)定
如何減少流媒體視頻傳輸?shù)难訒r:
使用成像延時低的相機。
使用性能強勁的CPU以及ISP處理能力強的MCU。
使用低延遲流媒體協(xié)議,甚至私有協(xié)議。
使用性能較好的硬件編解碼器。
使用專用拉流軟件。
使用優(yōu)良的網(wǎng)絡(luò)環(huán)境。
使用高刷新屏幕,屏幕刷新率至少為視頻幀率兩倍。
如何減少流媒體視頻傳輸?shù)膸挘?/span>
使用壓縮率高的編碼標(biāo)準(如H265),甚至私有協(xié)議。
將視頻縮小后再進行編碼傳輸。