導(dǎo)讀:比賽當(dāng)天,貝銳資深產(chǎn)品總監(jiān)董恩雙先生上臺進(jìn)行了演講,就公司旗下向日葵遠(yuǎn)程控制產(chǎn)品所使用的基于場景特性和視覺顯著性視頻編碼算法進(jìn)行了講解。
近日,由廣州市海珠區(qū)人民政府、琶洲實驗室等多家單位聯(lián)合主辦,阿里云、阿里云創(chuàng)新中心執(zhí)行支持的首屆廣州·琶洲算法應(yīng)用國際大賽進(jìn)入最終決賽階段。貝銳向日葵憑借基于遠(yuǎn)程控制的一站式行業(yè)解決方案,以及方案中展示的基于場景特性和視覺顯著性編碼優(yōu)化算法,在“公共算法賽道”中以第一名的成績成功殺入半決賽,其技術(shù)實力獲得各路專家評委的廣泛認(rèn)可。
作為貝銳旗下國民級遠(yuǎn)程控制品牌,向日葵遠(yuǎn)程控制在遠(yuǎn)程控制領(lǐng)域耕耘十余年,技術(shù)積累深厚,行業(yè)經(jīng)驗豐富,目前已擁有5000萬+注冊用戶,70萬+企業(yè)客戶,接入設(shè)備超過3.2億,其企業(yè)解決方案覆蓋包括企業(yè)遠(yuǎn)程辦公、IT運(yùn)維、技術(shù)支持在內(nèi)的多個領(lǐng)域。
比賽當(dāng)天,貝銳資深產(chǎn)品總監(jiān)董恩雙先生上臺進(jìn)行了演講,就公司旗下向日葵遠(yuǎn)程控制產(chǎn)品所使用的基于場景特性和視覺顯著性視頻編碼算法進(jìn)行了講解。
貝銳向日葵資深產(chǎn)品總監(jiān)董恩雙先生
該算法是繼SADDC算法之后,向日葵團(tuán)隊在遠(yuǎn)程控制領(lǐng)域,在核心的視頻編碼算法方向取得的又一項重要成果。通用視頻編碼器主要面向自然風(fēng)景,生產(chǎn)生活等視頻場景,為獲得指定比特率下最小的失真,編碼器會進(jìn)行幾十次算法模型的預(yù)測計算,花費(fèi)極高的性能和時間代價。而且,編碼效率越高算法復(fù)雜度越大。但遠(yuǎn)程控制場景下的視頻編碼有很大的不同,電腦/手機(jī)屏幕顯示的圖像元素往往相對簡單,在向日葵的三大解決方案中,視頻的幀內(nèi)編碼有很大的空間冗余,幀間編碼也有很大的時間冗余。這些都可以進(jìn)一步壓縮。據(jù)此,向日葵提出了基于應(yīng)用感知和視覺顯著性的全新編碼算法。
應(yīng)用焦點(diǎn)區(qū)
根據(jù)當(dāng)前激活的窗口窗體,被控端向日葵繪制用戶的關(guān)注區(qū),結(jié)合用戶的鍵盤鼠標(biāo)動作和光標(biāo)位置,進(jìn)一步確定焦點(diǎn)區(qū)。編碼時,在指定的比特率下,為焦點(diǎn)區(qū)分配更多的比特使它更清晰,同時,降低非焦點(diǎn)區(qū)的編碼復(fù)雜度,減小比特分配,節(jié)省編碼時間。在下面的示例中,當(dāng)前正在使用vscode編輯文檔,同時有其他程序在播放視頻。根據(jù)上述原則,向日葵劃分了焦點(diǎn)區(qū)。
視覺顯著區(qū)
人類有100億視神經(jīng)細(xì)胞,但人類視覺真正能處理的視覺信息非常有限,有研究表明,人類有效視覺如果按帶寬計算僅相當(dāng)于8Mbps。即便如此,人類視覺仍然具有明顯的選擇性。1998年,南加州大學(xué)的Itti 提出基于顏色,亮度,方向三種視覺特征的顯著值計算。模擬生物對圖像的注視點(diǎn)的選擇性注意模型。2012年,Stas Goferman進(jìn)一步提出了Context-Aware Saliency Detection算法。它基于以下四項準(zhǔn)則進(jìn)行計算:
以局部低特征為起點(diǎn),考慮對比度,顏色等因素
在全局抑制重復(fù)特征,保持特異性特征
根據(jù)Gestalt laws,視覺組織形式通常有一個或多個顯著中心
人臉、規(guī)則物、認(rèn)知物優(yōu)化性
視覺顯著區(qū)示意圖
計算出視覺顯著區(qū)后,與焦點(diǎn)區(qū)相同的處理,算法會以不同權(quán)重分配比特數(shù)。
在比賽現(xiàn)場,貝銳資深產(chǎn)品總監(jiān)董恩雙表示:焦點(diǎn)區(qū)和視覺顯著區(qū)在遠(yuǎn)程控制場景中有重要價值,在通用算法瓶頸越來越明顯的大背景下,向日葵的視頻編碼算法仍然可以獲得較大的編碼效率空間,這種以場景為中心的算法演進(jìn),是貝銳“連接無處不在”使命的技術(shù)基礎(chǔ)。
關(guān)于貝銳
貝銳創(chuàng)立于2006年,以“連接無處不在”為使命,致力于為中小企業(yè)建立人與設(shè)備、設(shè)備與設(shè)備、網(wǎng)絡(luò)與網(wǎng)絡(luò)的安全連接,憑借自主創(chuàng)新累積專利及著作權(quán)70余項,打造了向日葵遠(yuǎn)程控制、蒲公英智能組網(wǎng)、花生殼內(nèi)網(wǎng)穿透三大品牌服務(wù),為企業(yè)提供從智能通信產(chǎn)品到垂直應(yīng)用的一站式解決方案,相繼獲得ISO9001、ISO27001體系認(rèn)證、國家公安部信息系統(tǒng)安全等級三級認(rèn)證,榮獲“高新技術(shù)企業(yè)” “上海軟件核心競爭力企業(yè)” “中國互聯(lián)網(wǎng)行業(yè)名優(yōu)企業(yè)”等多項殊榮。
目前,貝銳已經(jīng)歷多輪融資,并與科大訊飛、長虹、美的、小米、TP-LINK、高通、三星等國內(nèi)外廠商達(dá)成合作,累計服務(wù)超過70萬家企業(yè),注冊用戶超5000萬,接入設(shè)備超3.2億臺。隨著新一輪戰(zhàn)略融資的完成,貝銳將進(jìn)一步加大產(chǎn)品打磨,深耕技術(shù)研發(fā),為企業(yè)打造更加簡單、高效、穩(wěn)定、安全的優(yōu)質(zhì)服務(wù),助力合作伙伴打通信息壁壘,實現(xiàn)數(shù)字化轉(zhuǎn)型升級。