美國專利商標局(USPTO)本周剛剛通過了一項蘋果公司關于在低帶寬情況下使用預錄視頻或修改過的圖像使FaceTime通話更流暢,實現無縫流暢連貫圖像的專利。
蘋果該項新專利名為“使用基于內容的幀搜索實現視頻傳輸”,可以解決用戶在FaceTime過程中視頻通過出現幀率過低或丟幀的現象。目前iPhone或iPad用戶在低帶寬網絡使用FaceTime通話時經常遇到不流暢的丟幀問題。
目前,視頻通信技術在很多方面由于受到了現有無線移動蜂窩數據的帶寬限制,在某些情況下,像蘋果FaceTime由于丟幀、屏幕分辨率過低或音頻質量太差而導致無法使用。
該項專利詳細介紹了一種可以通過之前傳輸的視頻幀畫面和“視頻幀內容信息”直接被應用到視頻通話中來減少兩臺設備之間數據傳送量的方法。這種方法可以從一個給定的關聯視頻幀中產生一組參數或系數。例如可以通過物體的標志點或面部特征點、定位和規模等系數來來跟蹤和儲存視頻傳輸內容。同時這些數據可以被加工成可搜索的數據庫,在數據庫中可以檢索出每一幀畫面。
在低帶寬的場景中,對于給定的實時視頻內容一臺設備可以計算并發送一組系,而不是某個視頻幀。而另一方面,當帶寬足夠通暢時,完整的圖像相關的系數可以發送和儲存。
當連接不良并且開始丟幀時,系統可以使用系數從之前存儲的一個視頻數據庫中搜索出相似的對象。在給出的例子中,一個直播視頻的系數在視頻幀數據庫中找到了一個最佳匹配。當相似對象特性的幀被發現時,它將被檢索并顯示在接收裝置上。
? ? 在另一個場景中,生成的系數可以被用于在先前記錄的視頻幀中,并且將圖像智能變形,所得的結果被插入到直播視頻以代替丟幀處理。最后,被視作為背景內容的對象要比主要對象獲得更低分辨率的視頻傳輸。比如在呈現人物面部的分辨率要比墻壁背景的分辨率更高,這樣就會在節省流量的前提下清晰的展示出主要的內容。
除了在通話質量上能夠獲得明顯的好處之外,這項技術也可以用于減少在已發送視頻中用于動態再現場景參數的數據消耗。盡管在每隔三個直播幀中才會插入一個人工生成的視頻幀,但它的儲量仍然非常巨大。
就像之前大多數的蘋果公司專利一樣,我們無法確認該項專利究竟何時會被真正應用到產品中。不過隨著現在數據成本的上漲以及智能手機高分辨率相機模塊的應用越來越多,這一功能對于經常使用FaceTime視頻通過的用戶來說將非常有利。
蘋果公司該項“變形和匹配FaceTime視頻幀”專利首次在2012年進行提交,專利發明人為Alex Tremain Nelson和Richard E.Crandall。
? ??