URL2Video流水線 網頁端自動創作視頻的實現

URL2Video流水線 網頁端自動創作視頻的實現

在音樂創作、視頻重構和繪畫等多媒體內容制作時，由機器學習和計算方法驅動的創意工具能夠提供多種實用功能。

·繪畫

https://ai.googleblog.com/2017/04/teachingmachinestodraw.html

目前，Google正在積極探索這些創意工具的應用途徑。視頻制作這一創意過程尤其能從此類工具中獲益，因為過程中需要做出一系列決定，如：目標受眾更適合什么樣的內容、如何在場景中布置素材資源視覺上會更好，以及怎樣的時間安排能產生最吸引人的敘事……

不過，能否利用現有素材資源更高效地進行視頻創作企業的網站通常以豐富視覺表現描繪其服務或產品，這些視覺表現都可以重新用于其他多媒體格式，比如視頻，因此在資源有限的情況下也有可能覆蓋更廣泛的受眾。

我們在發表于UIST 2020的“在網頁中進行自動視頻創作實驗(Automatic Video Creation From a Web Page)”中介紹了URL2Video，這是一個研究原型流水線，可以讓作者在快速和可視化下將網頁自動轉換為短視頻。URL2Video從HTML中提取素材資源（文本、圖像或視頻）及其樣式（包括字體、顏色、圖形布局和層次結構），并將素材資源組織成一系列鏡頭，同時保持與頁面相似的觀感。當用戶指定的長寬比和時長，它就會將重新利用的素材渲染為適合產品和廣告的視頻。

·在網頁中進行自動視頻創作實驗

https://research.google/pubs/pub49618/

URL2Video概覽

假設用戶提供了業務介紹網頁的網址(URL)。URL2Video流水線將根據一套啟發式方法，自動從頁面中選擇關鍵內容，并決定每個素材資源的時間和視覺表現。這些啟發式方法由熟悉網頁設計和視頻廣告創作的設計師通過訪談研究提供基礎信息，具有常見的視頻編輯樣式，如內容層次結構、約束鏡頭中的信息量及其時間長度、為品牌提供一致的顏色和樣式等。URL2Video流水線利用這些信息解析網頁、分析內容和選擇視覺上突出的文本或圖像，同時保留其樣式，并根據用戶提供的視頻規范進行整理。

URL2Video從輸入網頁中提取結構內容和設計，做出自動編輯決策，在視頻中呈現關鍵消息。用戶定義的輸出視頻的時間（例如，以秒為單位的時長）和空間（例如，長寬比）約束均為考量因素

網頁分析

給定網頁網址，URL2Video可以提取DOM和多媒體材料。出于研究原型的目的，我們將域限制為包含突出的素材資源和標題的靜態網頁。這些素材資源和標題保留在遵循最新網頁設計原則的HTML層次結構中，最新原則鼓勵使用突出的元素、不同的部分和視覺焦點順序引導讀者感知信息。

·網頁設計原則

https://material.io/design/usability/accessibility.html#hierarchy

URL2Video將這些視覺上可區分的元素標識為素材資源組的候選列表，每個素材資源組都可能包含一個標題、一個產品圖像、詳細描述和行動號召按鈕，并捕獲每個元素的原始素材資源（文本和多媒體文件）和詳細的設計規范（HTML標記、CSS樣式和渲染位置）。然后，它再根據素材資源組的視覺外觀和注解（包括其HTML標記、渲染大小和在頁面上顯示的順序），通過為每個素材資源組分配一個優先級分數進行排名。這樣一來，占據頁面頂部較大面積的素材資源組就會得到較高的分數。

基于約束的素材資源選擇

在制作視頻時我們考慮兩個目標：

1.每個視頻鏡頭都要提供簡潔的信息；

2.視覺設計要與源頁面保持一致。

根據這些目標和用戶提供的視頻約束，包括預期的視頻時長（以秒為單位）和長寬比（通常為16:9、4:3、1:1等），URL2Video會自動選擇和排列素材資源組，優化優先級總分。為了使內容簡潔，它只呈現頁面中的主導元素，例如標題和一些多媒體素材資源。它會約束每個視覺元素的持續時間，以便觀眾感知內容。這樣，一個簡短的視頻能夠強調頁面頂部最突出的信息，而一個較長的視頻則包含更多的廣告系列或產品。

場景合成與視頻渲染

給定基于DOM層次結構的有序素材資源列表，URL2Video遵循從訪談研究中獲得的設計啟發式方法，做出有關時間和空間安排的決策，在單個鏡頭中呈現素材資源。它將元素的圖形布局轉換為視頻的長寬比，并應用包括字體和顏色在內的樣式選擇。它還會調整素材資源的呈現時間，使視頻更具動感和吸引力。最后，將內容渲染為MPEG4容器格式的視頻。

用戶控制

在研究原型的界面上，用戶可以查看從源頁面提取的每一個視頻鏡頭的設計屬性、重新排列素材、更改顏色和字體等細節設計并調整約束，生成新的視頻。

在URL2Video的創作界面（左）中，用戶指定源頁面的輸入網址、目標頁面視圖大小以及輸出視頻參數。URL2Video會對網頁進行分析，提取主要視覺組件。它構成一系列場景，將關鍵幀可視化為故事板。這些組件被渲染至滿足輸入時空約束的輸出視頻。用戶可以播放視頻，檢查設計屬性（右下），并進行調整以生成視頻變化，例如重新安排場景順序（右上）

URL2Video用例

我們在多種現有網頁上演示了端到端URL2Video流水線的性能。下面我們重點介紹一個示例結果，其中URL2Video將一個嵌入多個簡短視頻剪輯的頁面轉換為一個12秒的輸出視頻。注意流水線如何在捕獲自源頁面的視頻中，對字體和顏色選擇、時間和內容順序做出自動編輯決策。

URL2Video從我們的Google搜索介紹頁面（上）識別關鍵內容，包括標題和視頻素材。同時考慮呈現流、源設計和輸出約束，將它們轉換為視頻（12秒的橫向視頻；下）

為了評估自動生成的視頻，我們與Google的設計師展開了一項用戶研究。研究結果表明，URL2Video從網頁中有效提取了設計元素，并通過引導視頻創作過程為設計師提供了支持。

未來計劃

雖然當前的研究重點是視覺呈現，但我們也在開發支持視頻編輯中的音軌和配音的新技術。總而言之，在我們設想的未來中，創作者可以專注于高級決策，由ML模型交互式地建議詳細的時間和圖形編輯，最終實現多平臺的視頻創作。

致謝

我們非常感謝我們的論文合著者Zheng Sun(Research)和Katrina Panovich(YouTube)。我們還要感謝為URL2Video做出貢獻的同事：Jordan Canedy、Brian Curless、Nathan Frey、Madison Le、Alireza Mahdian、Justin Parra、Emily Ryan、Mogan Shieh、Sandor Szego和Weilong Yang（按姓氏字母順序排列）。我們非常感謝領導層Tomas Izo、Rahul Sukthankar和Jay Yagnik的支持。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。