人工智慧也能自動編舞?什麼音樂都不是問題!?(1)

人工智慧也能自動編舞?什麼音樂都不是問題!?(1)
人工智慧也能自動編舞?什麼音樂都不是問題!?(1)

 

人工智慧自動編舞系統誕生!除了能駕馭各種音樂以外,舞蹈動作還不含糊喔!有興趣的同學快往下看!(1)

人工智慧學編舞,動作搭配音樂複雜度高

Google 正進行一項人工智慧研究,開發稱為「FACT (Full-Attention Cross-modal Transformer)」的模型,可以模仿、理解舞蹈動作,甚至可提高個人的編舞能力。Google 研究團隊為了訓練該模型,也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」,包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列,涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片,可生成逼真流暢的 3D 舞蹈動作。

Google 提到:雖然隨著音樂節拍編排出動作,是人類的本能;然而舞蹈是「需要練習」的藝術形式。專業的舞者都需要經過大量的、包含各式各樣舞步的曲目來訓練,才有編舞能力。這樣的訓練,對人類來說已不容易;對 ML(Maching Learning,機器學習)來說更是難上加難。因為要使用人工智慧來實現編舞,需要生成動力複雜度高的連續動作,同時還要捕捉動作與配樂間的非線性關係。

人工智慧如何學舞?Google修正AIST舞蹈資料庫成教材

Google 從現有的 AIST 舞蹈影片資料庫(一組帶有音樂伴奏的舞蹈影片,但無任何 3D 信息)生成 3D 動作資料庫。AIST 包含 10 種舞蹈類型:Old School(地板舞 Breaking、機械舞 Popping、鎖舞 Locking 和 Waack)以及 New School(Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz),雖然包含了許多舞者的多視角影片,但鏡頭都沒有經過校準。 Google 依研究人員的需求,根據常用的 SMPL 3D模型參數,修復 AIST 影片的拍攝校準正後的數值和 3D 人體動作,重建為「AIST++ 數位資料庫」,包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。

未經修正的 AIST 舞蹈影片資料庫如下所示:

Google 依研究人員的需求,根據常用的 SMPL 3D 模型參數,修復 AIST 影片的拍攝校準正後的數值,以及 3D 人體動作,重建為「AIST++」數位資料庫。重建後的「AIST++」包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。

AIST++ 數位資料庫還包括多視角同步圖片資訊,以便於應用在其他研究(如 2D/3D人體姿勢評估)。就我們所知,含有 1408 個序列、30 個主題和 10 個舞蹈流派的 AIST++ 是當前最大的 3D 人類舞蹈資料庫。

Google 使用 SMPL 3D 模型參數,將 AIST 舞蹈影片資料庫(上圖左)重建為具有 3D 動作的「AIST++」數位資料庫(上圖右)

AIST 資料庫原作為教學使用,記錄了多個真人舞者以相同的編舞搭配不同配樂的舞蹈影片——這是舞蹈中的常見作法。由於模型需要學習音樂和動作間的一對多布局,因此在跨模型序列到序列生成(cross-modal sequence-to-sequence generation)中,斷定是獨一無二的挑戰!Google 在 AIST++ 上仔細構建了非重疊訓練(non-overlapping train)和測試子集,以確保在子集間既不共享編舞、也不共享音樂。

本篇為系列文章,下一篇請點人工智慧也能自動編舞?什麼音樂都不是問題!?(2)

更多人工智慧相關文章請點閱下方連結~

其他閱讀

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

以色列就是靠這款人工智慧裝置大大提升戰鬥力?!()

只要動動嘴~寫程式最枯燥乏味的地方由人工智慧幫你完成!()

半夜情緒不對?人工智慧心理治療APP伴你身邊!!()

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *