迪士尼人工智慧換臉技術特效為目前業界最強?!(下)

迪士尼人工智慧換臉技術特效為目前業界最強?!(下)
迪士尼人工智慧換臉技術特效為目前業界最強?!(下)

迪士尼運用人工智慧科技提升換臉特效造福我們觀眾啦!!快一起來看看有多神奇~(下)

本篇為上篇,下篇請點此迪士尼人工智慧換臉技術特效為目前業界最強?!(上)

首個百萬畫素換臉方法

研究團隊提出了一個漸進式訓練的梳狀模型(comb model),並配合編碼器進行模型訓練。

▲ Disney Research 公開之換臉過程示意圖。(圖片擷取自 Disney Research)

 

  • 步驟 1:對原始圖像 xt 進行臉部檢測辨識,並提取關鍵點。
  • 步驟 2:將人臉分辨率歸一化(即標準化剪裁)為 1024×1024 像素,並保存歸一化參數
  • 步驟 3:將步驟 1、2 預處理好的圖像輸入編碼器中,用相應的解碼器解碼。
  • 步驟 4:使用步驟 2 保存的歸一化參數,在圖像「x˜_s」上反轉圖像歸一化結果,將生成的圖像與原始圖像 xt 進行多頻帶混合,得到人臉交換的成果圖像。

而畫素方面,研究團隊表示他們曾使用開源 deepfake 模型 DeepFakeLab,但成果影像的分辨率最高只到 256×256 像素。而研究團隊所採用的漸進式、對原始圖像進行預訓練的方法可從中提取出較高解析度圖像。下圖可看出經過訓練模型,輸出的人臉畫素與效果都優於未經訓練的結果。

▲圖爲迪士尼與 DeepFakes、DeepFaceLab 和 Nirkin 等換臉方法的效果對比。(圖片擷取自 Disney Research)

 

迪士尼換臉 AI 有待突破的缺點

儘管研究團隊證明在細節、解析度以及自然度上,迪士尼 AI 人工智慧 都優於其他換臉模型,但團隊也承認他們的技術存在明顯的侷限性。

如「有戴眼鏡的臉」無法穩定進行人臉交換,問題不在於眼鏡部分無法渲染,而是無法恰當捕捉到表情和姿勢。研究人員曾嘗試調整輸入源,但依然無法穩定掌握產出品質。還有,雖然人臉正面直視鏡頭的圖像換臉效果良好,但俯視、仰視或側面等人臉角度與特殊光源下的換臉,可能會導致不完善的生成結果,如模糊和僞影。

  

▲ 換臉生成失敗示意圖。(圖片擷取自 Disney Research)

 

不過研究人員補充道,這類問題實際應用於電影場景中影響不大,亦可以經由其他方式解決。

未來當這項 AI 人工智慧 技術更加成熟,得以廣泛應用後,影視作品能有更逼真自然、栩栩如生的特效,對觀眾來說也是一大福音啊!

 

 

更多關於人工智慧的文章請點閱下方連結!!

 

 

 

其他閱讀

線上職訓正夯 從零開始花半年錄取軟體工程師

所有的新創業者都需要 SEO 7 個理由!

阿嬤也能coding了?2020人工智慧想對我們做什麼?

人工智慧,機器人,Python,大數據到底有什麼關係?

你家萌寵也能成為人工智慧機器人的訓練師~可能嗎?()

人工智慧不僅可以自動駕駛,現在還會打棒球?!()

人工智慧也會騎重機飆車?!頂尖車手擔憂快失業!!

迪士尼人工智慧換臉技術特效為目前業界最強?!(上)

迪士尼人工智慧換臉技術特效為目前業界最強?!(上)
迪士尼人工智慧換臉技術特效為目前業界最強?!(上)

迪士尼運用人工智慧科技提升換臉特效造福我們觀眾啦!!快一起來看看有多神奇~(上)

迪士尼近日發表其研究最新「換臉」技術,不但能透過 AI 人工智慧 自動替換照片或影片內的人臉,成像更是突破百萬畫素,研究人員並表示其技術是當前業內最高水準。

雖然目前還無法廣泛應用在電影製作中,但依然是換臉領域的又一突破,並且也逐步規劃登場好萊塢。

迪士尼於自家網頁「迪士尼研究中心 」(Disney Research)上發表一篇文章,公開了與蘇黎世聯邦理工學院(ETH Zurich)研究團隊共同研究的人臉替換技術,能透過神經網絡自動轉換包含影片、照片等圖像中的人臉面孔,解析度可達百萬畫素。

迪士尼「親上火線」研發換臉技術,自然是希望能應用在影視製作上,為觀眾帶來更逼真的畫面、更真實的視覺特效與節省後製成本。

那有望衝擊影視產業、發揮巨大效用的迪士尼換臉 AI 人工智慧 ,實際效果究竟如何呢?

人眼看不出區別 AI 人工智慧 換臉將粉墨登場大螢幕

▲Disney Research 所釋出的官方影片,實際演示 AI 人工智慧 換臉的真實效果。

迪士尼研究中心除了於網站上公開一篇達 16 頁研究報告,亦上傳一支演示影片。

影片可以看到,AI 人工智慧 將下排二位演員的唇部、眼部等局部人臉進行分析,並融合在「目標演員」的面孔上。

從動態影像可以看出融合後的臉部動作非常自然,甚至 AI 人工智慧 能即時隨著口部開閉動作融合,也不會讓觀眾感到違和或不適。研究團隊也強調,比起當前常見的靜態圖像換臉,其技術在動態影像的表現更佳。

▲ 迪士尼的換臉 AI 人工智慧 不只能換臉換得天衣無縫,甚至還有其他換臉 AI 人工智慧 沒有的高解析度。(圖片擷取自 Disney Research)

 

並且「擅於局部融合」與「高畫質解析度」這兩項特點搭配十分相得益彰,使得迪士尼的換臉 AI 人工智慧 能極大地擴展了人臉替換在電影中的實際應用。

未來有望能省去繁複的後期製作工作,交給 AI 輕鬆完成。諸如交換替身演員的臉孔、為年齡逐漸增長角色增添皺紋或是重現昔日巨星風采,迪士尼就曾在 2016 年的電影《星際大戰外傳:俠盜一號》(Rogue One: A Star Wars Story)中用特殊技術,讓飾演「塔金總督」的已故演員彼得.庫辛及飾演「莉亞公主」的嘉莉.費雪重返大螢幕。

▲ 迪士尼的換臉 AI 使用的漸進式演算法(Progressive TrAIning),可明顯看到經訓練的人臉畫素遠高於未經訓練的結果。(圖片擷取自 Disney Research)

 

雖然《俠盜一號》的換臉效果令人驚艷,但迪士尼研究人員指出由於技術尚未成熟,不但成本高昂,而且需耗費數個月的時間才能獲得幾秒鐘的成功換臉畫面。而這次研發的新技術,建構好原始模型後搭配上適宜的運算能力,AI 人工智慧 就能在數小時內製作出換臉的動態影像。

除了生動自然,更重要的是換臉後輸出的成果圖像有百萬級畫素的解析度,而局部臉孔交換在動態影片能清晰的呈現,對電影後製的重要性不言而喻。

過去換臉技術因著重在臉部替換的平滑化,對提高畫素則沒有太多重視,導致解析度過低成為過去換臉技術的硬傷,才會出現如「在手機上效果絕佳的換臉影片,投放在更大的屏幕上呈現,卻看到明顯的顆粒與其他瑕疵」的狀況。

那迪士尼研究人員是怎麼實現「百萬畫素換臉 AI 人工智慧」的呢?

 

 

本篇為上篇,下篇請點此迪士尼人工智慧換臉技術特效為目前業界最強?!(下)

更多關於人工智慧的文章請點閱下方連結!!

 

 

 

其他閱讀

線上職訓正夯 從零開始花半年錄取軟體工程師

所有的新創業者都需要 SEO 7 個理由!

阿嬤也能coding了?2020人工智慧想對我們做什麼?

人工智慧,機器人,Python,大數據到底有什麼關係?

你家萌寵也能成為人工智慧機器人的訓練師~可能嗎?()

人工智慧不僅可以自動駕駛,現在還會打棒球?!()

人工智慧也會騎重機飆車?!頂尖車手擔憂快失業!!

英國犯罪影集結合人工智慧元素讓你欲罷不能!!

英國犯罪影集結合人工智慧元素讓你欲罷不能!!
英國犯罪影集結合人工智慧元素讓你欲罷不能!!

人工智慧無所不在!!現在連電視影集都出現此元素~驚悚氛圍看過的都說好看!!

AI人工智慧的 Deepfake 技術可以用來殺人?驚悚犯罪英劇《真相捕捉》劇情曲折刺激,用無處不在的監視攝影和 Deepfake 技術告訴你:你信以為真的事物都可以是偽造的!

峰迴路轉的 6 集短打影集

由BBC ONE拍攝播出的英劇《真相捕捉》(The Capture)日前播出最後一集,2019 年 9 月開始播出一共 6 集,集集精彩、引人入勝,堪稱是今年最受好評的驚悚犯罪影集之一。

▲ 英劇【真相捕捉】掀起人工智慧犯罪疑雲

故事主角是一位名叫尚恩.艾默里(Shaun Emery)的英國軍人,因服役時在阿富汗殺害塔利班戰俘而被定罪,但卻在服刑坐牢 6 個月後,因為被當成關鍵證據的錄影片段有漏洞被推翻而無罪釋放。

剛重獲自由的尚恩,因其律師漢娜一直以來都信任他無罪,進而對漢娜產生好感,並出獄後在大街上向她表白;但此時,監控錄影顯示的卻是尚恩毆打、並綁架了漢娜律師,且漢娜此後便人間蒸發。於是出獄不到 24 小時的尚恩,馬上因為另一個監視錄影畫面,捲入一起新案件中。

因「罪證確鑿」,尚恩原本要被再次抓回警局,但此時重案組的警官瑞秋卻突然撤銷對尚恩的控訴,原來她打算派人跟蹤尚恩回家,試著找到失蹤的漢娜,而她本人則坐鎮監控室,從監視錄影看著尚恩。

然而,他們愕然發現接下來的一切,監控畫面和現實的場景完全不一樣!

瑞秋看到尚恩坐上計程車,跟一個持槍的神秘男人碰面;但跟蹤尚恩的兩名警察看到的是整個街道空無一人,更沒有什麼計程車。難道是畫面出現了延遲,還是……監控遭到入侵竄改?

  

最終他們確定了整個監控畫面都是假的。此時的尚恩,正被一個神秘組織關在房間裡……

《真相捕捉》圍繞作為判案證據影片的真真假假,鋪陳出警察局、情報部門、維權組織等三方力量交鋒的精采故事,包含「司法正義」、「假新聞」、「AI 換臉」等議題的探討與啟示。

攝影機成為日常生活裡的重大危機

《真相捕捉》最後一集在 BBC 播出時,吸引了 1,400 萬英國人觀看,這部影集獲得英國大眾這麼熱烈的迴響,或許跟倫敦是鏡頭安裝密度極高的城市有關。

早在2007年英國皇家工程科學院就曾有調查,報告英國設有 420 萬個閉路電視監控攝影鏡頭,平均每 14 人就有一個,數量高居全球第 5。

倫敦居民每日平均受到 300 個攝影鏡頭的監控拍攝,英國專業消費者網站 Comparitech 在 2019 年 9 月曾有調查顯示,倫敦是歐洲攝像頭監控最嚴密的城市。在這密如蛛網的監控體系下,個人要維護隱私權彷彿成了天方夜譚。

但,比天羅地網般的監控攝影機更令需要警惕的是 Deepfake 技術。

AI 技術武器化

無論是無處不在的監視攝影機或Deepfake技術,都指向 AI 人工智慧一個令人備感擔憂的未來──武器化。「武器」除了無人機、無人艦艇之外,國際間也不斷有停止研發 AI 武器的呼籲;但也有許多沒有實體、但依舊深深威脅著我們生活的「武器」,如劇中出現的 Deepfake 技術

Deepfake 是一種影片換臉的 AI 技術,簡單分解它的步驟:

  • 分析目標對象各個角度的大量照片
  • 透過演算法製造出目標對象的各種表情,藉此和影片中某個角色的面部表情完全契合
  • 影像合成,看起來就像目標對象真的參與了影片

隨著AI技術不斷進步與應用在現實生活,AI 的武器化如今已經被廣泛視為近年最值得關注的安全威脅之一。史蒂芬‧霍金也曾表示,數位個人助理 Siri、Google Now 以及 Cortana 都只是 IT 軍備競賽的預兆,未來數十年競賽將更加激烈。

眼見再也不能為憑

即使現今對 Deepfake 普遍的態度是抵制,如推特、Facebook、亞馬遜、Google、微軟等科技巨頭都開始研擬阻止、破解假影片的措施,但依然難以消弭它對我們的威脅。

密西根大學社交媒體責任中心前首席技術專家 Aviv Ovadya 擔心:「Deepfake 會讓未來社會將出現『真實冷感』(reality apathy)現象。」指經常接觸虛假資訊會讓人認為所有訊息都是一場騙局。在世人對難以信任接收到的訊息時,隨之而來的是社會信任的坍方。

《捕捉真相》讓身處 AI 人工智慧當道下的我們,看到技術可能會帶來的危害,帶來更多啟發與探討。眼見為憑的信條被推翻,科技進步的速度快得無法想像,如果不想讓自己被這些科技操控,只能先一步了解它們了。

 

更多人工智慧相關文章請點下方連結~

 

 

 

其他閱讀

醫院攜手和AI人工智慧系統合作,快速偵測敗血症提高病患存活率!!

在煩惱你的台灣國語手機聽不懂嗎? 讓人工智慧雅婷來幫你搞定一切吧!!

AI人工智慧自主做好重複性高的工作,讓大賣場員工更專於顧客服務上!!

重新學習UI UX Python課程 打好基礎輕鬆領高薪

有一個傳說 來上Java課程還能任高薪職缺 媒合率竟高達百分之90

人工智慧讓你看清肥胖的原因 讓Python課程教你如何做到

美國NASDAQ上市公司、外商IT教育培訓企業

2天考取Google Ads證照!新手廣告投放攻略

擺脫設備工程師血汗職涯, 零基礎的我成功轉職 Python 資料工程師

44歲媽咪順利轉職網頁設計師, 家庭事業都得意

零基礎如何花 14 小時考取 GoogleAds 認證?五種 GoogleAds 廣告不藏私攻略

從無到有 挑戰14小時取得Google證照

再也沒有眼見為憑?英劇結合人工智慧拍出精彩影集!!

再也沒有眼見為憑?英劇結合人工智慧拍出精彩影集!!
再也沒有眼見為憑?英劇結合人工智慧拍出精彩影集!!
以人工智慧為主軸的驚悚英劇你看過了嗎?集集精彩不容錯過!!
AI人工智慧的 Deepfake 技術可以用來殺人?驚悚犯罪英劇《真相捕捉》劇情曲折刺激,用無處不在的監視攝影和 Deepfake 技術告訴你:你信以為真的事物都可以是偽造的!

峰迴路轉的 6 集短打影集

由BBC ONE拍攝播出的英劇《真相捕捉》(The Capture)日前播出最後一集,2019 年 9 月開始播出一共 6 集,集集精彩、引人入勝,堪稱是今年最受好評的驚悚犯罪影集之一。

▲ 英劇【真相捕捉】掀起人工智慧犯罪疑雲

故事主角是一位名叫尚恩.艾默里(Shaun Emery)的英國軍人,因服役時在阿富汗殺害塔利班戰俘而被定罪,但卻在服刑坐牢 6 個月後,因為被當成關鍵證據的錄影片段有漏洞被推翻而無罪釋放。

剛重獲自由的尚恩,因其律師漢娜一直以來都信任他無罪,進而對漢娜產生好感,並出獄後在大街上向她表白;但此時,監控錄影顯示的卻是尚恩毆打、並綁架了漢娜律師,且漢娜此後便人間蒸發。於是出獄不到 24 小時的尚恩,馬上因為另一個監視錄影畫面,捲入一起新案件中。

因「罪證確鑿」,尚恩原本要被再次抓回警局,但此時重案組的警官瑞秋卻突然撤銷對尚恩的控訴,原來她打算派人跟蹤尚恩回家,試著找到失蹤的漢娜,而她本人則坐鎮監控室,從監視錄影看著尚恩。

然而,他們愕然發現接下來的一切,監控畫面和現實的場景完全不一樣!

瑞秋看到尚恩坐上計程車,跟一個持槍的神秘男人碰面;但跟蹤尚恩的兩名警察看到的是整個街道空無一人,更沒有什麼計程車。難道是畫面出現了延遲,還是……監控遭到入侵竄改?

  

最終他們確定了整個監控畫面都是假的。此時的尚恩,正被一個神秘組織關在房間裡……

《真相捕捉》圍繞作為判案證據影片的真真假假,鋪陳出警察局、情報部門、維權組織等三方力量交鋒的精采故事,包含「司法正義」、「假新聞」、「AI 換臉」等議題的探討與啟示。

攝影機成為日常生活裡的重大危機

《真相捕捉》最後一集在 BBC 播出時,吸引了 1,400 萬英國人觀看,這部影集獲得英國大眾這麼熱烈的迴響,或許跟倫敦是鏡頭安裝密度極高的城市有關。

早在2007年英國皇家工程科學院就曾有調查,報告英國設有 420 萬個閉路電視監控攝影鏡頭,平均每 14 人就有一個,數量高居全球第 5。

倫敦居民每日平均受到 300 個攝影鏡頭的監控拍攝,英國專業消費者網站 Comparitech 在 2019 年 9 月曾有調查顯示,倫敦是歐洲攝像頭監控最嚴密的城市。在這密如蛛網的監控體系下,個人要維護隱私權彷彿成了天方夜譚。

但,比天羅地網般的監控攝影機更令需要警惕的是 Deepfake 技術。

AI 技術武器化

無論是無處不在的監視攝影機或Deepfake技術,都指向 AI 人工智慧一個令人備感擔憂的未來──武器化。「武器」除了無人機、無人艦艇之外,國際間也不斷有停止研發AI 武器的呼籲;但也有許多沒有實體、但依舊深深威脅著我們生活的「武器」,如劇中出現的 Deepfake 技術

Deepfake 是一種影片換臉的 AI 技術,簡單分解它的步驟:

  • 分析目標對象各個角度的大量照片
  • 透過演算法製造出目標對象的各種表情,藉此和影片中某個角色的面部表情完全契合
  • 影像合成,看起來就像目標對象真的參與了影片

隨著AI技術不斷進步與應用在現實生活,AI 的武器化如今已經被廣泛視為近年最值得關注的安全威脅之一。史蒂芬‧霍金也曾表示,數位個人助理 Siri、Google Now 以及 Cortana 都只是 IT 軍備競賽的預兆,未來數十年競賽將更加激烈。

眼見再也不能為憑

即使現今對 Deepfake 普遍的態度是抵制,如推特、Facebook、亞馬遜、Google、微軟等科技巨頭都開始研擬阻止、破解假影片的措施,但依然難以消弭它對我們的威脅。

密西根大學社交媒體責任中心前首席技術專家 Aviv Ovadya 擔心:「Deepfake 會讓未來社會將出現『真實冷感』(reality apathy)現象。」指經常接觸虛假資訊會讓人認為所有訊息都是一場騙局。在世人對難以信任接收到的訊息時,隨之而來的是社會信任的坍方。

《捕捉真相》讓身處 AI 人工智慧當道下的我們,看到技術可能會帶來的危害,帶來更多啟發與探討。眼見為憑的信條被推翻,科技進步的速度快得無法想像,如果不想讓自己被這些科技操控,只能先一步了解它們了。

 

更多人工智慧相關文章請點下方連結~

 

 

 

其他閱讀

醫院攜手和AI人工智慧系統合作,快速偵測敗血症提高病患存活率!!

在煩惱你的台灣國語手機聽不懂嗎? 讓人工智慧雅婷來幫你搞定一切吧!!

AI人工智慧自主做好重複性高的工作,讓大賣場員工更專於顧客服務上!!

重新學習UI UX Python課程 打好基礎輕鬆領高薪

有一個傳說 來上Java課程還能任高薪職缺 媒合率竟高達百分之90

人工智慧讓你看清肥胖的原因 讓Python課程教你如何做到

美國NASDAQ上市公司、外商IT教育培訓企業

2天考取Google Ads證照!新手廣告投放攻略

擺脫設備工程師血汗職涯, 零基礎的我成功轉職 Python 資料工程師

44歲媽咪順利轉職網頁設計師, 家庭事業都得意

零基礎如何花 14 小時考取 GoogleAds 認證?五種 GoogleAds 廣告不藏私攻略

從無到有 挑戰14小時取得Google證照