導(dǎo)讀:AI是如何打開這位年輕獨立游戲開發(fā)者的新世界,他又給AI帶來了什么?
接通微信語音后,手機里傳來年輕雀躍的聲音——“嗨您好,我是大谷”。就這樣,我們與這位旅居紐約的90后AI修復(fù)師、獨立游戲開發(fā)者、獨立藝術(shù)家,進行了一場越洋對話。
相隔12個小時的時差,北京時間的早上10點,紐約城已結(jié)束一天喧囂、正邁進萬籟俱寂的夜晚。盡管如此,電話那頭大谷的聲音依然十分有活力,并且不吝嗇分享每一件作品的整個制作過程?!捌鋵嵨铱梢灾v一下這個是怎么做的……”讓人感覺他可以充滿精力地講幾個小時。
最近幾個月,這個28歲的北京小伙憑借一個“AI修復(fù)百年前老北京”的視頻“火出圈”,B站217萬的播放量、沖上微博熱搜都還在其次。從5月份發(fā)布的那條視頻起,大谷的B站、微博粉絲數(shù)目日漸增多,有涌來的熱情關(guān)注者在評論里稱贊他——“給大佬跪了”。
▲百年前的北京城AI修復(fù)前后效果對比(作者-大谷)
這位留有一撮小胡子的年輕人就此成為許多人眼中的“寶藏男孩”。
而對這一切,他也不無意外,“(AI修復(fù)北京城視頻發(fā)布前)我只是覺得可能一些老北京人會有共鳴,但我沒想到大家都這么有共鳴?!彼f。
在今年5月8日的視頻爆火之前,他已經(jīng)在B站發(fā)布了92支視頻。我們不禁好奇,這支爆火的“AI修復(fù)老北京的視頻”創(chuàng)意來自哪里?背后有什么特別的故事?AI是如何打開這位年輕獨立游戲開發(fā)者的新世界,他又給AI帶來了什么?
記者有幸獲得與大谷對話的機會,并帶著這些疑問,走近這位旅居紐約的北京小伙。
▲大谷(全名:胡文谷)
一、央視點贊的90后AI修復(fù)師
瀏覽大谷在他的B站頻道“大谷的游戲創(chuàng)作小屋”發(fā)布的92支視頻可以發(fā)現(xiàn),過去七八年間,這位北京小伙分享的內(nèi)容大多為繪畫教程、作曲教程等。大谷介紹,他開始接觸AI修復(fù)的時間是2019年年底,“AI修復(fù)百年前的北京城”是他的首個老片修復(fù)作品。
“AI修復(fù)老北京”原片是經(jīng)過加速處理的黑白默片,由一位加拿大人拍攝。一天,大谷在瀏覽YouTube時,偶然發(fā)現(xiàn)了人民日報上傳的這支視頻。
當視頻中百年前的人物與鏡頭發(fā)生對視,大谷頗有感觸,“百年前這些人確實在這片華夏大地上生活過,讓我有一種穿越時空的感覺”。于是,大谷忍不住技癢,想要嘗試用AI技術(shù)“還原”一個更加真實的北京城。經(jīng)過約7天的修復(fù),就有了視頻中的效果。
▲“AI修復(fù)百年前北京城 ”視頻片段
所謂“百聞不如一見”,長袍馬褂、胡同門樓……10分鐘的視頻呈現(xiàn)出的是老北京最原汁原味的風(fēng)光,也勾起許多人的歷史情懷。目前,這支視頻的B站播放量保持在217萬之多。
另外,當大谷把視頻時間軸拉到正常的時間流速后,更多細節(jié)浮現(xiàn)了出來。大谷說:“比如你能看到有躲在柱子后頭偷看鏡頭的人,或者有的人手里抱著個啥之類的,特別有意思?!?/p>
以這支視頻作為起點,大谷完成了一系列AI修復(fù)老片作品,均引起人們的喜愛。
比如,通過B站對接,大谷與央視新聞進行接洽,聯(lián)合投稿了“AI修復(fù)百年前北京城2.0”,著重展現(xiàn)民俗禮樂、地攤叫賣等老北京的街頭風(fēng)貌。大谷還用AI技術(shù)為1958年北京電視臺(即中央電視臺前身)首次開播的畫面成功上色,獲得央視主持人稱贊“這是生命的色彩”。
▲“AI修復(fù)百年前北京城2.0”視頻片段
再比如,大谷修復(fù)了一段約百年前上海時裝秀的視頻,有博學(xué)的關(guān)注者在評論里指出,視頻的主人公之一很有可能是宋美齡的同學(xué)施惠珍。
▲“AI修復(fù)約百年前上海時裝秀”視頻片段,視頻主人公或為施惠珍
在B站,大谷將他的AI修復(fù)系列作品收納在名為“歷史的彼岸”的專輯里。每段視頻,都呈現(xiàn)著一段曾真實發(fā)生過的歷史,有人在評論中感慨:“黑白的看著像另一個世界,彩色看著才覺得他們活生生地存在著?!?/p>
這些像變魔術(shù)一般的修復(fù)效果,大谷是怎么實現(xiàn)的?大谷向智東西分享了他的整個制作過程:
大谷制作的“AI修復(fù)百年前北京北京城”視頻主要使用了DAIN、DeOldify和ESRGAN三個開源項目,幫助他分別完成視頻的補幀、上色、擴增分辨率。整體框架的流程則主要參考了波蘭AI博主Denis Shiryaev在社交媒體上分享的修復(fù)歐美老片經(jīng)驗貼。
1、補幀算法-DAIN
大谷介紹,DAIN算法運行的原理是,先獲取視頻深度信息、檢測出物體遮擋情況。然后,從相鄰像素收集上下文信息,來完成層次特征學(xué)習(xí)。最后,基于上述信息生成視頻幀。
2、上色算法-DeOldify
DeOldify基于GAN(生成對抗網(wǎng)絡(luò))訓(xùn)練,后者也是DeepFake技術(shù)常用的神經(jīng)網(wǎng)絡(luò)模型。
GAN由一個生成網(wǎng)絡(luò)和一個判別網(wǎng)絡(luò)組成,學(xué)習(xí)過程中,生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)通過相互博弈,生成逼真的圖像,即生成網(wǎng)絡(luò)隨機為一幀圖像上色,讓判別網(wǎng)絡(luò)判斷這張圖片的逼真程度,繼而根據(jù)判別網(wǎng)絡(luò)給出的反饋不斷提高“上色”能力,最終生成顏色逼真的圖像。
3、擴分辨率算法-ESRGAN
ESRGAN算法同樣基于GAN模型,利用生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的相互博弈,實現(xiàn)畫面的超分辨率重建。
除了對AI技術(shù)“出神入化”的應(yīng)用,我們也不禁開始好奇,為這些老片“賦予生命”的大谷身上,還有哪些驚喜?
二、不想做AI的游戲開發(fā)者不是好作曲家
“用AI修復(fù)打開一道歷史的大門。”
大谷本名胡文谷,1991年北京生人,翻開大谷的職業(yè)履歷會發(fā)現(xiàn),他開發(fā)過游戲、制作過動畫、給藝術(shù)裝置編過曲、參與過紀錄片的AI修復(fù)……有趣的是,在B站和微博的簡介欄中,他對自己的介紹則分別有“音樂人大谷Spitzer”、“程序員里最會畫畫的作曲家”、“游戲開發(fā)者”……
▲大谷作品集
提起這些定義,他笑出了聲:“那些(簡介)都是(在中國人民大學(xué)就讀藝術(shù)管理學(xué)專業(yè))大一大二時寫的,現(xiàn)在我的主業(yè)還是游戲開發(fā)、作曲和跟朋友合作一些藝術(shù)項目?!倍?strong>AI方面的嘗試,“更多是出于興趣和想要跟大家分享”。
其實,大谷最開始接觸AI,也是出于游戲開發(fā)的需求?!?strong>我想看看(AI)能不能給游戲開發(fā)節(jié)省時間?!彼f。
大谷用形象的語言介紹了用AI制作游戲的過程,“就比如做一個足球游戲,傳統(tǒng)的游戲開發(fā)就是寫代碼,敵人靠近玩家時會怎樣攻擊、玩家怎樣移動躲避,這些需要我們一行行代碼來寫。
但訓(xùn)練足球人工智能是我在場景中放幾個角色,最開始只告訴它幾個簡單的左右、上下、前后移動的動作,以及球在哪里、對手在哪里的基本信息。兩隊球員最開始只會亂動,根本不知道自己要干嘛,但當其中某一個角色偶然發(fā)現(xiàn)球進對方球門能得分,這時候得分的球員會優(yōu)生優(yōu)育繁衍下去、輸?shù)膭t會被淘汰掉。
最后,球員慢慢明白有守門員可以防止丟球、有前鋒后衛(wèi)傳球可以防止自己輸球,經(jīng)過幾百萬場球賽訓(xùn)練,會出現(xiàn)一個特別高智能的AI對手,這時候我自己作為玩家加入游戲,(可能)會發(fā)現(xiàn)我已經(jīng)打不過它了?!?/p>
就這樣,大谷開始學(xué)習(xí)AI方面的知識,但很快,他就不滿足于只把AI當作開發(fā)游戲的“工具”。他說:“了解AI之后我發(fā)現(xiàn)它其實可以做更多好玩的內(nèi)容,門檻也并沒有很夸張。(AI修復(fù)歷史影片)可以給大家打開一道了解歷史的大門,也許這些觀眾當中有些朋友看完這些影片,利用這5分鐘,他對歷史產(chǎn)生了興趣,然后進一步去了解影片背后的各種事情,我覺得這樣算是一個比較好的目的。”
平時,大谷會瀏覽各大新聞網(wǎng)站的科技板塊,選擇有趣的AI研究做成作品和大家分享。大谷B站頻道最新發(fā)布的用簡筆畫就能生成人臉的“AI涂鴉技術(shù)”,也是這樣在茫茫新聞中被大谷“慧眼識珠”。
三、從“小谷”說起:資深編程發(fā)燒友養(yǎng)成之路
大谷分享了一個名為“小谷游戲”的壓縮包,其中“年齡最大”的一款游戲,開發(fā)于2004年。
在“AI修復(fù)百年前北京城”視頻爆火后,大谷獲得了參與更專業(yè)的AI修復(fù)工作的邀約。目前,大谷參與修復(fù)的紀錄片《他們與天地永存》等作品已經(jīng)上線。同時,大谷的B站頻道“大谷的游戲創(chuàng)作小屋”不僅沒有斷更,八月份還保持著發(fā)布7只AI研究分享視頻的“高產(chǎn)”狀態(tài)。
▲大谷朋友圈:參與修復(fù)紀錄片
對許多關(guān)注者來說,大谷正以“AI修復(fù)新秀”的身份,愈來愈為人熟知。但實際上,在編程這條路上,大谷儼然已經(jīng)是一位“老炮兒”。而這個故事,還要追溯到“小谷”時期。
2004年,“小谷”正就讀小學(xué)六年級。一天,老師宣布,感興趣的同學(xué)可以自學(xué)Flash制作動畫,參加一個名為“全國中小學(xué)電腦制作活動”的比賽。當年的“小谷”,回家勤學(xué)苦練一個暑假,學(xué)會了用Flash制作小游戲,還倒騰出一個“方頭人”的動畫形象。
這個小小的經(jīng)歷,為大谷日后的游戲開發(fā)、AI修復(fù)生涯,埋下一個伏筆。至今,這個“方頭人”的形象還被胡文谷用做微博頭像。而從那年起,小谷參加了2005~2009年的每一屆“全國中小學(xué)電腦制作活動”,直到2010年參加高考。
▲大谷及其微博頭像
此外,初中時期的“小谷”還曾獨自開發(fā)過許多找不同、猜數(shù)字的小游戲?!澳菚r候每到午休的時間,我就把這些游戲拷到班里的電腦,和同學(xué)一起玩?!绷牡脚d起處,大谷慷慨地選取了幾款小游戲分享給智東西。
智東西發(fā)現(xiàn),在這個名為“小谷游戲”的壓縮包里,最早的一款游戲開發(fā)時間是2004年的9月1日。那一年,還是“小谷”的胡文谷,只有12歲。
▲大谷向智東西分享了幾款他開發(fā)的小游戲
四、AI:獨立游戲開發(fā)者的生活調(diào)味品
“我經(jīng)常說自己是‘master of none’,啥都沒有特別專業(yè)了。”
高考結(jié)束后,大谷開始開發(fā)一款名為《Eddy紫》的游戲,與初高中時期的“小打小鬧”相比,這款游戲更加“重工”。胡文谷說:“(當時)我想把高中那些點子實現(xiàn)一下。(《Eddy紫》)算是我走上獨立游戲開發(fā)者之路的一個正式的起點?!?/p>
▲胡文谷高考后開始設(shè)計的游戲–《Eddy紫》
那一年是2010年,獨立游戲的概念甚至還沒在國內(nèi)火起來。要等到2015年底,全球最大的電子游戲發(fā)行平臺Steam解鎖了中國地區(qū)的登入與人民幣購買,才進而把2016年引爆為中國的“獨立游戲元年”。
2014年大學(xué)畢業(yè)后,大谷來到紐約視覺藝術(shù)學(xué)院,攻讀計算機藝術(shù)專業(yè)的碩士學(xué)位,進一步提升游戲方面的創(chuàng)作能力。
后來,胡文谷也曾嘗試過在傳統(tǒng)的游戲公司工作。2016~2017年左右,大谷曾加入一家名為Mokuni的游戲公司,負責《貓小盒》游戲的背景、3D建模、關(guān)卡設(shè)計工作。
而對于分別體驗過獨立游戲開發(fā)者和傳統(tǒng)游戲開發(fā)者生活的大谷說,還是前者更有吸引力。他說:“我更喜歡靈活一點兒?!睆墓倦x職后,大谷就開啟了自己的獨立游戲開發(fā)者生涯。
大谷介紹,與我們所熟知的商業(yè)游戲不同,獨立游戲一般指的是不以商業(yè)為首要目的的游戲開發(fā)形式。換句話說,獨立游戲開發(fā)者需要獨自完成游戲的策劃、程序、美術(shù)、音樂等工作,在程序員、畫手、配樂師等角色中切換身份。而身為獨立游戲開發(fā)者的大谷,笑稱自己是“master of none”,“每一項都沒有特別專業(yè)了,但綜合起來可能最適合做游戲?!彼f。
同時,與傳統(tǒng)游戲開發(fā)者相比,獨立開發(fā)者在保持對游戲高度自主權(quán)的同時,也承擔著以倍數(shù)計的壓力。
而在大谷的分享中,對這份壓力,他甘之如飴?!皩τ谟螒颍绦蚴撬墓羌?、美術(shù)決定它的皮肉、音樂營造它的氛圍、游戲策劃賦予它靈魂,每一個步驟都必不可少。
開發(fā)游戲可以比作是拼手辦,我可以先做程序、可以先做音樂、也可以先做美術(shù)。我掌握了一套工作習(xí)慣,保證一直有興趣把游戲推動下去,比如做美術(shù)遇到瓶頸,那我就轉(zhuǎn)而去做音樂,音樂差不多了再做程序。這樣就是每做一項都保留一定的熱情?!?/p>
而AI修復(fù)的工作,未嘗不是大谷讓自己保持創(chuàng)作熱情的一種調(diào)劑。與獨立開發(fā)游戲一樣,大谷的AI作品也是由自己獨立制作。
目前,大谷獨立開發(fā)的《Eddy紫》、《漫展模擬器》已經(jīng)在Steam平臺上線。在AI方面,大谷的最新視頻分享了一個用簡筆畫就能生成人臉的“AI涂鴉技術(shù)”。
▲“AI涂鴉技術(shù)”視頻片段
他還表示用AI模仿口型、用AI還原失傳的跳舞、用AI基于2D照片摳出3D角色等都在他的計劃之內(nèi)。他說:“能不能實現(xiàn)還不好說,但我有好多想法,這件事我會一直做下去。”
另外,大谷表示,如果遇到修復(fù)紀錄片、老影像等方面的工作機會,也愿意進行更多嘗試。
五、大谷:分享是AI問題的解藥
大谷,這位年輕的獨立游戲開發(fā)者、獨立藝術(shù)家正更進一步突破自己的邊界,對于在游戲開發(fā)、動畫配樂、藝術(shù)項目創(chuàng)作等方面均有過嘗試的他來說,這一點并不稀奇。
就像當我問到“不斷地去接觸和掌握新的AI技能會不會帶來壓力”這個問題時,他在語音另一端毫不猶豫地回答道:“不會,我做的全是我感興趣的?!?/p>
而從結(jié)果來看,AI正從一種出于興趣的嘗試,轉(zhuǎn)變?yōu)樗钪性絹碓街匾囊徊糠?。僅從大谷B站頻道分享的視頻內(nèi)容來看,從今年起,AI相關(guān)的內(nèi)容正占據(jù)越來越大的權(quán)重。
跳出修復(fù)老片的應(yīng)用范疇,在全世界范圍內(nèi),AI技術(shù)還面臨著許多質(zhì)疑。DeepFake帶來的隱私安全問題、假新聞問題,AI訓(xùn)練數(shù)據(jù)庫存在的種族歧視問題……每一項都牽掛著普通用戶的神經(jīng)。
作為一名AI應(yīng)用玩家,大谷則認為AI在帶來了隱患之外,其實也提供了“解題思路”。他說:“現(xiàn)在既有用于換臉的DeepFake技術(shù),也有能識別換臉的人工智能;還有一些反謠言的人工智能,能判斷出言論的煽動性、偏向性指數(shù),所以我個人對AI技術(shù)還是比較樂觀的。”
另外,大谷認為數(shù)據(jù)庫的傾向問題,需要用“全球的知識共享、信息共享”來解決,“不僅歐美的數(shù)據(jù)庫存在對白人的偏向性,之前香港某個大學(xué)訓(xùn)練出一個網(wǎng)紅評價人工智能,用于判斷哪張Instagram照片會火,結(jié)果模型識別出來容易火的全是亞洲人的照片,所以解決這個問題的關(guān)鍵是需要世界各地的朋友們一起去把數(shù)據(jù)集共通”。
繼續(xù)分享有趣的AI研究也是大谷的目標,他說:“以后我的AI作品也會在微博和B站都放出來?!?/p>
結(jié)語:AI正從想象照進現(xiàn)實
目前,大谷在AI方面的嘗試日趨深入。在今年9月11日舉行的騰訊全球數(shù)字生態(tài)大會上,大谷還作為嘉賓出席,分享了他在用AI產(chǎn)出數(shù)字內(nèi)容方面的經(jīng)驗。
在與大谷幾個小時的溝通中,最讓我驚訝的是他強調(diào)的:AI技術(shù)應(yīng)用的門檻并沒有很夸張。
這位28歲北京小伙的經(jīng)歷告訴我們,或許在那些我們未曾意識到的時刻,AI正憑借其不同于傳統(tǒng)互聯(lián)網(wǎng)的創(chuàng)造力,日漸走進和改變我們生活?;蛟S除了大谷以外,還會涌現(xiàn)出更多利用AI技術(shù)實現(xiàn)人生價值的嘗試者。
同時,期待下一次,大谷能為我們帶來更多的驚喜。