“哎哎哎，這橋啊！擠得越來(lái)越不像樣了……難為我這瞎老頭子，過(guò)趟橋真不容易�。�” 

 

　　一老一少的對(duì)白，夾著些許河南口音的普通話(huà)，伴隨著盲人用竹杖探地聲、驢子受驚后的嘶鳴聲、和著橋上小販的吆喝聲、橋下船工的喊話(huà)聲、看熱鬧的起哄聲、橋下嘩嘩的河水聲……800多年前汴京虹橋上的繁華盛景撲面而來(lái)，北宋張擇端精心繪制的《清明上河圖》中一角市井風(fēng)情躍然眼前。 

 

　　這不是在做夢(mèng)，更不是在拍電視劇。而是由故宮博物院、微軟亞洲研究院和北京大學(xué)合作研發(fā)、精心打造的“走進(jìn)清明上河圖”沉浸式數(shù)字音畫(huà)展示項(xiàng)目。6月23日，這一項(xiàng)目正式完成，今后觀眾在參觀故宮時(shí)，可以通過(guò)數(shù)字音畫(huà)的方式欣賞到北宋汴京的社會(huì)盛況。 

 

　　《清明上河圖》是北京故宮博物院收藏的國(guó)寶級(jí)藏品，是現(xiàn)存的唯一把北宋的城市生活面貌、生活狀態(tài)清晰描繪的畫(huà)作，具有很高歷史價(jià)值和考證價(jià)值。它猶如一個(gè)長(zhǎng)長(zhǎng)的電影鏡頭般，從早春的郊野一直搖到城內(nèi)市井中的深宅大院。泛黃的絹，細(xì)膩的筆觸，我們?cè)?jīng)聽(tīng)說(shuō)過(guò)它，可能看到過(guò)它的復(fù)制品，卻從來(lái)沒(méi)有真正去感受過(guò)它。 

 

　　“走進(jìn)清明上河圖”項(xiàng)目以觀眾體驗(yàn)為核心，以視覺(jué)和聽(tīng)覺(jué)沉浸的方式，采用超高清晰的數(shù)字影像最大程度地再現(xiàn)了原作的所有細(xì)節(jié)。穿越時(shí)空，置身市井繁華，讓我們一起“走進(jìn)”清明上河圖，體驗(yàn)背后同樣富有魅力的技術(shù)細(xì)節(jié)。 

 

　　原味歷史 

　 

　　《清明上河圖》橫528.7厘米、縱24.8厘米。5米多長(zhǎng)的畫(huà)卷中畫(huà)有500多個(gè)人物，各種牲畜60多匹，大小船只20多只，房屋樓閣30多棟，推車(chē)乘轎也有20多件，在方寸之間，重現(xiàn)歷史、讓觀眾感受歷史、且不改變?cè)饕环忠缓�，這并不容易。 

 

　　“數(shù)字清明上河圖”的研發(fā)過(guò)程始終以故宮博物院內(nèi)、外的文物專(zhuān)家的研究為指引。微軟亞洲研究院首先按照史學(xué)專(zhuān)家的建議，把整幅圖畫(huà)分成了51個(gè)場(chǎng)景，700多段人物對(duì)話(huà)，并請(qǐng)專(zhuān)業(yè)配音演員配音，基于對(duì)歷史的遵循，配音演員在對(duì)場(chǎng)景的詮釋過(guò)程中，人物普通話(huà)中略帶河南口音。 

 

　　在微軟亞洲研究院主管研究員徐迎慶的介紹中，數(shù)字化的經(jīng)典畫(huà)卷在眼前徐徐展開(kāi)：在無(wú)用戶(hù)交互時(shí)，數(shù)字清明上河圖會(huì)在雄壯交響樂(lè)的烘托下從右向左打開(kāi)，引人入境，此為畫(huà)卷層；隨著畫(huà)面的播放，進(jìn)入交互瀏覽的部分，生動(dòng)的自然環(huán)境音效描繪了村野、田園、集市、街巷、大河、激流、險(xiǎn)灘等場(chǎng)景音讓人仿佛置身其中；進(jìn)入故事層，一個(gè)個(gè)生動(dòng)詼諧的對(duì)話(huà)講述一個(gè)個(gè)有趣的故事，所點(diǎn)之處，就像在看一場(chǎng)情景劇；具體到對(duì)象層，聲音就能關(guān)聯(lián)到故事層中的每個(gè)任務(wù)或?qū)ο蟆?nbsp;

 

　　據(jù)徐迎慶介紹，基于散點(diǎn)透視的繪畫(huà)展示系統(tǒng)主要采用四項(xiàng)核心技術(shù)：基于散點(diǎn)透視的空間幾何模型、基于層次圖結(jié)構(gòu)的立體聲時(shí)空標(biāo)注模型、千兆級(jí)圖像及其多媒體數(shù)據(jù)的實(shí)時(shí)呈現(xiàn)、以及視聽(tīng)覺(jué)感知一致的交互多媒體展示系統(tǒng)。 

 

　　 

 

　　音畫(huà)汴京 

　　 

 

　　與西方畫(huà)很大的不同是，中國(guó)畫(huà)中有許多個(gè)消失點(diǎn)，畫(huà)面中，畫(huà)家的視角是隨意移動(dòng)的，因而產(chǎn)生了多個(gè)消失點(diǎn)，即散點(diǎn)透視。這樣，畫(huà)家可以打破空間的局限，從多個(gè)角度描繪客觀景物。清明上河圖卷就是中國(guó)繪畫(huà)中散點(diǎn)透視的運(yùn)用的典范，如何還原《清明上河圖》所描繪的人間百態(tài)呢？ 

 

　　“作者在畫(huà)中的視角并不是連貫的，而是會(huì)隨時(shí)變換視點(diǎn)。首先，會(huì)通過(guò)把握不同物體的相對(duì)位置，來(lái)營(yíng)造一種向后退縮的錯(cuò)覺(jué)。同一場(chǎng)景中的人物、動(dòng)物、樹(shù)木、建筑按照一個(gè)統(tǒng)一的傾斜度來(lái)排列，確保任何一處畫(huà)面本身的地面是連貫的。同時(shí)，對(duì)于前后物體之間形成迭壓關(guān)系，會(huì)利用筆墨的濃淡加強(qiáng)兩者之間的距離感，使人產(chǎn)生兩者位于同一縱深方向但遠(yuǎn)、近不同的錯(cuò)覺(jué)。”微軟亞洲研究院主管研究員徐迎慶解釋道。 

 

　　研究計(jì)算機(jī)的人首先要講究算法，而算法都是基于幾何、基于數(shù)學(xué)的。但是，散點(diǎn)透視是沒(méi)有一個(gè)數(shù)學(xué)模型的，怎么辦？ 

 

　　必須提出新的散點(diǎn)透視幾何模型，實(shí)現(xiàn)全局的、連貫的三維空間和快速計(jì)算。“音畫(huà)系統(tǒng)希望讓人身臨其境，而在幾何關(guān)系上就難以實(shí)現(xiàn)聲音的淡入淡出等三維效果。我們必須提出一個(gè)新的散點(diǎn)透視的解決方案，能夠重建出全圖的連貫的三維空間來(lái)；另外，還要快速計(jì)算。我們的目的主要是在散點(diǎn)透視的空間，得到圖像上每一個(gè)聲源的幾何空間位置，這樣當(dāng)參觀者走近的時(shí)候，就能夠精確的知道，應(yīng)該走到哪了，聲音在哪里。”徐迎慶對(duì)記者介紹。 

 

　　原作者的不同視角就是對(duì)畫(huà)中立體聲進(jìn)行空間定位的前提。先確定畫(huà)家對(duì)局部場(chǎng)景的仰角，然后，通過(guò)把畫(huà)中不同視角的對(duì)象投影在統(tǒng)一的地平面，進(jìn)而確定物體的空間位置和場(chǎng)景間距離。為了實(shí)現(xiàn)場(chǎng)景和對(duì)應(yīng)音樂(lè)的實(shí)時(shí)調(diào)用，又在不同層次的畫(huà)中分為1800多塊，進(jìn)行交互式操作的時(shí)候，系統(tǒng)就會(huì)把它最臨近的一些圖像都調(diào)進(jìn)來(lái)，而不是所有的圖像，這有效地保障了效率。對(duì)于音頻文件，分別規(guī)定播放的順序和停留時(shí)間，這樣用戶(hù)在交互的時(shí)候就可以聽(tīng)到根據(jù)層次圖結(jié)構(gòu)而組織的故事了。 

 

　　數(shù)字化生存 

 

　　走進(jìn)清明上河圖項(xiàng)目提供了一種身臨其境的體驗(yàn)方式和對(duì)文化遺產(chǎn)的理解渠道。 

 

　　以虹橋片段為例，《走進(jìn)清明上河圖》項(xiàng)目中使用了百余條聲音素材來(lái)再現(xiàn)這一場(chǎng)景。在聲音布局的整體節(jié)奏上，一方面著力渲染虹橋場(chǎng)景緊張、熱鬧的氛圍，一方面盡量貼近原作緊湊中猶帶從容的感覺(jué)，遵循畫(huà)面內(nèi)斂的、“勁發(fā)而不露”的古典品質(zhì)。在人物對(duì)白中，盡可能在簡(jiǎn)短的語(yǔ)言中將圖中的歷史信息表達(dá)出來(lái)。 

 

　　“‘走進(jìn)清明上河圖’項(xiàng)目，不僅用高精度的數(shù)字圖像如實(shí)再現(xiàn)其藝術(shù)觀賞魅力，更融入了數(shù)字技術(shù)的新內(nèi)涵：交互性與沉浸感。古老文化與現(xiàn)代技術(shù)完美結(jié)合在了一起，觀眾可以在多點(diǎn)觸摸屏上瀏覽高清晰的《清明上河圖》影像，任意放大、縮小和移動(dòng)。同時(shí)，配合畫(huà)面實(shí)時(shí)合成的聲音素材，構(gòu)建出逼真的立體空間環(huán)境，使觀眾猶如置身北宋時(shí)期的汴梁城，聆聽(tīng)市井喧嘩、人物故事。”故宮博物院常務(wù)副院長(zhǎng)李季表示。 

 

　　微軟亞洲研究院和北京大學(xué)從技術(shù)上提供支持，從采集圖像到考慮方案，接下來(lái)的實(shí)施、測(cè)試和安裝，項(xiàng)目用了一年時(shí)間完成，當(dāng)最終匯報(bào)的時(shí)候，故宮博物院的項(xiàng)目負(fù)責(zé)人難耐激動(dòng)之情，“這個(gè)就是我們想要的，我們這么多年一直想要這樣一個(gè)系統(tǒng)。” 

 

　　“此次與故宮博物院和北京大學(xué)展開(kāi)合作是博物館、企業(yè)以及高校依托各自?xún)?yōu)勢(shì)共同推動(dòng)文化遺產(chǎn)保護(hù)與傳承的有益嘗試。我深信，這一科技與人文交匯、多方協(xié)作創(chuàng)新的有益嘗試會(huì)為今后文化遺產(chǎn)的保護(hù)工作開(kāi)啟一個(gè)新的篇章，希望在不久的將來(lái)我們能看到更多故宮的傳世珍寶以數(shù)字方式呈現(xiàn)給大家。”微軟亞洲研究院院長(zhǎng)洪小文說(shuō)。 

 

　　“這只是一個(gè)起點(diǎn)。”徐迎慶對(duì)記者表示，他們的后續(xù)工作就是把應(yīng)用于清明上河圖的技術(shù)推廣至其他散點(diǎn)透視古畫(huà)，并進(jìn)一步完善和提高標(biāo)注系統(tǒng)的自動(dòng)化程度。文化遺產(chǎn)的數(shù)字化生存讓更多的人接觸到古人的智慧、民族經(jīng)典。而對(duì)于一個(gè)專(zhuān)注與創(chuàng)新的公司來(lái)說(shuō)，技術(shù)此刻的價(jià)值不僅意味著顛覆，在某些方面，它讓人類(lèi)更好地感知當(dāng)下的、過(guò)去的和未來(lái)的世界。