引自《遠程教育雜志》
[摘 要]計算機圖形與仿真技術的不斷發(fā)展為人類帶來了眾多的沉浸式技術,人類的活動時空從自然平臺發(fā)展到數字化平臺,面臨著感覺方式和實踐方式的轉型。這也深刻影響到社會生產方式的變革,涉及了人們生活方式、行為方式、感知方式和思維方式的轉軌。虛擬現實(VR)、增強現實(AR)與混合現實(MR)等技術,通過不同程度的數字信息與現實環(huán)境的融合,為用戶帶來了全新的體驗模式。與當下的VR、AR、MR相比,擴展現實(XR)更強調于虛擬世界與現實世界的彌合,以及縮小人們、信息和體驗之間的距離壁壘。XR技術具有情境感知、感覺代入、自然交互和編輯現實等特征,其在教育領域的應用具有人本性、智能性、交互性、生態(tài)性和生成性等教育應用特性。具體表現為:(1)可為學習者提供智能教育產品設計;(2)更有利于游戲化學習的實施;(3)可創(chuàng)設智慧的學習環(huán)境;(4)可優(yōu)化創(chuàng)客教育、設計教育、特殊教育等的實施。XR技術的教育應用體現出的教育與新技術融合的走向,主要表現在:體驗為王、智能為基、邊緣計算、跨空間的無縫融合、多模態(tài)交互和支持全納教育等方面。XR技術成為了計算機圖形與仿真技術、人工智能及物聯網技術在教育領域綜合應用的重要技術形式,其具有的智慧感知、自然交互屬性,可更好地服務和支持未來教育,致力于面向未來的創(chuàng)新人才培養(yǎng)。
[關鍵詞]擴展現實(XR);教育應用;融合;技術賦能;數字孿生;腦機交互;邊緣計算
一、引言
隨著人類進步及信息科學技術的發(fā)展,以人工智能、大數據、物聯網、大數據分析、虛擬現實等為代表的先進科學技術已經進入教育場景,為社會變革帶來了更深遠的影響。這些技術在教育領域的應用,使得教育教學過程正在打破時間和空間、經濟和文化的壁壘,也深刻改變著人們的生產、生活、思維和學習方式。計算機圖形與仿真技術的不斷發(fā)展為人類帶來了眾多的沉浸式技術,人類的活動時空從自然平臺發(fā)展為數字化平臺,人們的感覺與實踐的方式開始轉型,生活、行為、感知和思維的方式也隨之轉軌。
美國計算機圖形學之父 Ivan Sutherlan,于1968年開發(fā)了第一個計算機圖形驅動的頭盔顯示器HMD及頭部位置跟蹤系統這一VR技術,這在技術發(fā)展史上具有標志性意義。近年來,虛擬現實(VR)、增強現實(AR)與混合現實(MR)等技術,通過不同程度的數字信息與現實環(huán)境的融合,為用戶帶來了全新的體驗模式。與當下的VR、AR、MR相比,擴展現實(XR)更強調于虛擬世界與現實世界的彌合,旨在讓人們的信息和體驗之間的距離消失。麥克盧漢(Marshall Mcluhan)認為,“媒介是人的延伸,人的任何一種延伸,無論是皮膚的、手的還是腳的延伸,對整個心理和社會的復合體都產生影響[1]”。媒介的產生繼而豐富和開創(chuàng)了人類感知與認知世界的方式、途徑。以VR、AR、MR為代表的計算機圖形與仿真技術的出現與應用,為人類提供更多感知世界的途徑和手段。由印刷術到智能手機的生產,人類越來越被技術所賦能。
近年來,人機交互方式隨著觸控顯示技術、沉浸式技術及自然語言處理技術的發(fā)展,變得更為注重迎合人類的自然感知。而機器的學習能力也在向人類的思維靠攏,如情境分析、圖像識別及深度學習等。當前技術發(fā)展的亮點在于,為更好地滿足人類的需求,技術在不斷進行適應性調整。如XR技術,它提供了各種模糊實體空間和模擬環(huán)境之間界限的體驗,通過視覺、聽覺、嗅覺和觸覺信號為用戶創(chuàng)造一種沉浸感。XR作為“技術中介體驗”結合數字和生物現實,將信息帶到了人們面前,幫助人們快速洞察信息。一方面,XR技術能夠在3D環(huán)境中展示數據,使之更貼近人類實際觀看和情境想象的體驗;另一方面,用戶借助XR技術可將虛擬數字對象疊加到現實世界,同時也可將物理世界的物件引入到虛擬世界中。
在《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020年)》中提出了,“充分利用優(yōu)質資源和先進技術,創(chuàng)新運行機制和管理模式,實現技術對教育的革命性影響”[2]發(fā)展目標。XR作為近幾年快速發(fā)展的新型交互技術,能夠實現AR、VR和MR的融合發(fā)展。它不僅成為一把開啟新一代交互革命的鑰匙,重在通過重塑學習方式回歸教育本質,對培育創(chuàng)新型人才和教育普及產生了深遠的影響。而且它也為教育教學等諸多領域,帶來新的挑戰(zhàn)與機遇。
二、擴展現實(XR)技術的特點與實現機制
(一)XR技術概念的提出
1.VR與AR、MR的發(fā)展
計算機仿真技術的不斷發(fā)展為人類帶來了眾多的沉浸式技術,其中以增強現實、虛擬現實與混合現實為世人所熟知,這些技術通過不同程度的數字信息與現實環(huán)境融合,為用戶帶來了全新的體驗模式。擴展現實技術的出現,與當下流行的增強現實、虛擬現實技術的發(fā)展密不可分,但是這兩種沉浸式技術卻有著顯著區(qū)別。
表1所展示的為虛擬現實、增強現實技術發(fā)展的歷史關鍵節(jié)點,這兩種沉浸式技術從文學構想到現今流行于大眾,經歷了百年的發(fā)展史。我們從歷史發(fā)展的維度可以看出,虛擬現實側重于對現實情境的仿真、模擬;增強現實更注重利用技術延伸人類對于現實環(huán)境的感知,來打破現實的“局限”。因此,準確認識兩種技術的發(fā)展歷程,是構建擴展現實技術概念的必經之路。
表1 VR及AR技術發(fā)展歷史關鍵節(jié)點表
增強現實能夠把含有字母、數字、符號或圖形的信息,疊加或融合到用戶看到的真實世界中。AR技術的早期發(fā)展,主要著眼于航空領域中飛行員在操作過程中無法兼顧到的復雜操控設備與飛行器外部環(huán)境的安全問題。即AR技術早期設備以平視顯示器(Head-up Display,HUD)為主,來為飛行員提供必要的數據和符號等信息。因此,早期AR技術主要是支持視覺增強的光學透視顯示器(Optical-See-Through,OST)為主的硬軟件系統。而隨著技術的發(fā)展以及智能手機的普及,手持、移動的視頻透視顯示器(Video-See-Through,VST)逐漸普及于大眾。通過捕捉、識別真實環(huán)境中的標記物,基于VST的AR技術充分利用智能手機的特性,將虛實融合信息實時顯示在觸控屏幕上,使用戶能夠與之交互。因此,Azuma認為,現代增強現實的初級系統特征包括:虛實融合、實時互動及三維注冊[3]。
虛擬現實技術是指綜合利用圖形系統和各種現實及控制接口設備,在計算機具有的生成性、可交互性的三維環(huán)境中,為用戶提供沉浸感覺的技術[4]。當下虛擬現實技術的實現,主要是通過一套特殊設計的頭盔設備,將用戶與物理世界隔絕開來,完全依靠計算機生成的環(huán)境取代用戶對真實世界的感知。因此,也可以認為虛擬現實技術依賴于人類大腦所產生的幻覺,它使人沉浸在獨立的時空中。因此,虛擬現實技術主要特征包括:沉浸性、交互性和構想性。
與增強現實技術不同的是,完全沉浸式的虛擬現實在空間上是有限制的,并在極大程度上將用戶與現實世界隔絕開。也就是說,一旦用戶進入虛擬現實環(huán)境,便失去與周圍現實環(huán)境的聯系,嚴重地限制了移動性。當下虛擬現實的運用領域,集中于專業(yè)級應用市場及游戲娛樂行業(yè),但因其設備價格高昂、應用軟件較少等問題,更多地呈現出“有價無市”的現狀。谷歌公司于2014年發(fā)布的“Cardboard”廉價虛擬現實原型設備,能夠將智能手機作為體驗虛擬現實的3D眼鏡。盡管沉浸性效果不及專業(yè)級頭顯設備,但這對虛擬現實技術的市場普及起到了一定的推廣作用。
技術的交叉發(fā)展,使得增強現實技術與虛擬現實技術間的技術界限愈加模糊。在形式上,兩者似乎分別朝著現實以及虛擬兩個方向發(fā)展:增強現實所增強的是人類對于其所處真實環(huán)境的感知能力;虛擬現實則著眼于人類在其自身營造的數字空間中對逼近真實環(huán)境的感知體驗。未來可以預見的是,一個被人工技術高度改造的虛實融合空間會出現,在其中,現實與虛擬的界限已經模糊。換言之,技術生態(tài)的成熟,使得增強現實與虛擬現實技術呈現融合之勢。當下流行的MR技術即是具備初級融合特征的沉浸式技術,其尤為強調真實世界、虛擬世界及數字信息的無縫融合[5]。
MR對于AR的發(fā)展表現在“三維注冊”向“上下文注冊”的轉變上,即在對當下用戶的位置、興趣及需求等信息的充分感知基礎之上,為用戶進行定制化的設計。MR注重對于用戶本身以及真實環(huán)境的全方位的智能感知,注冊、合成并關聯各種有意義的數據,為用戶創(chuàng)造個性化的體驗。以“虛擬臺燈”為例,MR技術不僅能夠準確“注冊”臺燈在真實空間中的位置,同時能夠準確感知何時需要開啟、關閉,或者根據用戶需求調整其亮度。
MR對于VR的發(fā)展,表現在能夠將現實世界中的內容代入虛擬空間,實現虛擬環(huán)境的即時生成與構建,并保持與現實空間的協同,以提高用戶體驗的自由度。三者主要的技術區(qū)別如表2所示。微軟公司的HoloLens,以及Magic Leap公司所研發(fā)的混合現實設備,能夠代表現階段增強現實、虛擬現實技術的融合情況。但其仍是以視覺為主要感知方式的顯示設備,在體驗方面仍有局限之處,這也為擴展現實技術的提出,奠定了基礎。
表2 AR、VR及MR技術對比表
2.沉浸式技術的哲學思考
從教育的角度審視,AR、VR及MR的發(fā)展不僅能夠為學習者提供新的學習工具、學習平臺及學習體驗;而且也為支持教育完成“實現人類的自由全面發(fā)展”的終極目標帶來可能性。為此,我們需要關注其發(fā)展對于學習者認識世界、改造世界所帶來的新機會,即需要從哲學的視域下,對沉浸式技術支持學習的方式進行深層次的審視。
無論AR、VR還是MR,其背后所支持的,都是隨著計算機技術不斷發(fā)展而更新的 “虛擬觀”。Mana Farshid等基于后現代主義哲學家Deleuze對現實的哲學思辨,提出了一個“真實現實、虛擬現實連續(xù)集”[6],如圖1所示。
圖1 真實現實、虛擬現實連續(xù)集
該連續(xù)集中所強調的現實世界,本身是“虛實交織”的。這里“虛擬”并不是指無實體的數字產物;相反,數字產物在其哲學思想下歸結于現實的一部分,是能夠被人類感覺器官所察覺到的 “真實”?!疤摂M”是指在過去和未來中持續(xù)存在、但始終未成為“現實”的真實,是一種無窮的可能性。在20世紀后期,計算機仿真技術、數字顯示技術等發(fā)展較為成熟之際,“虛擬”是作為一種與現實性相對的概念哲學范疇被普遍提了出來。廣義的“虛擬”被認為是一種超越現實的創(chuàng)造性思維活動,在人類文學藝術、宗教神話以及科學創(chuàng)造活動等任何一種思想文化現象中,都具有超越現實的 “虛擬”性[7];狹義的“虛擬”也即數字化虛擬,指用0-1數字方式去表達和構成事物以及關系,從而形成一個與現實不同但卻有現實特點的真實數字空間[8]。數字化的“虛擬”在“虛擬”定義的發(fā)展上,主要體現于其在形式與功能上,反映出一種感性的真實存在。盡管,其并不指向現實世界中的實物,但仍能夠被人體感官感知;但其同時又是假的,與被虛擬的現實對象有著本質區(qū)別。
因此,從認識論的角度看,數字化虛擬創(chuàng)造了“真與假的統一體”,即一種區(qū)別于現實的經驗——“真實”的新形態(tài),這是對于傳統現實性思維“非真即假”的思維方式的變革?,F實性思維的求真性特征,決定現實性實踐是以真理的 “符合論”為理論表現的,強調“是什么”,并通過抽象的概念表述出來。數字化虛擬的背后是以二進制為表達方式的人類思維中介(表述、建構)系統的革命,因思維表述、建構均是以間斷性表達連續(xù)性,但只要間斷性的速度達到一定臨界點,間斷性便以連續(xù)性的面目出現。
以二進制為基礎的數字中介的發(fā)展、進步,能夠消除思維的間斷性,人類的思維方式從“求真性”轉變?yōu)椤扒蠼庑浴?,從定義式思考進入到不斷運動的策略性思考[9],即高階思維過程。借助數字化虛擬平臺,思維運動可以更為直觀,從而使人們擺脫了對現實合理性批判、否定的模糊性及不確定性[10],人類可以將不可能的可能性納入認識域,如,德里達所描述的“方形的圓”、“一座金山”等。
現代文明的病癥在于理性對感性的壓制[11],席勒稱之為“理性暴政”。馬爾庫塞(Herbert Marcuse)認可并延伸了席勒的這一觀點,認為發(fā)達工業(yè)社會統治階級所鼓吹的社會意識形態(tài)是一種 “虛假意識”,人類逐漸淪為失去自由與批判精神的“單向度的人”,其追求的幸福日益呈現出低級享樂的鄙俗性特征,自由不可避免地與幸福分裂[12]。數字化虛擬的出現,改造了現實性思維、實踐方式,將人類從對真實的依賴中解放出來,“自由”與“幸?!庇锌赡苤匦侣撓翟谝黄穑瑥亩龠M人的全面發(fā)展。同時,區(qū)別于傳統數字化虛擬的超文本、平面圖像等二維媒介材料,沉浸式技術通過跨媒介支持、非結構化的視、聽、觸等多感官刺激途徑,進一步解放人的感性思維,激發(fā)了創(chuàng)造性思維的產生。
綜上,無論是VR、AR還是MR技術,三者在未來的融合式發(fā)展上,有望能夠打通現實與虛擬之間的界限,創(chuàng)造出一個無需區(qū)分虛擬與現實的“虛實融合”的生存環(huán)境。屆時,個體生命的存在價值,將獲得無限的提升和張揚。
3.XR概念的提出
擴展現實,英文為 “Extended Reality”或者“Cross Reality”,常見的縮寫簡稱為“XR”或“ER”等。XR最早出現于1961年Charles Wyckoff為他的XR電影注冊的專利文件中,這部電影能夠使觀眾看到常人所不能見到的諸如核爆炸等景象[13];1991年,Wyckoff與Mann等合作,將高動態(tài)范圍圖像處理技術與VR、AR技術結合,打造可以顯示“XR”視覺畫面的頭顯設備,以增強人的感官能力[14]。術語“XR”、“X-Reality”、“X-REALITY”及“XREALITY”在 2010年被索尼公司注冊為商標,被廣泛應用在智能手機“Xperia”系列帶有增強現實功能的機型中。
索尼公司使用XR或X-Reality的理念,與Wyckoff-Mann利用HDR技術延伸人類感官能力思路是一致的[15];Unity公司在其發(fā)布的官方培訓課程中,將“XR”中的“X”比作數學中的未知數,該未知數包括了增強、虛擬以及混合現實的意味,“XR”則是建立在Milgram“虛擬現實連續(xù)集”上任意一點。Unity公司為此推出了專門配合VR、AR及MR內容開發(fā)的XR插件,這也表明了“XR”是一種涵蓋性術語;Coleman等將“Cross-Reality”定義為由泛在的傳感器、驅動裝置網絡以及共享的線上虛擬世界組成的整體環(huán)境,并且這種環(huán)境是由以上三種技術集合組成的[16]。該定義將擴展現實技術定義為現實與虛擬系統之間、信息與媒體之間的交互技術;高通公司則將“XR”定義為新一代移動計算平臺,具體來說,“擴展現實技術是一種涵蓋性術語,包含了增強現實、虛擬現實、混合現實及其他相關的,因技術進步而可能出現的新的沉浸式技術[17]”。
國內中山大學哲學系教授翟振明是較早提出擴展現實概念的學者,他認為從技術綜合性和廣度來講,擴展現實是將互聯網、物聯網和混合現實技術結合起來技術形式;從哲學角度講,擴展現實將是創(chuàng)造人類未來“虛實融合”的新世界模式,尤其強調在拓展現實中人類的自由意志活動。如表3所示,在其著作《有無之間:虛擬實在的哲學探險》中,他著重闡釋了虛擬現實中的“人替”、“物替”以及擴展現實中的“人摹”、“物摹”和“人替摹”[18]。其構想的未來擴展現實概念,與近年流行的數字孿生相接近。所謂數字孿生(Digital Twin)是一種集成多物理、多尺度、多學科屬性,具有實時同步、忠實映射、高保真度的特性,能夠實現物理世界與信息世界交互與融合的技術手段[19]。
表3 翟振明的擴展現實哲學要素
未來XR技術將會與人工智能技術、物聯網技術高度融合,數字內容將會在其支持下,以更為直觀可感的形式出現在真實空間中。XR涵蓋了實現虛擬現實、混合現實、增強現實、影像現實和其他現實的硬件、軟件、方法和體驗。其中,“X”可以看作是V(R)、A(R)或M(R)的占位符,盡管它也表示未定義的或可變的質量/數量。因此,XR的定義大多包含平臺和內容,讓用戶可以將數字對象帶進現實世界,或者反之,認為實體對象存在于數字場景中。
結合AR、VR、MR技術的特性以及XR的相關概念界定,我們認為,XR應當具備情境感知、感覺代入、直觀交互及編輯現實的四個特性。
(1)情境感知。情境感知區(qū)別于實境感知,是實境感知的高階形態(tài),體現的是從普適計算向認知計算的跨越。實境感知強調對周圍環(huán)境各種量化信息的數據獲取、分析及處理。情感感知的感知客體超越了客體本身的物質特性,包括虛擬世界的數字信息。例如,情感感知關注于感知主體本身在體驗過程中所產生的心理反應,這不僅要求對于環(huán)境數據、人體各項指標數據的處理,還包括對于量化體驗領域中相關指標的分析,藉此為用戶提供最好的與上下文語境相關聯的體驗。
(2)感官代入。感官代入帶來了全新的沉浸層級,人類的感覺將會超越視覺,在擴展現實技術中發(fā)揮更為突出的作用。XR技術能夠將物理世界與數字媒體融為一體,創(chuàng)造出真實世界的虛擬感覺以及虛擬世界中的真實感覺。借助于數字用戶交互界面,包括氣壓場、可變屏幕和特殊控制器等,觸覺技術能使人體驗到與現實生活一樣的物體觸感。例如,當用戶觸摸到虛擬寵物,不僅能看到它的動態(tài)反饋,也能感受到其毛皮的觸感等。因此,擴展現實技術應當能使人類的五感以物理世界中互動的方式與電腦進行交互。
(3)直觀交互。擴展現實技術所追求的直觀交互要求技術本身“不可見”,傳統的AR、VR及MR因設備的局限性,常常會導致不良體驗的產生。人機交互先驅Bill Buxton認為,與技術互動應該是自然而然的,“不是設備操作員,而是作為人類而存在的[20]”。從這個需求出發(fā),對直觀交互的設計,包含了手勢交互、語音交互、姿態(tài)交互、眼動交互以及腦機交互等五個維度。
(4)編輯現實。傳統的物理存在與虛擬物體之間的區(qū)別在于:物理物體通常是靜態(tài)的,而虛擬物體是非靜態(tài)的,可以隨時改變,并且具有不同的屬性。XR技術對于AR、VR及MR技術的重要發(fā)展在于:其改變了物理對象的屬性,使其呈現出非靜態(tài)化的特征,用戶可以與現實環(huán)境進行雙向對話。因此,物理對象在XR技術的支持下,實際上是可以被編輯的,用戶可以對其進行“出廠設置”之后,再決定如何使用它。
(二)XR技術的實現機制展望
1.基于技術構成的實現機制展望
高通公司于近期發(fā)布了其布局已久的XR移動計算平臺以及XR1芯片,公司XR亞太區(qū)負責人郭鵬認為,AR、VR或者MR的底層軟硬件技術,其實很多都是相通的,尤其與芯片相關的支持技術以及軟件開發(fā)包(Software Development Kit,SDK)[21]。 因此,XR技術的實現機制包含三種沉浸式技術的綜合發(fā)展,如高通公司在2017年發(fā)布的XR報告中,提出了XR眼鏡的概念圖[22](見圖2)。
圖2 高通發(fā)布XR眼鏡概念圖
可見,XR技術并不僅僅局限于終端設備,圖2中的XR眼鏡是一種以視覺為主的“瘦終端”設備,而XR則包括了技術環(huán)境在內的沉浸式系統。因此,針對高通的XR技術展望,我們認為XR技術的實現技術應當包括:輸入系統、處理系統、輸出系統以及泛在技術環(huán)境,如圖3所示?;趯?/span>XR技術路線圖的設計,以及結合當下AR、VR及MR發(fā)展過程中的各種實現技術的特點,我們對XR實現技術作了未來展望,如表4所示。
圖3 XR技術實現預想技術路線圖
2.基于用戶感官體驗的實現技術展望
(1)視覺體驗實現技術。未來的擴展現實顯示技術,將采用一種新型的光學影像投射技術,外觀使用一種高耐久度的半透明材料[23]。與這種顯示介質技術理念相接近的有微軟公司研發(fā)的HoloLens;還有Magic Leap公司將在未來發(fā)布的增強現實系統中的顯示裝置;以及Innovega公司研發(fā)的光學器件與顯示器分離的名為iOptik的系統。HoloLens通過全息波導技術將字母數字、符號和圖形信息,疊加到使用者所感受到的真實世界,將呈現在使用者眼前的高清全息圖與其物理環(huán)境在空間上相互關聯并固化[24];Magic Leap公司將發(fā)布采用基于光學器件的適應性光場顯示技術,從其申請的“虛擬現實3D成像系統”專利文件上來看,該專利能夠在沒有顯示介質的基礎之上,直接將圖像投射到用戶的視網膜上的顯示技術。Innovega眼鏡系統的顯示技術,是由裝有高分辨率微型顯示器或投影儀的眼鏡,與能夠將真實世界和媒介平臺的光子,聚焦到佩戴者視網膜上的iOPtik隱形眼鏡。未來的擴展現實技術,應當是朝著增強現實顯示器過渡的顯示技術(全息波導、自適應光場及分離式顯示等),因為虛擬現實設備的主體近眼式立體3D顯示器,仍有可能對用戶健康造成潛在的危害性后果。
表4 支持XR技術實現的相關技術發(fā)展表
(2)聽覺體驗實現技術。聲音能夠與擴展現實支持的其他感官體驗進行整合,也可以獨立存在。藝術家Janet Cardiff早在1991年,一直在創(chuàng)造試圖為用戶帶來獨特體驗的“音頻漫步”項目[25]。Detour公司借鑒Cardiff的靈感,提供了一系列位置感知增強音頻漫步的體驗。其主要通過智能手機的慣性測量單元及GPS全球定位系統,根據用戶的位置等信息的分析,智能推送特定的音頻內容[26],以促進共情與理解。擴展現實技術所采用的音頻設備可以是骨傳導耳機,其原理是通過震動將聲音從顎骨傳播到內耳,因此并不會阻塞周圍的自然音,實現“敞耳聆聽”的效果,這對于以增強現實為目的的擴展現實技術應用來說是一大優(yōu)點,但對于高度沉浸式的虛擬現實環(huán)境而言,或許是一種“真實”噪聲的干擾。因此,環(huán)境定向聲場對于擴展現實技術來說同樣重要。HyperSound的音頻技術,使用超聲波在窄束中引導聲音,并將其限制在特定位置,以精準創(chuàng)建音頻區(qū)域,用戶可以在公共空間創(chuàng)造“私人聽覺區(qū)域”[27]。因此,擴展現實技術的聲音解決方案,應當由終端設備與環(huán)境共同支持,以營造豐富的三維聽覺聲場效果。
(3)觸感體驗實現技術。觸感體驗實現技術多被運用于虛擬現實技術中,通過營造接近真實世界的觸覺感知,來分散用戶對于顯示技術缺陷所帶來不良體驗的注意力。也正是由于虛擬現實技術開發(fā)者專注于解決視覺顯示方面的技術壁壘,而導致觸感技術的發(fā)展有所滯后。在虛擬現實技術中的觸感設備主要有:集成于操作桿的震動式反饋裝置、觸感穿戴設備(手套、靴子及背心等)、觸感筆及觸感座套等。增強現實領域的觸感設備,主要包括基于靜電場[28]、超聲波振動等原理[29],以智能移動設備為載體的觸感屏幕、變形屏幕[30]以及基于反電動振動技術[31]、空氣渦流壓縮立場的非接觸式觸感設備等。高質量的觸感體驗技術仍面臨著巨大的挑戰(zhàn),包括人體觸感面積大、相關公司的專利封鎖等原因[32]。未來,擴展現實技術的觸感實現的突破口,將落在以某種形式的神經觸覺刺激上,如Tesla Studio公司開發(fā)的Telsa Suit,它是一種通過微型電極模擬傳入神經纖維、向用戶皮膚,提供微小電脈沖的模塊化服裝。
(4)數字味覺、嗅覺體驗實現技術。味覺與嗅覺是唯一與腦部邊緣系統直接相連接的兩個感官,主要負責情緒和記憶。數字味覺的發(fā)展與人腦密切相關,舌頭在電和熱信號的刺激下,能夠使用戶體會到酸、苦、甜和咸味,這取決于通過電極的電流的頻率。關于數字嗅覺的實現技術,最令人印象深刻的莫過于谷歌公司在2013年愚人節(jié)發(fā)布的“Google Nose”,它是用于捕捉和搜索氣味的數字方法。盡管是一個惡作劇,但對于未來擴展現實技術來說,其將數字香氛體驗納入技術體系的設計并不牽強。另一款FEELREAL面具,能夠與Oculus Rift VR頭顯設備連接,其本身是由七個可移出機匣的氣味發(fā)生器將氣味蒸發(fā)到用戶鼻子中,結合三維視頻游戲和電影情節(jié),振動產生全方位的體驗[33]。開發(fā)者還設計了Feelreal SDK,在平臺上添加不同的氣味和效果,以增強用戶的沉浸式體驗,但遺憾的是在眾籌網站上并沒有完成它的眾籌計劃。綜上,擴展現實技術支持用戶的味覺、嗅覺體驗,基于神經科學家David Eagleman的設想,通過互聯網直接提供實時數據傳送到大腦,使用戶直觀地體驗和感受這些數據而不需要感官加工[34],這也是腦機交互的發(fā)展趨勢之一。
(三)XR技術的內容開發(fā)與敘事準則
未來,XR技術將會是一種多感官參與的新型媒介技術,設備的輕量化將使得用戶能夠忽略技術的痕跡,使其直接沉浸在內容之中,借助于以用戶為中心的上下文情境驅動的個性化體驗,用戶身臨其境般的感受將被進一步豐富。存在度是衡量虛擬環(huán)境是否成功地使用戶沉浸其中的度量,有學者將其定義為“非調和幻覺”,在其中“媒介看起來似乎是隱性的或者透明的,其用戶和內容分享相同的物理環(huán)境”[35]。因此,這種直接性邏輯決定了媒介本身應當消失,用戶不再意識到自己面對的是媒體,而是站在“直接面對內容”的地位上[36]。
沖破技術景觀的限制是未來擴展現實技術應用設計首先要考慮到的,如,電影理論家Tom Gunning將早期電影作為一種“景點電影”進行討論,其觀點認為“使畫面快速移動的機器是迷人的源泉,而不是主題和故事的代表”[37]。超越性創(chuàng)新和創(chuàng)造有意義的體驗的一種方式是連接用戶的情境,在擴展現實技術中的敘事策略,存在兩個重點:一是強化;二是記憶。
(1)強化。強化是指對目標用戶群體具有強烈情感的情境體驗。XR技術通過“虛”“實”融合的表現方式,使目標用戶群的情感強化體驗更為深刻。例如,當用戶親身前往長城,便可以親身感受到長城對于我國歷史的影響之大,強大的原生情感力量能夠加深人們體驗的影響力。
(2)記憶。記憶是更為個性化的強化策略,強調對于個體體驗的情感和意義。例如,用戶對于特定事物的注意力停留,能夠被擴展現實應用所識別,繼而通過營造個性化情境增強其體驗。再比如,當用戶某時刻長時間注視其小時候的照片,擴展現實系統能夠留意到這一細節(jié),并在用戶閑暇時播放照片組的幻燈影像,這種體驗是個性化的,但卻能激起用戶強烈的情感。
三、擴展現實(XR)技術的潛在應用領域
(一)商業(yè)領域
XR在商業(yè)領域的運用主要包括:變革商業(yè)運營方式、人力資源管理以及廣告宣傳活動等。前瞻性的商業(yè)巨頭意識到,XR技術具有整合AR、VR等技術的潛力,其可改革傳統基于互聯網、視頻會議等傳統商業(yè)交流方式,呈現“泛現實、零距離”的特征。商業(yè)數據如銀行流水賬單、表單數據等在XR中,將以更形象化的方式出現,能夠更好地匹配人們觀察并拓展與世界互動的方式。BLUairspace公司將XR技術歸為一類平臺,增強現有媒體,將消費者的移動設備轉換成可以看到無限可能性的新窗口,包括從優(yōu)化遠程工作到快速開設零售門店等商業(yè)運作能力。今后,隨著XR逐漸普及,沉浸式體驗將消除以往最難跨越的現實時空距離。
與此同時,XR能夠幫助人力資源部門改善員工的工作生活,主要包括:員工培訓、增強員工企業(yè)公民意識以及跨國公司員工合作模式。XR可以通過超逼真的模擬來培訓新員工,并鼓勵員工親身體驗他們的角色。這對于需要大量關注細節(jié)的工作尤為重要,因為它可以使新員工在現實生活中執(zhí)行高壓或高風險任務時感到更放心。虛擬現實這一領域已經非常突出,已有63%的企業(yè)使用或計劃使用VR進行培訓和模擬①因XR現有硬軟件生態(tài)仍不成熟,原型機還未被開發(fā)出來,因此,案例部分盡量以滿足XR基本定義的AR、VR、MR應用為主。。例如,消防員通過VR消防演練系統,在不同的情境中模擬火災險情,能夠時刻為實戰(zhàn)做好充分準備,這在VR訓練領域獲得較大關注。
再如,VR培訓在提升員工的企業(yè)公民意識領域也有著積極作用。企業(yè)公民意識是指員工為了同事、公司利益而自發(fā)做事的精神,這需要員工與從事的行業(yè)建立一定的親密感。未來,XR技術所營造的高度沉浸感,能使員工更容易感受到與所顯示信息的情感聯系,以減弱注意力分散,因此,公司會更關注XR等突破性技術。
目前,許多公司在全球不同區(qū)域設有分支機構,而在工作場所實施XR技術,可以提高所有員工之間交互水平。XR技術也能為視頻會議提供了完全不同的體驗,員工可與他們的同事共享相同的虛擬空間,彼此之間的聯系會更加緊密。因此,企業(yè)在工作場所使用XR技術,比傳統方法更有利于員工完成協作項目,也有助于員工開展遠程工作。
XR技術也能為零售商構建新的銷售空間。通過XR技術,零售商在為消費者提供新產品體驗的同時,也為自身收集了目標用戶數據,包括用戶興趣以及他們的購買意圖。相較于傳統數字廣告,如彈窗、橫幅廣告等,擴展現實技術的所構建的廣告環(huán)境,所提供的產品體驗更容易被消費者接納。如,以Trivver展望的擴展現實環(huán)境的廣告投放平臺為例,T平臺構建了一個可同時為出版商、品牌商、代理商以及消費者提供服務的系統。零售商可在用戶體驗情境內創(chuàng)造超市、商店等隱性廣告內容,還可以通過這樣的平臺測試開發(fā)新的環(huán)節(jié)與市場。這使得用戶購物體驗更加豐富化,進而推動零售產業(yè)的發(fā)展。
(二)醫(yī)療健康領域
過去十年間,沉浸式技術在關乎人類健康與福祉的醫(yī)療行業(yè)中,展現出巨大的發(fā)展?jié)摿?。未來?/span>XR技術在醫(yī)療領域的主要應用包括:提高醫(yī)療培訓的臨場感、強化心理疾病的療效以及增加遠程醫(yī)療的準確性等。VR、AR技術在醫(yī)療培訓方面各有側重點,如VR能夠最大限度模擬真實手術的場景,但需要借助控制器完成手術過程中復雜、精確的動作;AR技術能夠在訓練過程中為用戶提供信息指引等輔助功能,但并不能提供較好的手術臨場感,并且在真實空間中模擬手術,也會帶來訓練成本較大等問題。穆格工業(yè)集團與阿姆斯特丹“亞科學術中心”合作研發(fā)Simodont牙醫(yī)培訓系統,能夠將3D可視、觸覺與力反饋技術以及聲音相結合,具備了XR技術實現醫(yī)療培訓的初階功能。該系統允許操作人員通過佩戴偏光立體眼鏡查看患者的口腔3D模型,并且當其移動真實手用器械時,窗口內也隨之呈現精確模擬相關動作的虛擬影像。觸覺反饋器及立體聲場能夠準確反饋真實的操作觸感及聲像,以更直觀的方式提供反饋。概言之,XR技術能夠以更輕量級的終端設備,支持多元訓練體驗,并且可以塑造更真實的手術情境。
XR技術的情境感知特性,能夠被運用在如創(chuàng)傷后應激綜合癥、恐高、飛行恐懼癥等心理疾病的延長暴露療法中。延長暴露療法主要包括:想象及現場暴露法,指的是通過治療師的引導,在可控的條件下使患者自述創(chuàng)傷經歷,并將其暴露在恐懼源面前的方式,從而使其逐漸克服心理障礙的療法。沉浸式技術對于該療法的支持,主要體現在模擬患者恐懼情境上,該療法可以幫助患者緩慢克服并習慣于焦慮刺激源的存在。例如,幫助戰(zhàn)后士兵治療創(chuàng)傷后應激綜合癥的Bravemind系統,該系統不僅可以模擬戰(zhàn)爭環(huán)境的景象與聲音,也包含地面平臺式的觸覺反饋部件。并且該系統還內置了重低音音響,能夠模擬轟炸、交火等環(huán)境噪音,在實際治療過程中療效顯著??傊?,XR技術的應用優(yōu)勢不僅在于情境的高度模擬,同時其借助于人工智能系統形成智能治療代理的在線型醫(yī)療輔助系統,可實時評估、引導患者的治療,以提高治療效率。
傳統的遠程醫(yī)療技術更多的是建立在高速網絡的基礎上進行數字、圖像及語言的綜合雙向傳輸技術手段,包括遠程醫(yī)療會診、遠程醫(yī)療教育及建立多媒體醫(yī)療遠程咨詢系統等。XR技術在遠程醫(yī)療方面最有價值的應用方式,是介入臨床手術的真實醫(yī)療情境之中,具體包括術前討論、術中操作指導及術后康復指導等。XR技術能夠支持多端醫(yī)療團隊,實時生成目標患者的數字孿生形象,通過直觀的醫(yī)療操作共同開展手術。例如,中國人民解放軍總醫(yī)院(301醫(yī)院)泌尿外科張旭教授團隊,將混合現實技術與機器人微創(chuàng)手術技術相結合,在海南三亞成功完成一例混合現實遠程協作機器人手術,實現優(yōu)質醫(yī)療資源的合理分配。
(三)軍事領域
沉浸式與增強型現實技術,已被廣泛運用于大部分國家的軍事國防領域,包括飛行員飛行模擬與訓練、任務規(guī)劃與預演及單兵情景意識共享等。對XR技術概念的解釋,經常被用于軍事領域的無人機訓練中:士兵通過觀察顯示器,操作遙控設備控制無人機,對目標點進行精確打擊,完成了從虛擬到現實的跨越。在模擬飛行訓練方面,美國國家試飛員學院開發(fā)的類似XR技術的融合現實(Fused Reality)的創(chuàng)新性虛擬/增強現實綜合系統,可通過外部攝像頭,捕捉飛行環(huán)境信息,并置入顯示單元的慣性測量單元來檢測用戶頭部方向,再結合航空總線提供的飛行移動數據生成精確的圖像,為飛行員提供虛實融合的飛行環(huán)境,如在航線上生成虛擬空中加油機,模擬危險的空中加油動作等。
對于國防部門而言,模擬和共享戰(zhàn)區(qū)作戰(zhàn)畫面,能夠為作戰(zhàn)任務的規(guī)劃提供幫助。XR技術能夠保證戰(zhàn)區(qū)指揮系統、戰(zhàn)場指揮系統的實時指令與作戰(zhàn)人員以直觀的形式保持協同,以提高指揮效率。例如,美國軍方研制的PARASIM傘兵指揮官系統,能夠實現與其他系統的無限聯網,使傘兵指揮官能夠在跳傘過程中實時掌握其他成員的位置、狀態(tài)信息,提高作戰(zhàn)指揮素養(yǎng)。又如美國軍方研制的Nett Warrior集成化步兵情景意識系統,利用頭戴式光學顯示器,通過聯網平視設備增強士兵的情景意識,使他們能夠準確辨別戰(zhàn)場情況,從而提高生存概率。XR技術在軍事領域上最重要的應用特性是消除時空障礙,使士兵能夠實現高效的情景模擬以及人、軍事資源調動等協同作戰(zhàn)的需要。
(四)工業(yè)、制造業(yè)領域
基于傳感器的物聯網、智能工業(yè)機器人以及增材制造技術的快速發(fā)展,這些技術在未來與XR技術相結合,共同賦能第四次工業(yè)革命,將徹底改變傳統的工業(yè)流程。實踐證明,沉浸式可視化顯示技術已在多個領域得到有力的推廣和廣泛的運用,這些技術與工業(yè)大數據一起,幫助工程師將科學、數學和實證證據,完全運用于各類結構、機械與流程的發(fā)明、創(chuàng)新、建造與改善工作中,實現工業(yè)制造場景的智能化人機交互和管控。這種變革是以生產制造行業(yè)為開端的,如江鈴汽車集團利用AR技術的工業(yè)解決方案,對整個發(fā)動機裝配環(huán)節(jié)進行實時管控,包括裝配前的零件核驗、裝配過程對員工的可視化指導與提醒、裝配完成后的系統核驗等,提高了發(fā)動機的良品率。
美國亞利桑那州國家大學的沙盧布(Jad Chalhoub)和埃爾(Steven Ayer),對 MR 技術在建筑領域的應用進行了探索。該研究將建筑3D模型傳送到施工現場來支持電氣管道的施工。此外,波音公司也將增強現實技術應用于飛機的制造,以減少飛機零件裝配失誤率,這大大地提高了工作效率。未來的XR技術不僅能完成“識別、匹配”等基礎校驗工作,同時也能夠針對生產流程中的任何問題提供實時的解決方案,連接各職能部門,甚至打通整條產業(yè)鏈的數據通道,采用直觀的3D可視化語言,來保證產業(yè)合作的暢通。因此,XR技術對于工業(yè)、制造業(yè)的運用潛力是巨大的。
(五)交通領域
XR技術在交通領域的應用展望,主要可以分為面向駕駛員的行車輔助系統、面向乘客的乘車體驗系統、道路交通管理系統以及空中管制系統等。駕駛員行車輔助主要以平視顯示系統(HUD)實現的,寶馬公司最新發(fā)布的AR HUD全風擋光場顯示器,可以根據實時環(huán)境感應數據,將動態(tài)調整的數字信息投射到擋風玻璃上,進而利用反射原理將信息投射到駕駛員眼睛,減少駕駛員的注意力分散。為了增強乘客的乘車體驗,福特公司研發(fā)了一款名為Feel the View的智能車窗,通過觸覺反饋系統,使乘客能夠與沿途風景進行互動。
未來,XR技術能夠根據駕駛員或者乘客的需求智能化處理其眼前的環(huán)境。可以設想的情景是:當駕駛員與乘客在枯燥無味的公路上行駛時,XR能夠模擬出在風景靚麗的草原上駕駛的情境,可以提升駕駛及乘車體驗。在交通管理方面,??低暪狙邪l(fā)的基于AR技術的云圖交通實景指揮系統,通過在城市交通平面圖上疊加交通元素,實現更方便的指揮調度,提高交通區(qū)域把控的全局性。歐盟資助的名為RETINA項目,利用XR技術提高機場高控制臺的指揮人員的視線和情景意識,通過對天氣、機場交通等數據的抓取、處理,生成直觀清晰的航空交通圖,來提高機場整體航班處理能力。即使在能見度低的惡劣天氣環(huán)境中,XR技術也能夠延伸指揮人員的感知能力。
(六)旅游業(yè)
在體驗經濟的時代,隨著游客的體驗訴求增強,傳統的旅游行業(yè)依靠靜態(tài)的圖片、視頻等多媒體手段吸引顧客的做法已過時。當下使用VR全景圖以及AR為景點提供的實境導覽等沉浸式技術,能夠為旅游業(yè)面臨的宣傳困境指明道路。XR技術能夠還原名勝古跡的歷史場景,為游客營造全新的體驗模式,但這也引起了產業(yè)界的爭議:如果用戶在遠程利用沉浸式技術營造接近或者超越真實的旅游體驗,那么,他們是否還愿意出現在真實景點?未來的旅游業(yè)應當認識到XR技術對于營造個性化旅游體驗的巨大潛力。同時,旅游產業(yè)的盈利模式也應當適時轉變,如可對XR用戶遠程訪問收取增值服務費用等。
(七)教育領域
對AR、VR及MR在教育領域的運用,已有大量學者、企業(yè)機構進行深入研究,積累了大量案例,主要分為知識教育、技能訓練及學習活動效能支持三個方面。黑晶科技為K-12教育打造了基于VR系統的沉浸式課堂,學生通過VR頭盔能夠直觀體驗宏觀、微觀等模擬場景,教師可以通過中控設備實時調整課堂教學活動。AR技術在近年來,以結合繪本教育的方式出現在早教市場,“涂涂樂”式AR交互式繪本,允許兒童將涂鴉內容掃描后立體呈現在智能終端上,并且能夠伴隨動畫、音效的生成,激發(fā)兒童體驗興趣,提高其動手能力。
因此,未來XR技術能夠允許學習者開展自主探索,以動態(tài)交互式的方式來探究學習活動。當然,XR技術在教育應用的方式潛力,也需要教師、家長等群體的配合與支持,以及教與學活動的同步升級,才能發(fā)揮最大潛力。
四、擴展現實(XR)技術的教育應用分析
(一)教育應用特性
1.人本性
未來教育是針對個體學習者的,體現以人為本的精神,為每一位學習者提供適合其特點的教學資源,關注每一位學習者的個體體驗和學習需求。擴展現實技術應用能夠根據學習者所處上下文情境動態(tài)調整內容,使學習者獲得獨一無二的學習體驗。
2.智能性
擴展現實技術最重要的特征,是能夠根據周圍環(huán)境數據以及學習者本身所產生的生理數據,作分析、處理,從而分析出特定學習者、學習群體的學習特點,來提供符合教與學過程需要的相應沉浸式教學空間。
3.交互性
交互性是擴展現實技術教育應用的重要特性之一,其感官代入的特征,能夠全方位為學習者提供抽象知識的具象模擬,進而使學習者能夠更深刻的理解學習內容。
4.生成性
擴展現實技術是對于用戶所處情境感知的同時,不斷生成新的體驗內容。在教學活動中,教育目標、教學方法等應根據學習者實際情況而動態(tài)調整,這與擴展現實技術的應用特征相契合。
5.沉浸性
擴展現實技術無論是對于現實體驗的增強,還是對虛擬體驗的模擬,其目的總是試圖讓用戶能夠忽略技術的痕跡,而沉浸于當前的體驗活動之中。教育活動的沉浸性體現學生在體驗學習過程中,對于學習活動的專注度。因此,擴展現實技術的沉浸性特征,能夠支持其在教育領域的有效應用。
(二)教育應用的理論基礎
1.具身認知理論
具身認知理論是梅羅龐蒂(Maurice Merleau-Ponty)在反對笛卡爾的身心二元論觀點的基礎上發(fā)展起來的。它強調我們是通過身體這一媒介來認識世界的,身體媒介為我們認知學習提供一種新的方式。只有當學習者的認知、身體與環(huán)境的三者進行有效互動時才能進行學習[38]。利用XR技術,學習者可以有效觸發(fā)這三者的互動,通過看、聽、觸等的方式與所學獨享進行直接的互動,可將原本晦澀難嚼的知識點轉換為具象可交互的資源形式,從而形成有效認知。
2.體驗學習理論
庫伯(David Kolb)對體驗學習的研究,主要闡述了體驗學習是以學習者親身體驗為基礎,通過自身體驗與環(huán)境進行持續(xù)性的互動,來獲取直接的、具體的經驗,通過觀察反思將經驗轉化為個體知識,再將其運用于新環(huán)境的一個循環(huán)往復的過程。XR技術應用于教育領域時,能夠給學生提供一個可體驗的場景,學習者運用身體及各大感官功能去體驗去實踐,再將從此中獲得經驗結合自身原有的主觀認識,對于知識進行轉化與再創(chuàng),從而形成一個迭代進步的過程。
3.情境學習理論
1989 年,布朗(John Seely Brown)、科林斯(Allan Collins)與杜繼德(Pau Duguid)發(fā)表了《情境認知與學習文化》的論文。在文中,他們進一步的闡述了教育心理學角度的情境學習,并認為,知識是具有情境性的,是活動、背景和文化產品的一部分,在其豐富的情境中,知識不斷被運用和發(fā)展著。因此,知識的思考和情境是相互密切聯系的,知與行是相互作用的[39]。一些研究者認為,學習者在生活中接受知識的能力比課堂上強,其主要原因在于教師在課堂上灌輸式的知識輸出,一方面沒有激起學生對知識足夠的興趣;另一方面純理論式的輸出很難將所學內容應用于實際生活中。與之不同,XR技術可以為學習者創(chuàng)造一個技能運用場景,以幫助學習者將課堂知識轉換運用到實際生活中;還可以在場景中添設特定的問題情境,在逼真、自然的交互方式下,培養(yǎng)學習者發(fā)現問題和解決問題的能力[40]。
4.心流理論
心流理論是由米哈伊·森特米哈伊(M.Csikszentmihalyi)提出的,作為正向心理學的概念已被廣泛的應用在各個領域。所描述的就是一種活動的心理狀態(tài),個體完全沉浸在一個活動體驗之中并具有充足的活力和滿足感。在教育領域,學習者可以通過運用XR技術來對學習空間做合理設計,利用可視化的設計等,達到身心沉浸的目的。同時,要注意學習者在利用XR技術進行學習時心理狀態(tài),更注重學習任務的挑戰(zhàn)水平要與學習者技能水平的相符。
(三)擴展現實(XR)技術的教育應用場景及分析
1.智能教育產品設計
教育產品主要是指面向教師的教學工具以及面向學習者的學習資源,如課本、玩具及教育軟件等。當下的教育產品已經具備數字化的特征,從而呈現出一定的交互性,如交互式白板、交互式繪本等。但其并不具備“智慧性”,因而也不能超越工具本身,無法成為用戶的忠實“伙伴”。
以繪本教育類產品為例,繪本以內容可視化的形式為兒童建構精神世界、培養(yǎng)多元智能。繪本作為一種敘事媒介,其發(fā)展是以紙質繪本、電子繪本(軟件)、基于AR的交互式繪本為大致脈絡。盡管AR技術能夠將數字信息與紙質內容混合,但兒童的閱讀體驗仍然受到設備尺寸大、交互內容少等影響。未來基于XR技術的兒童繪本,會更加適應每個小讀者的閱讀計劃或閱讀習慣等,無需兒童握持智能手機等影響沉浸感的設備,而是通過輕便的XR眼鏡進行體驗。如,以恐龍為主題的科普類兒童繪本,當兒童視覺大多停留于食肉類恐龍上,XR繪本會根據兒童的注意力、閱讀進展,自動調整相關的顯示內容,集成顯示與食肉類恐龍相關的信息,如戰(zhàn)斗力排名、與其他恐龍間的生存關系等。這即可以增強紙質繪本的內容;也可以使小讀者無縫穿梭在虛擬的恐龍世界中。例如,虛擬化身將如何躲避不同食肉動物的追捕等。因此,未來的XR繪本仿佛變成了有生命的數據庫,交互的觸發(fā)與內容的更新都是動態(tài)的。服務商可根據讀者的環(huán)境,提供定制化的信息和體驗。
未來XR智慧教育產品的實體與功能或將分離,實體更多充當“喚醒通道”,將學習者或教師與虛擬空間連接。例如,當教育產品與4D打印技術、XR技術結合,利用創(chuàng)造的沉浸式創(chuàng)作空間,教育產品實體會作為一種表達媒介,展現用戶思維在真實時空中的表達。
2.游戲化學習實施
游戲化學習是伴隨著嚴肅游戲或者說是教育游戲的發(fā)展而產生的新名詞,強調的是借助游戲媒介或者抽取游戲設計中的元素、方法及技巧等,提升學習者學習動機,激發(fā)其主動學習。游戲化學習的難點在于維持學習者較高水平的學習動機。一旦學習者熟練掌握游戲情境中的規(guī)則、學習內容,按照心流理論的解釋,學習者所面對的挑戰(zhàn)與其自身的技能發(fā)展無法使其維持在“心流通道”中。因此,學習的沉浸感將受到影響、學習效率也會降低。XR技術創(chuàng)新的交互方式,能夠使學習者“具身化”的與游戲內容進行交互,同時,其情境感知的特征也能實時分析學習個體的注意力、生理特征,從而量化分析其體驗狀態(tài),靈活調整難易程度等游戲指標,促使心流的持續(xù)性,提高學習效率。
以未來化學領域游戲化學習為例,學習者能夠在教室中操作其“人替”前往虛擬海域中去開采天然氣等資源。XR技術通過分析學習者的情緒狀態(tài),靈活構建即將生成的探索場景,保證學習者能夠持續(xù)沉浸其中。同時,學習者能夠將開采的資源“帶回”教室,與同學、教師一起分享、研究等,數字資源將能夠以接近真實資源的互動形式被共享,這無異于完成了一次真實的冒險活動,為學習者留下深刻的印象。
XR技術對于游戲化學習中的教師角色轉變也提供了一定支持,其直觀交互的特性,能夠使教師快速構建游戲化教學場景,通過口述、肢體等方式實時交互,即“所述即所得”、“所見即所得”及“所想即所得”,從而提高游戲化教學的效率。
3.智慧與智能學習環(huán)境創(chuàng)設
智能學習環(huán)境是一個智能化的學習場所或活動空間。它以學習者為中心,受到各種新技術、工具、資源和活動的支持。它具有靈活性、智能性和開放性的特點,為學習者的有效學習提供了簡單而個性化的學習支持。因此,智慧學習環(huán)境應當具有情境感知、智能管控、開放資源及全向交互的基本特征。傳統的基于屏幕的智慧教室構想,在越來越多的3D效果取代2D顯示的時代潮流中,應該更進一步更新。作為未來沉浸式技術發(fā)展趨勢的XR技術,能夠結合環(huán)境數據、個體生理數據等,提供動態(tài)調整的教室環(huán)境(溫濕度、光線等);也能夠針對學習者學習內容提供開放的跨媒介型、非結構化的學習資源;同時,其多模態(tài)的交互方式,還能滿足學習情境中學習個體的不同互動需求。因此,XR技術支持的智慧學習環(huán)境,應當是下一階段智慧學習環(huán)境的發(fā)展趨勢,呈現人機協同學習、虛實無縫銜接、遠程沉浸教育體驗等特征。學習者在該環(huán)境中伴隨著感性思維的介入、通過具象化的學習實踐模式,學習者的高階思維能力將會得到培養(yǎng)。
因此,XR技術支持的智慧與智能學習環(huán)境,在場地空間上要求具有實時變化的定向光照環(huán)境、聲場環(huán)境,以配合實時融合虛擬數字信息;需要配備公共休息座位,專用的課桌椅隨著顯示、感知設備的可穿戴化而消失;教室不僅需要與學習者、教師互聯,也應當與互聯網、物聯網形成的傳感器網絡互聯,以保持數字資源的開放性等;教與學的過程應當體現一定的社會性,滿足學習環(huán)境與外部世界的互通性,因此在教學內容的設計上,也應當體現知識與社會的關聯性,培養(yǎng)學習者的社會責任感等。例如,在實際教學中運用XR技術,讓學生快速理解抽象的空氣動力學知識。一方面,教師可以在課堂內構建風力發(fā)電機等現實虛擬物體,結合具象三維圖像講解空氣動力學原理;另一方面,學生可借助XR技術配備的智能助理的指引,設計小型發(fā)電風車,并可以利用虛擬風扇測試風車,以改良設計,爭取獲得更多電力。通過這種方法,學生更容易把握抽象的概念,并與實際生活聯系起來。
4.創(chuàng)客教育
創(chuàng)客是指利用網絡、增材制造技術及其他新興科技,把創(chuàng)意轉換成現實,勇于創(chuàng)新的一群人[41]。創(chuàng)客教育即鼓勵學生以“創(chuàng)客”方式在學習過程中實現跨領域的融合,并不斷地在設計中創(chuàng)造,強調行動、分享與合作,并注重與新科技手段結合,逐漸發(fā)展為跨學科創(chuàng)新力培養(yǎng)的新途徑[42]。因此,創(chuàng)客教育實現了多學科融合、關注體驗式學習以及注重合作交流而具有融合性、研創(chuàng)性及協同性,需要學習者主動思考,發(fā)現問題并解決問題。國務院也在最新發(fā)布的《新一代人工智能發(fā)展規(guī)劃》中明確提出,要在中小學階段逐步推廣創(chuàng)客、編程教育。XR技術對創(chuàng)客教育的支持主要體現在增強創(chuàng)客教學、融合創(chuàng)客課程及變革創(chuàng)客學習三個主要方面。
(1)增強創(chuàng)客教學是指在教學環(huán)節(jié)中,教師通過XR技術中介,為學生提供立體、直觀的教學指導,推動教學內容的多學科融合,教師由原來關注學生的知識掌握情況,轉向關注學生知識綜合能力、協同創(chuàng)新能力等高階思維能力。同時,在師資配備上能夠實現“異地同課”,集結優(yōu)質教學資源。(2)融合創(chuàng)客課程是指XR技術能夠真正實現項目為導向式的學習,因其能夠根據學習者的知識訴求,動態(tài)生成學習資源,并指導其進行實踐活動。(3)變革創(chuàng)客學習是指實踐過程在虛實空間中協同進行。如,傳統的編程教育是以逐行輸入或圖形化節(jié)點式編程為主,XR技術能夠識別包括學習者的自然語言、直觀交互等輸入方式,以三維顯示技術從2D向3D的轉型,亦將完全改變的互動、協作與學習方式。XR技術能夠實現在創(chuàng)作中嵌入三維對象,因此,創(chuàng)客教育的學習方式今后的進化方向,可能朝著虛擬團隊實時創(chuàng)建和編輯3D物體發(fā)展,從而打造更加豐富多彩的沉浸式學習體驗。
5.設計教育
設計教育要求培養(yǎng)學生具有創(chuàng)新型的設計思維以及良好的設計實踐能力,當下設計教育并非設計相關從業(yè)人員的專利。隨著學科融合以及STEM教育、創(chuàng)客教育的推進,設計思維也被要求作為適應21世紀發(fā)展的創(chuàng)新型人才的核心素養(yǎng)之一。XR技術能夠實現快速原型設計,學習者只需戴上XR眼鏡,通過直觀交互的方式,預想方案便會立刻出現在可編輯的混合現實空間中。當下對教學也提倡跨學科協同設計,通過數字孿生的方式,學生能夠共同完成同一設計原型的開發(fā),從草圖構建到快速的三維生成,甚至結合3D打印機,可以實現快速原型開發(fā),更好地幫助學生進行設計實踐。
6.特殊教育
沉浸式技術在特殊教育領域的運用,主要包括針對運動障礙、自閉癥譜系障礙和智力障礙等特殊人群的感知覺與運動訓練、生活自理與職業(yè)訓練、認知訓練及社交訓練。但針對因感官缺陷而導致交流障礙的特殊群體的研究較少,因為當下獨立發(fā)展的AR、VR及MR技術的主要優(yōu)勢,在于創(chuàng)造模擬、訓練等恢復情境,但在以聲音、文字為基礎的社會交流維度上,并不能給予太多幫助。XR技術充分考慮到特殊人群感知通道的不足,為特殊人群營造不同的學習資源和學習情境,彌補其感知能力的不足,輔助其認知和提供真實體驗的機會。其多感官交互特征,能夠以五感互通的形式,增強或者削弱特定感官通道的信號接受,使得更隱性化的數字通信模式成為可能。對于交流障礙人群來說,觸覺甚至味覺等將可以用于傳遞語言和情感,信息將通過其他信道將不同尋常的感覺輸入大腦,以達到“感官代替”的目的。
例如,未來可在交流障礙人群的XR設備中增加可穿戴式觸感服裝的組件,開展人工智能系統的輔助訓練。當捕捉到他人的聲音信號時,組件能夠以不同區(qū)域、不同強度的振動信號傳遞到身體,從而能夠為其構建類似摩爾斯電碼的新型語匯。當然,對于已有領域的沉浸式技術應用,XR技術不僅能夠搭建虛擬與現實無縫銜接的橋梁,也能夠通過物聯網、人工智能等技術,為特殊人群構建共享的虛擬空間,其感官代入、互通的特性能夠保證有生理缺陷的人群,在未來也能夠體驗到正常人對世界的感性體驗。
五、教育與新技術融合的走向
新技術的迭代,不斷增強人類對外部世界的感知,也給人類帶來了層次多樣的體驗。未來是一個充滿挑戰(zhàn)、全球化和創(chuàng)新多變的時代,教育需要培養(yǎng)能夠面向未來的創(chuàng)新型人才。當下傳統教育的弊端已經被重新認識,眾多的研究者和教育者都在嘗試著利用新技術來變革教育,這是時代發(fā)展所造就的。綜觀技術與教育融合的歷史,從幻燈、投影,錄音技術到電影、電視,再到計算機,網絡和當下的VR、AR、MR以及本文所探討的擴展現實(XR)技術,可以發(fā)現未來教育與新技術融合的走向,將呈現以下六個特征:
(一)體驗為王
新技術的出現,不可避免的會使教育界關注其作為媒介的獨特性,技術影響教育活動的演繹方式。值得注意的是,學習者在面對新技術的出現往往會有很強烈的初體驗,但當“習慣這種幻覺”后,新的技術不再有“令人迷戀的力量”[43],同時對于教育的支持程度也會大打折扣。因此,教育與新技術的融合,應當超越對于技術本身的“迷戀”,技術應當充當一種為了滿足教育目標實現的媒介,教育工作者應關注新技術形成的新教育媒介上的內容設計,將學習者置于有意義的環(huán)境中,即營造“情境化”的體驗。對于新技術教育應用特性的關注是不可避免的,媒介理論家Steven Holtzman認為,重新利用媒介的方法不是利用其特殊性質,而是建立在其特殊的基礎上,發(fā)展一種全新的表達方式。XR技術對于教育而言,不僅強調為教育的開展提供相關設備、應用平臺及技術環(huán)境的研發(fā),更強調如何將其與現有的教與學過程、學習者學習特征等良好對接,為教育者、學習者提供優(yōu)質的用戶體驗。
(二)智能為基
人工智能作為一種在線應用型技術,在實際應用過程中往往需要結合其他技術,共同為教育增能、賦能及使能,人工智能化的教育新技術能夠大規(guī)模代替學習者程式化的腦力勞動,從而引導培育學習者的高階思維能力。當下為“人工智能+教育”的時代,人工智能的發(fā)展主要集中在感知智能階段,未來的人工智能的突破口,將落在特定領域認知智能的實現以及應用的普及上[44]。人工智能的加持為新教育技術打上了“智慧”的標簽,能夠使其更加了解學習者,并據此提供個性化的體驗,以提高學習效率。傳統的非智能化技術只是工具,但“智慧”教育技術能夠將技術本身上升到教育伙伴的關系維度上。技術能夠關注學習者并預測其需求,從而能夠更好地服務于教育活動。Gartner認為,以人工智能為基礎的智能技術的發(fā)展,推動了“認知計算”時代的到來,技術將經歷四個典型的發(fā)展階段,包括:與我同步、看我行動、與我相知、成我化身四個階段,這體現了智能技術將從“人工化”向“人文化”的轉變歷程。因此,未來的教育新技術將會建立在人工智能的基礎之上,與學習者共同學習、成長。
(三)邊緣計算
正如擴展現實技術應用一樣,要給學習者帶來沉浸的學習體驗,無縫的穿梭于虛擬與現實之間,高效的網絡運算是必不可少的。隨著物聯網和云服務的推動,在網絡邊緣產生的數據正在海量增加。如果我們能夠在網絡的邊緣結點去處理、分析數據,那么這種計算模型會更高效。借助于邊緣計算,我們可以更好地處理新技術在教育應用過程中產生的海量數據,將減少數據在網絡中傳輸的時間,簡化網絡結構。對于數據的分析、診斷和決策,都可以交由邊緣結點來進行處理,從而實現低延遲,提高用戶體驗??梢灶A見的是,未來教育與新技術的融合會朝著邊緣計算的方向發(fā)展,技術也會呈現平靜技術的特征,學習者會在技術的隱性支持下獲得無縫式學習體驗。
(四)跨空間的無縫融合
在數字技術出現之前,人類生活的現實空間與想象空間是分離的。計算機的出現,使得現實與想象空間僅有一“屏”之隔,思維得以可視化。顯然,XR技術即能夠打破現實與想象空間之間的距離,實現思維如現實般“可感化”。教育活動主要伴隨著思維的產生、實踐活動的開展及反思活動等的循環(huán)認識過程。XR技術提供的虛實融合空間,打破了思維間斷性的僵局,激發(fā)了人類對現實可能性的關注,從而解放了人類的感性實踐活動。教育新技術應當繼續(xù)探索打破思維、實踐異時空的活動難題,實現跨空間的無縫融合,為學習者提供“思維創(chuàng)造”的新模式。
(五)多模態(tài)交互
在可預見的未來,身體或許是人類所擁有的最自然的“界面”,Jakob Nielsen 在其論文中寫到[45],“當你在觸摸自己的身體時,你完全能感受到自己觸摸的對象,并獲得比任何外部設備都要好的反饋。而且,你永遠都不會忘記帶上你的身體?!备叛灾?/span>XR技術試圖構建建立在人類五感基礎之上的多模態(tài)直觀交互模式,未來的教育技術所提供給學習者的輸入、反饋,應當是建立在身體自然交互基礎之上的多模態(tài)反饋,甚至可以將技術嵌入體內或將技術納入身體的一部分,從而能夠真正的擴展人類的感知能力,獲得“新的感官”。在設計技術的同時,技術也在重新塑造著人類,因此,多模態(tài)的交互技術,也應當作為教育與技術融合的發(fā)展趨勢之一。
(六)支持全納教育
全納教育作為一種教育思潮,它容納所有學生,反對歧視排斥,促進積極參與,注重集體合作,滿足不同需求,是一種沒有排斥、沒有歧視、沒有分類的教育[46]。全納教育背后是深刻的教育公平理念,它既是對社會現實的一種反映,也是對社會現實的一種超越,包括技術對特殊人群、對教育資源匱乏地區(qū)人群的包容與支持。如同擴展現實技術一樣,它應能為各類感知技能殘缺人群提供交互新形式,彌補感官功能缺失帶來對外界體驗以及學習的障礙。教育的新技術的發(fā)展,應更注重體現人性化及人文關懷之意味。
六、結論
歷史上,從車輪到互聯網,技術的發(fā)展不斷縮短著距離。我們正在走向物理世界和虛擬世界之間界限模糊的時代。在擴展現實的新興技術的推動下,我們不再受過去物理環(huán)境的限制。隨著各種沉浸式體驗的普及,擴展現實技術的真正意義在于,它讓任何距離都不再是距離。正如學者翟振明認為的,“擴展現實(XR)不僅是交往與體驗的世界,更是操控自然因果過程的實踐空間[47]”。虛擬與現實世界的無縫融合,使我們的世界變成形而上的世界、不可見不可觸的世界、一個原理的世界。
擴展現實更強調對于虛擬世界與現實世界的彌合,讓人們、信息和體驗之間的距離消失。借助于擴展現實技術,人們可以自由的游走于現實與虛擬之間,擴展現實(XR)所創(chuàng)造的人——新感性的數字化時空,促成了虛擬實踐與現實實踐之間并存、交織、互動發(fā)展,從而擴展了人類現實的生存空間;使人類實踐活動實現了對現實社會空間延伸和超越,為人們提供了重新進行自我塑造和多樣性發(fā)展的空間和機會。黑格爾說,人的本質就是自由。學習自由,正體現為一種人的自由意志。為實現其自由個性的本質,人類在心智發(fā)展過程中對廣闊知識所能選擇的限度,將在新技術的支持下得到無限的擴張,自由自覺是人類的最深層本質與永恒的價值[48]。
當下教育的重心由傳授單純技術,轉向培養(yǎng)學生高度的問題解決能力和創(chuàng)造力,這是教育本真的回歸。發(fā)揮人的潛能,擴展人的靈性,促進人的精神成長,成為了教育的最大任務和特殊使命。擴展現實的出現及在教育領域的廣泛應用,打造了豐富而有吸引力的學習體驗,為學習者提供了新的數據分析及展示提取方式。同時,還大大擴展了學習者的信息獲取渠道,從不同角度和感知通道感知所感知的現實世界(虛擬和現實無縫融合的泛現實世界),為學習者提供個性化的現實和學習支持,服務于學習者的個性化學習需求,減輕了學習者的學習認知負荷。其具有的智慧感知、自然交互屬性,將更好地體現“身心一體、知行合一”的教育思想,服務和支持未來教育,服務于面向未來的創(chuàng)新人才培養(yǎng)。
[參考文獻]
[1][美]麥克盧漢.理解媒介:論人的延伸[M],上海:商務印書館,2000.
[2]國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020年)[EB/OL].[2018-10-10].http://old.moe.gov.cn/publicfiles/business/htmlfiles/moe/info_list/201407/xxgk_171904.html.
[3]Ronald T Azuma.A Survey of Augmented Reality[EB/OL].[2018-12-01].http://www.cs.unc.edu/~azuma/A Rpresence.pdf.
[4]黨保生.虛擬現實及其發(fā)展趨勢[J].中國現代教育裝備,2007(4):94-96.
[5]Milgram P,Kishino F.Taxonomy of Mixed Reality Visual Display[J].Ieice Trans.inf.&Sys.d.1994, 77(12):1321-1329.
[6]Mana F, Jeannette P.Explore Augmented Reality(AR), Virtual Reality(VR), and Mixed Reality(MR) for Business[J].Business Horizons, 2018(61):657-663.
[7]張世英.現實·真實·虛擬[J].江海學刊,2003(1):12-20.
[8][9]陳志良.虛擬:人類中介系統的革命[J].中國人民大學學報,2000(4):57-63.
[10]齊鵬.數字化時代:人類感性方式的第三次革命[J].河北學刊,2003(5):45-48.
[11]孫廣耀.自由何以可能?馬爾庫塞新感性觀述評[J].佳木斯大學社會科學學報,2012(4):1-3.
[12]馬爾庫塞.單向度的人[M].上海:上海譯文出版社,2006.
[13]Mann S,Furness T,Yuan Y,Iorio J,Wang Z.All Reality:Virtual Augmented Mixed(x) Mediated(xy) and Multimediated Reality[J].ArXiv Preprint,2018.
[14]Wyckoff C W.All Reality: Virtual Augmented Mixed(x) Mediated(x y) and Multimediated Reality[J].SPIE Newsletter, 1962: 16-20.
[15]Mann S.Intelligent Image Processing[M].John Wiley and Sons,2001:384.
[16]Beth C.Using Sensor in Puts to Affect Virtual and Real Environments[J].IEEE Pervasive Computing,2009,8(3).
[17][22][23]Qualcomm.The Mobile Future of Extended Reality[R].United States: Qualcomm Technologies, Inc, 2017:4.
[20]Jennifer W.Independence Day[EB/OL].[2018-12-01].http://news.microsoft.com/stories/independence-day.
[21]Elecfans.郭鵬:我們堅信移動XR是下一代計算平臺[EB/OL].[2018-12-01].http://www.elecfans.com/vr/719679.html.
[24][32]史蒂夫·奧庫斯坦奈斯.增強現實技術、應用和人體因素[M].北京:機械工業(yè)出版社,2017.
[25]Janet C.Introduction to Audio Walks[EB/OL].[2018-12-01].http://www.cardiffmiller.com/artworks/walks.htm.
[26]Detour.Detour_Index[EB/OL].[2018-12-01].http://www.detour.com.htm.
[27]Hypersound.Hypersound_Index[EB/OL].[2018-12-01].http://hypersound.com/home.php.
[28][31]Helen Papagiannis.增強人類:技術如何塑造新的現實[M].北京:機械工業(yè)出版社,2018:60.
[29]NARKII.可回饋觸覺的平板電腦:摸圖即知手感[EB/OL].[2018-12-01].http://www.narkii.com/news/news_129381.shtml.
[30]Giovanni M T,Esben W P,et al.User-defined Gestures for Elastic,Deformable Displays[C]//Proceedings of the 2014 International Working Conference on Advanced Visual Interfaces.ACM,New York,NY,USA,2014:1-8.
[33]FEELREAL.Feelreal Mask[EB/OL].[2018-12-01].http://feelreal.com.
[34]TED.Can We Create New Senses for Humans[EB/OL].[2018-12-01].http://bit.ly/2hrqVXk.
[35]Matthew L, Theresa D.At the Heart of It All: The Concept of Presence[J].Journal of Computer Mediated Communication, 1997(2):3.
[36]Jay D B,Richard G.Remediation:Understanding New Media[M].Cambridge: The MIT Press, 1999:7.
[37]Dan N.Magic and Illusion in Early Cinema[J].Studies in French Cinema, 2001(2):70.
[38]李海峰,王煒.基于具身認知理論的教育游戲設計研究[J].中國電化教育, 2015(5):50-57.
[39]劉徑言.情境認知學習理論視角下《品德與生活》主題單元設計研究[D].長春:東北師范大學.2008:4.
[40]甘永承.虛擬學習社區(qū)中的知識建構和集體智慧研究[D].上海:華東師范大學.2004:62.
[41]張美霞,季宏高.創(chuàng)客教育空間的生態(tài)建構[J].中國成人教育,2016(16):135-138.
[42]王佑鎂,錢凱麗等.觸摸真實的學習:邁向一種新的創(chuàng)客教育文化——國內外創(chuàng)客教育研究述評[J].電化教育研究,2017(2):34-42.
[43]Oliver Grau.Visual Art: From Illusion to Immersion[M].Cambridge:The MIT Press, 2003:152.
[44]陳衛(wèi)東,褚樂陽等.4D打印技術及其教育應用展望——兼論與“人工智能+教育”的融合[J].遠程教育雜志, 2018(1):27-38.
[45]Jakob N.Human Body as Touchscreen Replacement(n.d.)[EB/OL].[2018-10-10].Retrieved from https://www.nngroup.com/articles/human-body-touch-input/.
[46]360百科.全納教育 [EB/OL].[2018-10-10].https://baike.so.com/doc/5537851-5755441.html.
[47]虛擬現實“預言帝”翟振明教授:當VR擴展為ER,黑客帝國將成現實[EB/OL].[2018-10-10].http://blog.sina.com.cn/s/blog_910421960102 wsux.html.
[48]從學習自由到創(chuàng)造自由[EB/OL].[2018-10-10].http://www.nenu.edu.cn/79/75/c139a31093/page.htm.