Z Talk 是真格分享認知的欄目。
我們在這裡談論最新的行業觀察,先鋒的創業動態,也在這裡與真格老友相聚。我們相信持續的學習和進化,相信最深刻的認知來自實踐。
2 月 2 日,蘋果首款頭顯 Vision Pro 正式上市,引發關於 XR 的討論熱潮。在 Vision Pro 上市的節點,徐梧帶來了他對於行業未來發展趨勢的洞察與判斷,希望對你有所啟發。
本文作者徐梧是 XR 天使投資人、貓眼電影創始人、真格基金投資合夥人,作者微信 xuwu2071,新增時請註明公司、姓名,歡迎交流。
主要觀點
1. 過去十年 XR 驗證成功了一件事:三維互動的價值。
2. Vision Pro 將驗證成功另一件事:三維顯示的價值。
3. 虛擬螢幕替代實體螢幕只是時間問題。
4. visionOS 是 macOS 和 iOS 的迭代,從桌面多視窗作業系統升級為空間多視窗多物體作業系統。手眼互動其實就是空間多點觸控,是 iOS 多點觸控的迭代。
5. MR 是 VR 的迭代,MR 會讓 VR 更好用。MR 描述的是物理空間中數字內容所佔的比例,VR 和 AR 是不同比例的 MR。
6. 空間計算是實現 MR 的重要技術能力。空間計算是平面計算的迭代,空間計算機是平面計算機的迭代。
7. 所有二維應用都會三維空間化。未來的應用包括三維化的二維應用和三維原生應用。Vision Pro 的策略大機率是在立足於已有二維平面生態的基礎上,逐步完成對三維空間生態的支援。
8. 從 Google Glass 到 Ray-Ban Meta,驗證了智慧眼鏡需要先做好眼鏡,再做好智慧。
9. Vision Pro 加上 XR 行業前十年的經驗已經足以定義一款相對完美的 MR 頭顯。
10. 人類文明發展了幾千年後,我們這代人將歷史性地經歷數字內容和物理現實合併為新現實。
目錄
1. XR 過去十年的意義
2. Vision Pro 釋出的意義
2.1. Vision Pro 重新定義三維顯示
2.2. 虛擬螢幕開始替代實體螢幕
2.3. Vision Pro 重新定義 MR
2.4. visionOS 是史上第一個空間作業系統
2.5. 二維應用的三維化
3. Vision Pro 往後的一些預測
4. 再談智慧眼鏡和 AI 眼鏡
5. 真正的混合現實 & 重新定義的新現實
01
XR 過去十年的意義
研究未來,就不能不研究過去。我們不能孤立地看某一款裝置,而是應該從行業整體的高度來看待行業的發展。就好像 iPhone 並不是橫空出世,在此之前也有這樣和那樣的裝置分別從不同的角度驗證了移動裝置的價值。而對於一個已經花了近千億美金的 XR 行業,總結前人的經驗顯得更加重要。
XR 行業和智慧手機、智慧手錶、個人電腦等行業有個最大的不同,就是頭戴式計算裝置目前很缺乏產品驗證的歷史。電腦上市前,我們已經有近一百年時間驗證了打字機的價值,也有小几十年時間驗證了電視機的價值。智慧手機上市前,我們驗證了電話、驗證了手機、驗證了 PDA、驗證了 MP3、驗證了 Game Boy。而頭戴式計算裝置對於重量、技術的苛刻要求,導致雖然在科幻小說中的提及率很高,但真正大規模從概念走向商品,也就近十年的事。所以研究 XR行業的產品,只要集中看過去十年即可。
過去十年,大量的裝置面市,有 Oculus Rift/Quest, HTC Vive, Valve Index, HoloLens, Magic Leap, Google Glass 等等。站在當時看,這些裝置都各有優劣,但最後真正集各家大成,構建了正向生態的只有 Oculus(後被 Meta 收購),代表產品是銷量突破 1000 萬臺的 Meta Quest 2。

過去十年釋出的部分 XR 裝置
與普遍認知提到的沉浸感一詞所不同的是,在千萬級使用者的層面,過去十年真正驗證成功的只有一件事,就是三維互動的價值。簡單來說,就是由頭手追蹤構成的三維互動,可以完成鍵盤、滑鼠、手柄、觸屏構成的二維互動所不能完成的事,所以有了 VR 的 FPS,模擬真實的架槍、瞄準,有了音樂動作遊戲 Beat Saber,模擬刀劍切割方塊,還有社交產品 VRChat,進行全身動捕,還有 Gorilla Tag,模擬雙手運動。此刻,全球大約有接近 1000 萬的VR月活使用者。
有人說 Quest 2 是遊戲機,說這些使用者是遊戲機使用者,這是相對片面的看法,其實 Quest 生態裡也有不少娛樂應用和行業應用。而且我更願意認為,這些使用者本質上是三維互動的使用者。
隨著開發者的理解日益深刻,三維互動帶來了全新的產品設計思路。在《絕地求生》和《和平精英》的玩法裡,傳統的跳傘環節是在手機和電腦上通對地圖手動選點完成,而在 VR 遊戲《Contractors:Showdown》(Contractors 吃雞玩法的新作,年內上線)裡,你將會真的從萬米高空中的軍用運輸機裡往下跳。而在路途中檢視地圖時,傳統互動是彈出一個地圖視窗,而這裡你將會真的掏出一臺軍用手持 GPS。
過去十年,還有很多沒有驗證成功的事。首先就是三維顯示,包括大家曾經看好的 VR 影片,因為顯示技術的原因,除了畫面大,實際消費者感受到的解析度和顯示效果是弱於傳統平面顯示器的。然後是 MR 混合現實,Magic Leap 和 HoloLens 這兩款投入了幾十億美金的裝置,也因為顯示和算力等綜合技術路線的原因,從最早面向 toC 消費者到後期轉向 toB,非常艱難地生存著。最後是 AR 眼鏡 Google Glass,雖然引發了巨大的社會討論,但也只是曇花一現。這些方案本身並非一無是處,放在當年都有天才的洞察之處,但或多或少因為技術上或產品上的缺點和侷限而陷入了困境。
02
Vision Pro 釋出的意義
2024 年 2 月 2 日,Vision Pro 正式上市。
我仍然想強調一下的是,Vision Pro 不是突然釋出的,蘋果為此已經準備了 9 年。
蘋果 2015 年就已經挖來了前 Dolby 的高管 Mike RockWell,組建團隊進行 XR 裝置的開發,並且蘋果的開發也並非一帆風順,傳言還在 2019 年大幅更改了產品原型。
接下來我們分析 Vision Pro,我想說,這裡面並不僅僅是技術層面的問題,也不僅僅是工程層面的問題,還包括從產品層面,從生態層面等不同角度綜合理解 XR。理解 XR 有一個典型的誤區,就是簡單地把計算裝置這件事當成是硬體的事或者科技的事,研究裝置也僅僅只是從引數出發,甚至有人評價 Vision Pro 是蘋果的極致堆料,我完全不贊同這個結論和這種分析方式。其實圍繞平臺級計算裝置的設計是一件相當整體的事,這裡麵包括硬體,包括 OS,包括第一方應用,也包括第三方生態,這不是割裂的幾部分,而是一個有機的整體。況且,我們研究的是下一代計算平臺,這一次沒有後視鏡,也沒人給你現成的答案,是需要透過獨立思考,吸取前人的經驗教訓,形成一整條產品主線,一整套底層的產品設計理念來指導我們的研究。
接下來我要講的所有的進展,我認為會起源於 Vision Pro,但不止於 Vision Pro。一方面,各家廠商肯定會快速學習。另一方面,Vision Pro 上市後,也會根據消費者、開發者的反饋,更進一步。所以希望大家能夠動態地、辯證地看待 Vision Pro 的設計,而不是僅僅把目光侷限、固化在某一家某一代的裝置上。
2.1
Vision Pro 重新定義三維顯示
第一點也是最重要的就是 Vision Pro 帶來的全新的、高質量的三維顯示。
在談三維顯示之前,我想從使用者的角度講講使用二維平面顯示裝置的心路歷程。我們大部分人都是從 90 年代開始接觸電腦、電子遊戲機等裝置的。我們使用電視和顯示器,最早是 320X240 的解析度,再然後是 640X480,1024X768,1080P,4K,在我的記憶中,每一個時期的顯示效果都覺得還不錯,以至於現在還能回過頭玩一些畫素風的老遊戲。再看手機也是,iPhone4 有了視網膜屏很好,但是之前也不錯。總體二維平面顯示給我們的感覺就是解析度差點我們也能接受,好點當然更好,好到一定程度(視網膜屏)再往後體驗提升就不明顯了。一句話總結,過去 20 多年平面顯示器的解析度提升帶給使用者的體驗提升是漸進的,是一種量變。
然後我們來看三維顯示。三維顯示裡解析度的單位用 PPD(Pixel Per Degree),意思是視野的每一度裡面有多少畫素。光看引數,其實很難得出有效結論,更要結合使用者實際體感。
Quest2 的解析度是 20PPD,就是指每一度裡面有 20 個畫素。20PPD,使用者會明確分辨出現實和虛擬世界的差異,再加上機器效能的限制,一體機透過卡通渲染帶給使用者視覺衝擊也相對有限,使用者會覺得挺有趣,但並不會很震撼。我對這個階段的顯示效果定義為立體感。
人眼的極限是 60PPD。而 Vision Pro 是 40PPD,一定程度已經接近人眼極限。同時,Vision Pro 採用的是 OLED 螢幕,這意味著更豐富的色彩和亮度。此時將會發生一個巨大的質變。使用者可能無法區分現實和虛擬。舉個例子,蘋果的官方網站上有蘋果 iPhone15 手機的三維模型,如果你下載下來,旁邊再放一部真實的 iPhone15,乍一看,你有可能無法區分哪個是真的哪個是假的。再舉個例子,Vision Pro 主介面裡有一個 Environment 的環境背景,其中一個場景是當你望向湖面波光粼粼,你一度會認為自己真的身處湖邊。我對這個階段的顯示效果定義為真實感。

圖源:Apple
人類歷史上還沒有出現過一種顯示技術會達到這種程度。
在此之前,我們對一臺顯示器或者電視最常用的誇獎就是顯示效果很好,畫面很大,畫質很好。在此之後,我們會怎樣去描述顯示效果呢?當數字生成的虛擬物體從視覺上已經和真實物體相似,我們還會說畫面很好嗎?也許畫面、畫質這個概念都會消失。
去年 6 月剛開完 Vision Pro 釋出會時,很多人都在嘲笑 Vision Pro 的外觀設計,600 多克的重量,還拖著一個長線的充電寶。我覺得這恰恰說明了蘋果在這代裝置上的核心思路,為了保證跨越時代的顯示標準能夠被消費者看到,才對重量、體積和外形設計進行了巨大的妥協,這是產品設計上的一個巨大的取捨。

Vision Pro 產品圖
2.2
虛擬螢幕開始替代實體螢幕
毫不誇張地說,三維顯示技術的突破將完全改變 XR 行業的底層邏輯。很多之前從來沒有考慮的應用邏輯和以前曾經失敗的嘗試都可以重新開始設計和考慮了。
我們先來談第一個影響和對應的一大類應用:虛擬螢幕替代實體螢幕。
我首先想到了 iPad 釋出會。iPad 釋出會上,喬布斯提出了一個問題,市場上是否會容納一種新型的裝置,這是第三類裝置,介於智慧手機和筆記型電腦之間。這個裝置在做一些重要任務時的表現能顯著超過手機和電腦才能被市場接受,他接著舉例,比如上網,檢視郵件,觀看欣賞照片影片,聽音樂,玩遊戲,讀電子書。在這些應用上,第三類裝置可以提供比筆記型電腦和智慧手機更好的使用體驗,否則沒有存在意義。
通過歷史,我們可以站在更高的一個維度去看待這個問題,你會發現過去五十年,人類不斷地製造各種裝置,智慧手機、Pad、電腦、電視、投影儀。這一系列裝置,可以被認為是一系列從小到大、比例不一的螢幕,從橫屏到豎屏,從 4:3 到 16:9 到 21:9,各種各樣。而這一系列裝置又被用來適應我們所處的不同環境,完成不同的任務。

一攬子裝置的歷史驗證了人類需要各種不同的螢幕去應對不同場景的需求。
根據實際的使用者體驗,在 20PPD 的清晰度下透過 VR 裡生成的虛擬大屏觀影大致等於 720P 的真實平面顯示器。因此,在習慣了接受 1080P 的主流平面顯示器下,使用者對於之前 VR 的大螢幕顯示並不感冒。但是在 40PPD 下,虛擬螢幕的顯示質量已經幾乎相當於 4K 顯示器的效果。這意味著虛擬螢幕頭一次可以和實體平面顯示器正面 PK。另一方面,Vision Pro 採用的是 OLED 螢幕,這意味著豐富的色彩和高亮度。於是,無數個、無限大小、自由形狀、近似真實色彩的螢幕突然出現你身邊的三維空間中。

圖源:Apple
所以有時我在想 Vision Pro 的定價真的算貴嗎?如果拿顯示裝置做對比,一臺4K 投影儀一萬塊錢,一臺 SONY 的 4K 旗艦電視接近四萬塊錢。一個幾十平的影音室不算房價只算裝置和裝修需要幾十萬。而 Vision Pro 是兩萬五。
更誇張的是,電視、顯示器已經發展了幾十年了,而 Vision Pro 還只是第一代。Vision Pro2 會怎樣,Vision Pro3 會怎樣?
傳統平面顯示裝置走向沒落的倒計時已然啟動。
2.3
Vision Pro 重新定義 MR
讓我們再來看第二個突破,MR 的突破是一個組合的突破。
Vision Pro 重新定義 MR,可以從三個方面來理解。
第一,VST。VST 是實現 MR 的關鍵技術之一。
普及兩個概念:VST (Video See-Through) 和 OST (Optical See-Through),分別指透過攝像頭的影片技術看到現實世界和透過光學鏡片直接看到現實世界。
OST 的優點非常明顯,等於戴上眼鏡透過鏡片直接看外界,但是 OST 的缺點也非常明顯,普遍會遇到在鏡片上顯示數字內容很難,會面臨 FOV(Field Of View 視場角)小,色彩、亮度都不夠的情況。另外,由於是同時接收光訊號和數字訊號,讓使用者感知到虛實融合也會更難。這裡面的差距過於巨大,以至於完全解決至少需要下一代的顯示技術。
VST 正好相反,顯示數字內容天然容易,能高質量地實現大 FOV,豐富的色彩和自然的亮度。另外,由於 VST 最終都是轉化為數字訊號呈現,實現虛實融合也更容易。難點在於高解析度,以及透過攝像頭捕捉現實世界、生成影片、傳輸影片帶來的延遲。顯示解析度的問題前面已經提過可以解決,為了解決延遲 Vision Pro 採用了一顆和 M2 晶片級別相同的晶片 R1 來解決這個問題,將延遲縮小到了 12 毫秒。

圖源:Apple
過去的十年裡,Meta 的 Quest 系列的 VST 相當長一段時間都是低解析度、黑白、並且帶有大量畸變。直到去年底的 Quest 3 才到了一個基本可用的狀態。而 HoloLens 採用了 OST 方案,隨之而來的缺點就是 FOV 小,色彩差,無法發揮三維顯示的威力。
兩相比較,VST 能同時做到顯示優質的數字內容和現實世界。
《Battle Talent》遊戲製作人、賽夢科技創始人劉瀚陽在研究MR時曾有一個觀點:「清晰的 VST 本身就是 Killer App。」
大概在 Quest 3 上線一個月後,我們發現大量的 VR 遊戲開始提供 MR 模式,而且還是最基礎的 VST 模式,但使用者的反饋已經出乎意料的不錯。
而 Vision Pro 的 VST 效果會更好。

圖源:Apple
第二,我想想講講空間計算的能力。
廣義上我們可以認為空間計算包含一切,三維顯示、三維互動、VR、AR、MR 都是它的子集。這裡空間計算首先是和平面計算相對應的。平面計算裝置處理文字、圖片、語音、影片。平面計算機包含智慧手機、筆記本、Pad、電腦。而空間計算則是處理空間中的資料,感知、理解空間中的各種實體和虛擬物體。頭戴式顯示器就是典型的空間計算機。
狹義上我認為空間計算就是指計算空間中的物體資料。在 Vision Pro 中,空間計算的應用剛剛開始。一個虛擬的物體放在物理空間中,要想和現實無縫融合,則需要空間計算。物理空間中的環境光照,遮擋,物理實體的形狀,理論上來說,都會影響虛擬物體的表現。舉個例子,一個虛擬的電影巨幕,如何像真實的巨幕, 那麼地上一定需要即時呈現光線的折射倒影。一個虛擬方塊扔到實體的桌上,如何有真實的互動,那麼一定要提前識別桌子的高度和平面,同時做出反彈的互動。
透過空間計算,數字內容將在物理空間中更加逼真,也能夠真正意義上做到和物理空間融合。
這裡不得不說到為什麼 Quest Pro(Meta 的首款 MR 裝置)表現那麼差,很多問題並不是想不到,而是因為 Quest Pro 沒有自家的晶片,也沒有專有 MR晶片,使用的是相當於高通幾年前手機效能的 XR 晶片。這和 Vision Pro 能用上蘋果的 M2 晶片是完全無法相比的。
第三,我們再看 Vision Pro 上的數碼旋鈕 (Digital Crown)。這雖然是顆小小的旋鈕,背後卻蘊含著驚人的產品洞察。
我們知道,Quest 系列進入 MR 狀態是透過雙擊兩下頭顯實現的,雙擊後從 VR 進入完全可透視狀態,再次雙擊又回到 VR 狀態。這是一種二元切換的感覺。
蘋果 Vision Pro 用的是數碼旋鈕,輕輕轉動旋鈕,對現實世界的透視可以從 0 到 100% 逐漸完成,0 的時候是完全看見外面,100% 的時候就是完全沉浸在虛擬空間裡。雖然蘋果嚴格禁止使用 VR/MR/AR 這幾個詞,也嚴禁說自己的裝置是 VR 裝置。但是我想說數碼旋鈕恰恰實現了從 VR 到 MR 的切換。Vision Pro 可以作為 VR 裝置存在,當旋鈕轉到 100% 時,你就進入了 fully immersive(完全沉浸)的世界,那就是 VR 頭顯。當旋鈕在 0 到 100% 範圍內時,它就是個 MR 頭顯。
這裡面精彩的是從 0 到 100% 之間的連續過渡。這裡我想進一步談談我對於資訊科技的理解:人類對於數字內容的需求是一個連續的過程。
Vision Pro Digital Crown
影片來源:Apple
這和前面描述人類需要各種各樣的螢幕需求有相似之處,但是又略有不同,我希望我接下來的分析能說清楚而不至於混淆。
我們生活在現實世界,比起 100% 的完全沉浸的 VR,人在大多數時候對數字內容的需求並不需要到 100%,而是在保證和物理空間有感知、有互動的情況下,增加數字內容,讓數字內容和物理空間之間有一個平衡。在辦公室,你也許只需要眼前 60 度的範圍內有數字內容,其他空間用來和周圍同事溝通交流。在咖啡廳,你也許只需要眼前 30 度的範圍內有數字內容,在嘈雜的人來人往中,既有對空間的感知保證安全,又可以舒適辦公。在客廳裡,你可以讓正前方的數字人給你上一堂健身課,同時回應小孩父母跟你打招呼。最後,夜深人靜的時候,你可以享受一個人在書房不被打擾的、完全的沉浸感,即 VR。
國際上研究 MR 有一個概念叫虛擬連續體,描述在完全虛擬(虛擬現實)及完全真實(現實)之間的連續性尺度。這是從學術研究的角度出發。
我覺得從使用者需求角度理解, MR 則可以通俗理解為我們生活的物理空間中數字內容所佔的比例,VR 和 AR 是不同比例的 MR。100% 是 VR,0% 是完全物理世界,0 到 100% 之間是 MR。
透過數碼旋鈕 Digital Crown,我們可以高度自由地控制數字內容和物理現實之間的邊界。
2.4
visionOS 是史上第一個空間作業系統
Meta 在過去十年驗證了三維互動的價值。Meta 的團隊也對 Android 的效能進行了魔改使之能夠適應 VR 的使用。但是從作業系統的互動層面上來說,Quest 系統還是單視窗的 Android 體驗。典型的 Quest 應用操作邏輯是進入主介面,透過手柄射線選擇一個應用,然後進入該應用。
而 visionOS 則是在參考 iOS 和 macOS 後全面迭代的全新作業系統。
如果說 Windows 是人類歷史上第一個平面多視窗圖形作業系統,visionOS 則是人類歷史上第一個空間(三維)作業系統。
第一個特點是多視窗和多物體。
你可以自由地將多個視窗和物體放在 360 度空間中的任意位置,並任意放大、縮小、層疊。你可以分別放置超大的全景照片、超長的文件、瀏覽器、媒體播放器,甚至是虛擬物體。如果你閱讀開發文件的話,你也會發現蘋果將空間中的元素分成了三類,分別是 Windows、Volumes和Spaces。

圖源: Apple
所以我覺得 visionOS 也可以稱為史上第一個空間多視窗多物體作業系統。
第二個特點是手眼互動。
我這裡想說的是 visionOS 其實做了一件非常重要但容易被忽略的事,就是 OS 層面的互動邏輯。Quest 沒有 OS 層的大規模互動,因為它是單視窗,迅速進入應用的一套流程,並沒有在空間中和多物體多視窗互動。蘋果對 OS 層的設計顯然要複雜很多,對空間中元素也做了充分的定義,不論是多物體還是多視窗,就必須就要有一種互動方式來處理,這種互動既要自然,又要高效。所以蘋果應該是花了相當大力氣來設計這套手眼互動邏輯。
這套互動第一個部分是手,毫無疑問,手是一種更加原生的互動方式。Quest 也一直在嘗試。手勢追蹤是 XR 裝置邁向大眾的必經之路。但是難點是如何用手同時兼顧虛擬物體和虛擬視窗的互動,這是兩種完全不同屬性的元素但又出現在同一空間中。在這個基礎上還要足夠高效和自然、節省能量。蘋果設計了一套非常簡潔的手勢互動邏輯,透過手指捏合、點選與手腕輕微移動來完成。

圖源:Apple
第二個部分是眼。我們操作平面電腦進行互動的步驟是,眼睛先看上去,然後滑動滑鼠,然後再按滑鼠進行點選。我們操作 Quest 系列裝置時,Meta 的方案是使用手柄射出一根射線,然後用射線指向按鈕,透過按手柄按鍵進行互動。
蘋果的眼動在這裡起了一個「空間滑鼠」的作用,不需要手腕和手臂移動。看到哪,哪裡就會高亮,然後透過手指一捏表示選中。三步並做了兩步。

圖源:Apple
總體來說,我認為手眼互動是目前空間 OS 層面最低摩擦、最自然、最高效的方式。這也是 Quest 系列從來沒有觸及過的問題。
這是一種無比奇妙的感覺。你會覺得你有超能力。你甚至會拖拽、放縮視窗玩上一整個小時,就像小孩子在房間中隨意堆滿玩具一樣。
另外,XR 社群的開發者都因為 Vision Pro 沒有提供 6DoF(6 自由度,支援三維互動)的手柄而感到費解。我傾向於認為這只是個時間問題,當前這個階段蘋果和 Meta 的思路不同,Vision Pro 提供的手眼互動是在 OS 層為了多視窗多應用的互動,而 Quest 提供手柄互動和手勢追蹤是在單應用下的互動,蘋果會先做 OS 層再做應用層。我這裡有個猜測,隨著版本的更新,第二步 Vision Pro 就會更新類似 Quest 裡的裸手追蹤,第三步,就會增加對手柄和各種控制器的支援,讓我們拭目以待。
2.5
二維應用的三維空間化
講到這裡,其實蘋果的思路已經非常清楚了。Vision Pro 為什麼會這麼設計,為什麼會選在這樣一個時間點發布也非常清楚了。
蘋果的第一步,大機率是想嘗試讓已有生態中的百萬級的二維應用集體變為三維空間應用(蘋果稱為空間應用)。而這一切的基礎,高度依賴一套能讓虛擬和現實得以融合的底層技術基礎(顯示、VST、互動等)。而十年前,這套技術基礎還不存在。
使用者曾經熟悉的二維應用都能在三維空間中使用,而在這裡,曾經的每一個應用將化為空間中的一個切面,一個視窗。三維給了二維應用更加自由的使用方式。這有效彌補了三維計算裝置在初期應用的不足,要知道目前 Quest 商店正式上架的遊戲和應用總數也就大幾百個。
所以我們回過頭再來理解蘋果 Vision Pro 釋出會上為什麼會說相容百萬個 iPad 的應用,就不會感到奇怪了。這其實是在說,空間計算下的第一大類應用就是:向下相容以前所有二維應用,然後透過空間作業系統讓二維應用變得更好用。
再往下想一步,往後的數十年裡,所有二維應用都會不同程度的三維空間化,從簡單地相容、移植到對無限螢幕、空間、三維互動進行最佳化,最終成為原生的三維空間應用。
蘋果已經率先打了一個樣,官方應用已經展示了從影片到空間影片(Spatial Video),從 FaceTime 到 Persona(3D 版 FaceTime),從 2D 版 Apple TV 到 3D 版的劇院式觀影。
而第三方應用,很快大家應該就會使用到,比如 Zoom,TikTok,Office,Disney+ 等等。
這讓我想起十幾年前,各大網際網路公司內部都會有一個部門叫無線業務部,今天,沒有一個部門叫無線業務部,但每一個部門都做移動應用。移動網際網路的今天,就是 XR 的明天。今天,Meta 的 XR 部門叫 Reality Labs,位元組的 XR 部門叫 Pico,騰訊也有單獨的 XR 部門,多年以後,網際網路公司每一個部門都是 XR 部門但又不會叫 XR 部門。
03
Vision Pro 往後的一些預測
簡單預測一些未來幾年可能發生的事。
首先是短期 XR 產品的標準形態幾乎已經完全確定。蘋果 Vision Pro 的設計加上 XR 行業前十年的經驗已經足以勾勒出一款真正意義上相對完美的中期 MR 頭顯方案。全行業資源將會迅速投入到這一款產品中來。
有業內人士因為初代 Vision Pro 沒有手柄而認為 Quest 和 Vision Pro 會走兩條路,我認為這兩條路終究會合在一起。在開發者、使用者的反饋下,Vision Pro 大機率會在未來一到兩年內支援 6DoF 手柄和各種控制器。我認為 Vision Pro 的策略大機率是在立足於已有二維平面生態的基礎上,逐步完成對三維空間生態的支援。同樣 Meta 也一定會全力迅速學習 Vision Pro,我們應該會在不久的將來看到 Meta 的類 Vision Pro 產品。
如下是我看到的短期裝置的可能標準:
硬體:30-40PPD 顯示+VST+手眼互動+裸手追蹤+6DoF 手柄(或其他控制器)
OS: 對標 visionOS
生態:蘋果和安卓生態下的二維應用+三維原生應用
價格:1000-2000 美金
後續中期產品迭代的策略也非常清楚。透過更便宜的價格實現更高或同等規格的顯示和效能,以及更輕薄的外形和重量。

Michael Abrash 提到的未來 VR 頭顯形態(現在看來更像 MR 頭顯)
圖源:Connect 大會影片
再談一下生態的發展,因為 Vision Pro 開創性的對二維應用的支援,可以想象後續的幾年裡,蘋果和安卓陣營的開發者會有一整批加入進來,這是一批全新的開發者,會從不同的角度理解 MR。另一方面,效能的增加給了開發者更多的發揮空間,一定會出現數款現象級應用。
當然很多人聽到這麼說可能會跑步入場,我想說,倒也不用那麼急,總體 XR 行業的增長還是在一個相對平穩的速度,因為硬體還是在早期,所以更重要的還是理解裝置的特點,理解三維空間,理解 MR,一步一個腳印來。
04
再談智慧眼鏡和 AI 眼鏡
花開兩朵,各表一枝。一直以來都有另一條路線。就是放棄高效能,不做大而重的頭顯,而是直接做眼鏡形態的智慧眼鏡。這種形態的產品優勢顯而易見,就是可以保持長時間佩戴,並且可以帶出街。
研究智慧眼鏡,讓我們先研究眼鏡。讓我們回到一個根本的問題,就是人為什麼要戴眼鏡,並且是除了睡覺幾乎醒著的時候都要戴。因為眼鏡可以矯正視力,不戴眼鏡你就看不清楚東西。我想要非常強調眼鏡的這個基本功能,因為這個功能太過重要,重要到了讓人習以為常,以至於大家都忘記了這個基本功能的存在。並且,眼鏡透過過去兩百年來的產品迭代,對外形對重量都形成了嚴格標準。比如近視眼鏡低於 30 克,墨鏡低於 40 克。當然還有一些人群和特殊場景對重量還有 20g 以下的需求。
一句話總結就是,30 克以內(也有人說是 40g)、符合日常審美、矯正視力的眼鏡,才能讓使用者戴一整天。這也才能造就眼鏡 Always On 的特性。
高於這個重量或者對外形的變化,都會對產品產生巨大負面影響。比如說,比起動輒幾百克的頭顯,七八十克的眼鏡已經很優秀了,但是由於比普通眼鏡還是多了很多重量,你就無法要求普通消費者像正常眼鏡一樣佩戴一整天,消費者就無法做到 Always On。而基於 Always On 的後續產品設計都將失效。當然,在一些特殊行業特殊環境會有一些特殊的產品形態成立。
所以我們再來看看這條路線的產品歷史,從 Google Glass 開始,由於外形怪異,所以沒被大眾接受。後來有了 Ray-Ban Stories 和 Spectacles,外形逐漸正常化。終於到了 Ray-Ban Meta,這一代幾乎和一款普通墨鏡有一模一樣的重量和外形設計。翻看大量的使用者評價,都會說到,這至少是款 Ray-Ban 的墨鏡。就是這樣,雖然我們講音訊、拍照、以及後期加入 AI 的智慧功能,但消費者首先在意的是設計,是它是否 socially acceptable。

Ray-Ban Meta
圖源:Ray-Ban
除了智慧化的功能外,Ray-Ban Meta 也在探索與 AI 的結合。這個探索剛剛開始,嚴格來說,目前還非常早期,攝像頭拍攝圖片後透過大模型理解再透過語音返回,算是萬里長征第一步。
和 MR 頭顯相比,這一條路線往後會遇到更多挑戰,因為在這樣嚴苛的物理規格限制下,增加顯示,增加效能都面臨至少 10 倍難度的挑戰。所以這條路線往下首先需要底層技術的革新。比如更好的光波導方案,更好的 Micro-LED 方案。同時大家也在尋求雲計算來解決端側效能不足的問題。
所以 Ray-Ban Meta 走成功了第一步,但是第二步和第三步的產品迭代,如何在科技、工程、產品需求之間找到平衡點,使智慧眼鏡進一步智慧化,才是真正有挑戰的地方。另外,隨著 AI 能力的加強,是否存在一條道路能夠彎道超車,出現超級有用的 AI 眼鏡,也是值得關注的,讓我們拭目以待。
05
真正的混合現實和重新定義的新現實
前面我講的都是從產品、從行業層面的意義。更多透過看歷史,看產品,自下而上地分析行業走向。
我這裡想要站在未來角度,再深入探討一下未來 XR 技術對現實世界的影響。
我們有超小體積超高解析度的光學顯示技術,我們有空間作業系統,我們有同時顯示現實和虛擬的透視技術,我們有感知環境的計算能力。
我們再來談一個已經持續了幾十年的概念,MR(Mixed Reality)混合現實。先進的顯示技術保證了可以生成以假亂真的數字物體,VST 透視技術保證了數字資訊可以出現在現實世界中,空間作業系統確保了這些物體是可以互動的,空間計算能力確保數字資訊可以和物理空間融合。
在這樣一個標準下,這已經不是簡單的資訊分發,資訊多少的問題,也不是多少虛擬螢幕替代多少實體螢幕的問題。而是我們面對的現實將同時充滿由位元構成的數字物體和以原子構成的物理實體。在我們人類文明的幾千年歷史裡,我們面對的始終都是物理世界,面對的始終是物理實體出現在物理空間裡。哪怕經歷了資訊科技快速發展的過去 50 年,我們依然面對的是人們帶著各種數碼裝置,裝置裡的晶片處理著各種資料幫助我們提升效率、改善生活質量。
我有次和朋友喝咖啡,半開玩笑地跟他說:「我們以前總是用網際網路滲透率來講一個行業發展的程度,但如果我們講數字滲透率的話,講數字內容對物理空間的滲透,現在桌上的手機大約也就滲透了 1%,還有 100 倍的增長空間。」
從 2024 年往後,一部分人將逐步開始適應一個新的世界,這個世界並不是 Metaverse,並不是大家爭論的完全虛擬的世界,大家也並不會被虛擬世界隔絕,而是一個同時包含數字內容和物理空間的世界,位元將真正參與到構建我們的全新現實中來。
數字內容,將不再是螢幕中的數字、介面、畫面、影片。而是一個真實存在於現實空間中,可以進行互動的數字實體。
古往今來,不乏有哲學家探討虛擬現實和物理現實的意義。從柏拉圖的洞穴之寓,到希拉里·普特南的缸中之腦,再到電影駭客帝國。我們總是把虛擬和現實二元對立來進行討論。然而事實是,對於我們絕大多數人,我們並不需要從紅色藥丸和藍色藥丸之間進行選擇。
真正需要我們接受的未來依然是現實世界。只是這個現實世界和之前有點不太一樣。這個世界是由位元和原子共同構成。擺在我們面前的是,如何處理數字內容和物理空間的關係,如何建設一個由數字內容和物理實體共同構成的新現實世界。
「網際網路+」將變為「數字+」,而「網際網路+」後面的行業,將變成「數字+現實」。
百年後,又有哪些物理實體是必須存在的呢?又有哪些前所未有的數字內容會被創造出來呢?恐怕根本不需要一百年。十年內,世界就會變樣。
也許我們最後會發現:原子和位元是一碼事。

作者微信 xuwu2071,歡迎交流
新增時請註明公司,姓名

推薦閱讀
