文章相關引用及參考：映維網

　　同時擁有真實世界和虛擬世界的舒適視圖

　　（映維網2018年11月05日）如果AR確實是下一個平臺，AR系統就必須足夠舒適，可以支持長時間佩戴，甚至是全天候佩戴，就像一副普通的眼鏡那樣。否則普羅大衆只會繼續將智能手機放在口袋裏。如果AR確實能變成日常醫學眼鏡的樣式，普羅大衆就會將其用於顯示2D內容（消息和提醒）和3D地理定位內容。在所有這些情況下，用戶希望同時擁有真實世界和虛擬世界的舒適視圖。

　　我們必須克服一系列的設計和計算挑戰，從而令這種眼鏡式的AR系統成爲現實：低延遲追蹤和渲染，低功耗，寬視場，緊湊的形狀參數。來自北卡羅來納大學教堂山分校（Praneeth Chakravarthula，David Dunn，Henry Fuchs）和英偉達研究院（Kaan Akit）的研究團隊重點探討了AR系統的一個未得到充分研究的重要方面：真實與增強影像的焦點調節。

　　相關論文：FocusAR: Auto-focus Augmented Reality Eyeglasses for both Real World and Virtual Imagery

　　該研究團隊描述的系統FocusAR能夠動態地校正近眼顯示器的現實世界焦點，以及數字合成影像的內部顯示，而其目的是完全替換用戶的醫學眼鏡。調整真實與虛擬刺激信號焦點的能力對於各種各樣的用戶而言都十分有用，尤其是視覺調節範圍有限的40歲以上用戶。團隊提出的解決方案採用可調焦透鏡進行動態地視覺校正，以及利用一個變焦顯示器來在適當的空間配準深度設置虛擬影像，同時演示了一個概念驗證原型，並討論構建自動對焦增強現實眼鏡的挑戰。

　　1. 普通眼鏡規格AR面臨的挑戰

　　眼睛爲固定在空間中同一點上而進行會聚的距離名爲輻輳距離，而眼睛爲將這一點的影像帶到空間中銳利焦點而進行調節的距離則稱爲焦點或調節距離。輻輳和調節屬於神經耦合，例如當輻輳角改變時，眼睛將調整調節深度，從而把場景帶到焦點中。對於VR，輻輳和調節之間的正確匹配非常重要。如果不匹配，輻輳距離和調節深度就會產生衝突，亦即所謂的視覺輻輳調節衝突（vergence-accommodation conflict；VAC），從而引起用戶視覺疲勞和不適。

　　與VR相比，輻輳距離與調節深度的正確匹配對AR甚至更爲重要，因爲除了VR的要求之外，在AR中真實世界需要緊密匹配虛擬世界。如果虛擬影像與相應的真實對象不是位於相同的焦點深度，模糊不一致將迫使用戶改變焦點，並注視於本應完全清晰對象上（見下圖）。

　　圖：由於所有虛擬對象都位於一個固定的深度平面，現有的傳統AR顯示器常常出現虛擬與現實世界焦點線索不匹配的情況。（左邊）由於虛擬影像位置比教科書更深的平面上，因此書本出現在焦點上，而且書籍上的虛擬標籤失焦；（右邊）當焦點位於教科書時，書本上的虛擬標籤變得清晰，但教科書失焦。

　　對於在日常生活中需要校正鏡片的用戶（“近視”和“遠視”），情況則更爲複雜，因爲即使不是AR和VR，他們也必須處理VAC。比如說一位“近視”用戶，他可以舒適地根據0.5米遠的情景進行視覺輻輳和調節，但卻需要校正鏡片才能清晰地聚焦10米處的對象。當他第一次使用矯正性“距離”鏡片時，10米處的對象將出現在焦點上（因爲對於他的眼睛而言，10米的對象正位於0.5米處），但他在0.5米處會輻輳，從而產生“雙重視覺”。經過數小時，數天甚至幾周的佩戴後，他的視覺系統逐漸適應10米的輻輳，並同時仍然可以在0.5米遠進行調節。有些用戶永遠無法適應如此大的VAC。經過幾代人的努力，配鏡師研究了大部分用戶都可以適應和接受的VAC範圍。

　　在穿戴頭顯時，需要視覺校正的用戶仍需佩戴校正鏡片。有的AR頭顯在用戶眼睛和顯示器之間爲醫學鏡片留下了一定的物理空間。對於老花眼人羣而言（40歲以上），這並不能解決問題，因爲用戶的焦距範圍受限於鏡片的聚焦範圍。雙焦，三焦或漸進鏡片僅僅在一個垂直角度聚焦特定距離，迫使用戶向上或向下傾斜頭部以聚焦於特定距離的真實對象。至少自本傑明·富蘭克林以來，發明者就一直在嘗試解決聚焦所有距離的對象，但即使是最新的產品也要求用戶轉動透鏡上的聚焦旋鈕以調整焦平面深度，而這對大多數用戶來說是一個無法接受的尷尬要求。

　　圖左邊：老花眼用戶通過一臺傳統AR頭顯所感知到的真實與虛擬視圖，視覺調節深度固定在7米。虛擬兔子位於中間（1米遠），郵票（0.25米），教科書（1米）和自行車（5米）分別在近，中，遠位置。請注意，真實影像和虛擬影像對用戶來說都是模糊的，因爲沒有任何對象出現在老花眼用戶的調節平面中；圖中間：調節距離幾乎爲零的老花眼用戶正在透過自動對焦AR眼鏡進行觀察。原型AR眼鏡能夠根據用戶當前的眼睛調節狀態來單獨爲用戶焦點調整顯示器上的真實世界和虛擬影像，從而在所有深度位置提供真實對象和虛擬對象的正確對焦影像；圖右邊：由於能夠對真實和虛擬進行單獨的焦點調整，用戶通過自動對焦AR眼鏡能夠看到正確對焦的真實與虛擬視圖。請注意位於中間位置（1米），教科書文本和虛擬兔子都是精確對焦。

　　今天和未來的AR顯示器提供了一個機會，亦即利用AR顯示器上已有的功能來改善視覺輻輳調節衝突：強大的處理器，以及用於追蹤和基於雙手用戶交互的深度感知功能（如微軟Hololens和Meta）。如果增加了快速，精確和強大的雙目眼動追蹤系統，頭顯就可以測量用戶在真實世界和虛擬世界中的注視對象。接下來，系統可以將自適應焦點添加到現實世界（外部）視圖中，並與虛擬世界（內部）視圖的自適應焦點分開，從而正確對焦真實與虛擬影像。這樣的顯示器同時可以應用於自動對焦的醫學眼鏡（不提供虛擬內容）。

　　2. FocusAR的意義和成果

　　但要構建一個能夠爲真實與虛擬，近距離和遠距離提供正確對焦影像的AR顯示屏，該團隊認爲需要克服兩大挑戰：第一是，設計一個可以動態調整內部顯示器和外部真實世界場景的焦點的顯示器，在本次研究中他們選擇了用於外部場景的可調焦透鏡，以及用於內部顯示器的變焦光束組合器；第二是，強大的眼動追蹤。

　　研究團隊說，目前市場上不存在主動校正用戶感知真實世界時視覺缺點的顯示器設計，還沒有人解決了同時爲真實場景和虛擬場景提供正確焦點線索的挑戰，所以纔有了他們的FocusAR研究項目，並得出了以下成果：

　　提出了一個用於分析由AR顯示器引起的視網膜模糊的框架，包括失焦的真實與虛擬對象。利用它來理解和表徵能夠提供正確對焦真實與虛擬影像的AR顯示器的要求。

　　提出設計和製造了一個自動對焦AR眼鏡原型（利用內部的定製3D打印組件，以及現成的消費電子產品），並實時驅動顯示器。

　　實驗證明，通過可獨立調節的焦點（無論是現實世界還是虛擬內容），對於眼睛中具有較低階像差的用戶以及具有正常視力的用戶而言，所有深度的圖像感知質量都得到改善。（當前版本的原型沒有校正散光）

　　3. FocusAR顯示器設計

　　從下表可以看到，AR顯示器如果要同時支持真實和虛擬的焦點線索，我們需要對虛擬影像深度和真實世界視覺校正進行單獨的調整。

　　儘管正常視力的用戶不需要任何視覺校正，但眼睛中具有任何屈光不正的用戶都需要外部焦點調整，從而對真實世界對象進行正確對焦。但是，近視和遠視用戶僅需要靜態焦點校正，而老花眼用戶則需要根據感興趣對象的深度進行動態視覺校正。因此，爲了動態調整外部校正透鏡，我們需要可在一定焦距範圍內運作的可調焦透鏡。藉助強大的雙目眼動注視點追蹤系統，頭顯上的多個外置攝像頭，以及用戶眼睛屈光不正程度的先驗知識，我們可以確定感興趣對象的深度，並調整外部校正透鏡的焦點，從而幫助用戶正確聚焦現實世界的目標。像微軟Hololens這樣的商用AR頭顯已經採用了外置攝像頭和追蹤器來分析空間環境，而未來的AR和VR頭顯預計將集成眼動追蹤器，所以該團隊的研究主要集中在光學校正系統上。

　　內部顯示器應該能夠在不同深度渲染對象，同時在空間上將它們配準到現實世界，靜態或動態地提供深度線索。這樣的內部顯示器可以是以下兩種類型之一：光場與全息顯示器，通過近似來自空間中給定點的波前來靜態地提供所有深度線索；變焦顯示器，在任何給定的瞬間聚焦一個特定的深度平面，從而動態地提供深度線索。靜態地提供深度線索能夠確保正確的視網膜模糊；動態地提供深度線索則需要通過適量的視網膜模糊來渲染遠離焦深平面的對象。

　　FocusAR系統與選用組件的概述。左邊是外部視覺校正系統，右邊是內部的增強現實顯示系統。

　　內部顯示器類型更多的是一種設計選擇，而渲染取決於所使用的內部顯示技術。對於變焦顯示器，可以使用傳統的渲染管道，只需稍加修改即可支持計算模糊和失真校正。光場和全息顯示管道則更爲複雜，涉及多視口積分成像（multi-viewport integral imaging），以及包含菲涅爾集成的點配準方法。

　　總而言之，具備視覺校正和動態聚焦功能的AR眼鏡有兩個任務，並需要集成至同一個系統中：第一，主動校正外部焦點，以支持現實世界感知；第二，主動校正內部顯示器的焦點，並使用適當的計算模糊渲染虛擬影像。

　　4. FocusAR原型

　　研究團隊提出了一個硬件原型，其包括針對現實世界對象的視覺校正，面向虛擬對象的變焦焦點顯示器，以及用於設置每位用戶校準和控制每個子系統的硬件和軟件。

　　爲了校正外部真實世界影像，團隊開發了一種採用可調透鏡的視覺校正模塊，其能夠在任何深度形成清晰的圖像，適用於近視，遠視和老花眼用戶。

　　視覺校正模塊離用戶眼睛14毫米遠，能夠實現單眼37度視場。如此放置最大化了可用的視場，並令內部顯示器能夠渲染與外部真實世界深度相匹配的虛擬影像，因爲視覺校正模塊同時校正了真實與虛擬影像的焦點，從整體上簡化了系統。

　　與Dunn等人提出的變焦顯示器相比，該團隊面向增強影像的內部變焦顯示器是一個更爲精細的系統。它主要是依賴一種能夠動態調整半反射膜的光學功率以調整虛擬影像的光學深度，從而匹配用戶注視點的技術。

　　原型硬件與測試配置。左邊，顯示器原型與相機的配置，模擬正常視力用戶和老花眼用戶；右邊，我們可以看到顯示器原型包含用於外部世界焦點調整的視覺校正模塊，以及用於驅動顯示器焦點的可變形分束器膜。

　　爲了測試原型，團隊將帶有EF 24-70 1：2.8 L USM鏡頭的佳能Rebel T6i相機放在視覺校正模塊後面，使其透過顯示器感知世界，模仿人眼。相機鏡頭和視力校正模塊之間的距離保持約22毫米，略高於眼睛和眼鏡之間的典型距離。由於相機距離稍大，所捕捉圖像中的視場比用戶體驗更差。相機的光圈設置爲F2.8，而相機設置如上圖所示。通過在0.25米處放置郵票，1米處放置教科書，以及5米處放置自行車來創建真實世界場景。斯坦福兔子的多邊形模型用於虛擬影像，並通過OpenGL在顯示器上渲染。模擬了兩種不同類型的用戶：正常視力和遠視用戶。

　　5. 實驗結果

　　爲了模擬視力正常且沒有調節損失的用戶，該團隊在視覺校正模塊關閉的同時不斷調整相機焦距以聚焦各個深度。模擬了兩種不同的場景：1，佩戴傳統頭顯的用戶，虛擬影像深度固定在1米（即教科書位置）；2，佩戴變焦顯示器的用戶，設備能動態調整虛擬影像深度以匹配真實世界目標。

　　模擬正常視力的用戶，同時對比了傳統顯示器和變焦顯示器。

　　結果如上圖。在傳統頭顯設置中，當用戶的焦點靠近郵票時，虛擬影像明顯模糊，因爲虛擬影像深度與真實世界深度不匹配。但由於虛擬影像深度設置爲教科書的深度，因此可以看到兔子和教科書都十分清晰。這表明傳統的AR頭顯不足以提供增強內容的舒適瀏覽體驗。在另一方面，當顯示器切換爲變焦模式時，虛擬兔子可以設置在近，中，遠的位置，匹配真實世界目標的深度。請注意，兔子與真實世界在所有深度上都總是清晰可見。近，中和遠位置的兔子進行了適當的縮放以包括透視深度。

　　爲了模擬老花眼用戶，測試是將相機焦距固定在7米遠，從而模擬調節幾乎爲零的老化眼鏡。虛擬兔子在近，中，遠處進行了適當的縮放。這個實驗模擬了四個不同的情景：1，傳統的AR頭顯，外部視圖沒有視覺校正，內部顯示器沒有動態調焦，虛擬顯示器的焦點設置爲中等距離（即1米）；2，變焦AR頭顯，其中視覺校正模塊處於非活動狀態，但虛擬影像深度可以進行動態調整；3，調整顯示器的靜態焦點，調整虛擬影像的深度以匹配老花眼用戶的調節（在這種情況下爲7米），但外部的視覺校正模塊處於非活動狀態；4，自動對焦AR眼鏡模式，內部顯示器和外部真實世界視圖的焦點都可以進行單獨的動態調整。

　　模擬老花眼用戶看到的真實與虛擬影像，相機焦距固定在7米。

　　結果如上圖。對於傳統的AR頭顯模式的顯示器，現實對象和虛擬對象都會出現預期的模糊，因爲虛擬圖像深度設置在1米遠，而用戶焦點設置在7米遠，超出真實與虛擬目標的距離。當顯示器切換爲變焦模式時，感知圖像不會改善，這與之前正常視力用戶的實驗情況有所不同。原因是儘管虛擬圖像深度在空間上對齊現實世界對象的深度，但用戶的調節與對象的深度不匹配。與視力正常的用戶不同，老花眼的調節範圍幾乎爲零。但如果在用戶的調節深度中將顯示器的焦點調整爲靜態時，虛擬影像將變得清晰可見。不過，現實世界的對象看起來仍然像是失焦。

　　爲此，FocusAR的解決方案是，當啓動顯示器的視覺校正模塊時，系統也將調整外部的矯正性透鏡，從而令用戶的調節深度與現實世界目標的對象深度相匹配，並同時調整顯示器的焦點以匹配現實世界對象的深度。因此可以看出，近，中，遠距離的所有真實與虛擬對象都清晰可見。

　　但視場仍是FocusAR目前避免不了的限制。儘管用於瀏覽虛擬圖像的顯示器在水平與垂直方向上提供大約75度的視場，但可調焦透鏡的10mm孔徑尺寸將整體視場限制爲37度。然而，研究團隊指出，最近針對大孔徑可調焦透鏡的研究表明有望在不久的將來增加視場。

　　6. 結論

　　由於硬件限制，當前的FocusAR原型沒有整合眼動追蹤（使用眼動追蹤器要求用戶遠離視覺校正模塊，而這減少了可用的視場）。但FocusAR的這一早期原型已經演示自動對焦AR眼鏡的概念證明設計，演示了爲存在/不存在任何屈光不正的用戶顯示真實與虛擬內容的初步能力。

　　我們已經知道Oculus在VR原型頭顯Half Dome中採用了類似的技術。正如該團隊所說，映維網也相信未來的AR顯示器有望採用動態視覺校正和變焦顯示器，並在任何距離下爲所有用戶實現20/20的視力（包括真實與虛擬影像）。

　　延伸閱讀：斯坦福大學用深度感知、注視點追蹤爲普通眼鏡帶來近距離對象聚焦能力延伸閱讀：Oculus詳細探討響應式變焦顯示技術，通過眼動追蹤解鎖下一代VR/AR視覺延伸閱讀：Oculus分享Half Dome三年研發歷程與核心技術，劍指顛覆VR行業