Meta Orion dưới góc nhìn của chuyên gia (phần 1: waveguides)

Mới đây Karl Guttag đã chia sẻ một bài phân tích dài về waveguide của Meta Orion, một thiết bị cho chúng ta thấy tầm nhìn của Meta về những sản phẩm kính AR của họ trong tương lai. Về Karl Guttag, ông là một chuyên gia có nhiều năm kinh nghiệm trong lĩnh vực quang học, nổi tiếng trong giới XR với những góc nhìn khắt khe về các hệ thống màn hình, ống kính của các thiết bị XR, mới đây Karl đã có bài phân tích Meta Orion qua một góc nhìn hết sức kỹ thuật. Dưới đây là bản dịch của bài viết của Karl Guttag trên trang web cá nhân của mình.

Giới thiệu

Trong khi kính AR Orion prototype của Meta được công bố tại Meta Connect đã thu hút nhiều sự chú ý, thì rất ít chi tiết kỹ thuật được tiết lộ ngoài việc nó có góc nhìn 70 độ (FOV) và sử dụng waveguide Silicon Carbide. Mặc dù họ đã trình diễn sản phẩm một cách tổng quát cho giới báo chí và các tếch-influencers, dường như Meta đã không mời những chuyên gia AR và VR, những người có khả năng phân tích sâu sắc hơn. Dựa trên một số bằng sáng chế của Meta, một bài đăng trên Reddit và việc nghiên cứu các video và bài báo, tôi đã tìm ra một số thông tin.

Bài viết đầu tiên này sẽ tập trung vào diffractive waveguide Silicon Carbide của Orion. Tôi có nhiều suy nghĩ khác về sự không đồng bộ giữa tính năng và yếu tố con người mà tôi sẽ thảo luận trong các bài viết tiếp theo.

Phấn khích nhưng bỏ quên yếu tố kỹ thuật

Như lời Yogi Berra đã nói, “Nó giống như déjà vu lần nữa.” Chúng ta đã trải qua điều này với Apple Vision Pro, ban đầu được ca ngợi là một bước đột phá như sự ra đời của smartphone, rồi gần như biến mất vào đầu năm nay. Lần này, một nhóm truyền thông nhỏ hơn đã được tiếp cận sản phẩm. Hầu như không có bất kỳ phân tích sâu sắc nào về chất lượng hình ảnh của màn hình hoặc ảnh hưởng của nó đến thế giới thực. Tôi có thể có phần hoài nghi, nhưng tôi đã thấy hàng chục thiết kế diffractive waveguide khác nhau và chắc chắn phải có một số vấn đề, nhưng vẫn chưa có gì được báo cáo. Tôi kỳ vọng sẽ có vấn đề về sự đồng nhất màu sắc và các hiện tượng nhiễu xạ, nhưng chưa có bài báo hay video nào đề cập đến điều này. Chưa kể, tôi vẫn chưa thấy ai đề cập đến vấn đề rõ ràng là “light glow” hay hở sáng từ hệ thống quang học (sẽ nói thêm về vấn đề này sau).

Phóng viên của Verge chia sẻ trên Vergecast cũng như trong một video về việc dùng thử Meta Orion, đã bàn tới những trải nghiệm ban đầu và một số vấn đề của chiếc kính này. May mắn thay, khác với Meta hay tin từ các nguồn khác, Verge đã đánh dấu rõ ràng các video Meta chia sẻ là “mô phỏng”. Theo như tôi biết, không có video hoặc hình ảnh thực sự nào được chụp qua kính (có thể theo yêu cầu của Meta). Tất cả các hình ảnh và video mà tôi tìm thấy có thể trông như đã được chụp qua kính thực tế đều đã được “mô phỏng.”

Một video khác được thực hiện bởi Norm Chan của Adam Savage’s Tested, trong cuộc phỏng vấn với CTO của Meta Andrew Bosworth, đã đề cập rằng bản demo là “có sự kiểm soát” với các bản trình diễn giới hạn trong môi trường phòng kín. Tôi sẽ trích dẫn Bosworth một vài lần trong bài viết này vì ông ấy đã cung cấp thêm thông tin; mặc dù ông ấy có thể đã thêm một số yếu tố tiếp thị, nhưng ông ấy dường như khá trung thực, khác với cựu lãnh đạo Hololens 2 Alex Kipman, người đã nhiều lần không trung thực trong bài thuyết trình về Hololens 2 của mình (mà tôi đã ghi nhận trong một số bài viết như Hololens 2 and why the resolution math fails, and Alex Kipman Fibbing about the field of view, và Alex Kipman’s problems at Microsoft with references to other places where Kipman was “fibbing”, Hololens 2 Display Evaluation (Part 2: Comparison to Hololens 1).

Tôi không phản đối các công ty ra mắt demo cho việc quảng cáo. Tuy nhiên, việc rùm beng về một “prototype” chứ không phải là một “sản phẩm” tại Meta Connect thay vì tại một hội nghị kỹ thuật như Siggraph cho thấy tầm quan trọng của AR đối với Meta. Chính điều này đã khiến nhiều người so sánh Meta Orion với Apple Vision Pro, có lẽ có lẽ ý định từ đầu của Meta.

Có phần thất vọng khi họ chỉ chia sẻ prototype với các “phương tiện truyền thông được mời” mà đa số thiếu kiến thức sâu rộng về công nghệ hiển thị và dễ bị ảnh hưởng bởi những demo trong môi trường có kiểm soát. Họ sẽ tự nhiên né tránh chỉ trích để duy trì quyền tiếp cận vào các sản phẩm mới từ Meta và các công ty lớn khác. Kết quả là không có thông tin nào về chất lượng hình ảnh của màn hình ảo hoặc bất kỳ vấn đề nào được báo cáo khi nhìn qua kính waveguide (mà chắc chắn phải có).

Eye glow, Ánh Sáng Phát Ra Từ Mắt

Tôi đã xem hàng giờ video và đọc nhiều bài báo, nhưng tôi vẫn chưa nghe ai đề cập đến vấn đề rõ ràng là eye glow (chiếu từ phía trước). Họ nói về việc kính trông giống kính mắt thông thường và khả năng nhìn thấy mắt người đeo, nhưng sau đó lại không nhắc đến vấn đề lớn là mắt người đeo phát sáng. Điều này nổi bật với tôi vì không ai nhắc đến vấn đề eye glow, rõ ràng trong tất cả các video và nhiều bức ảnh.

Ánh sáng phát ra từ mắt là vấn đề mà các nhà thiết kế diffractive waveguide đã cố gắng giảm thiểu hoặc loại bỏ trong nhiều năm. Sau đó có các reflective waveguide của Lumus, vốn ít có eye glow. Vuzix, Digilens và Dispelix đã nhấn mạnh vào việc họ đã giảm bớt vấn đề này với diffractive waveguide (có đề cập trong bài Front Projection (“Eye Glow”) và Pantoscoptic Tilt to Eliminate “Eye Glow”). Tuy nhiên, các thiết kế kính từ những công ty kể trên chỉ có góc nhìn khá nhỏ (25-35 độ). Thiết kế Orion có góc nhìn rất rộng 70 độ trong khi vẫn có thiết kế phù hợp với kích thước của một khung kính thông thường (dù hơi cồng kềnh); tôi nghi ngờ rằng eye glow chính là thứ chúng ta phải đánh đổi cho kích thước và góc nhìn của kính.

Công nghệ dimming

Trong các video trải nghiệm Meta Orion, có thấy được công nghệ dimming, khi mà độ dẫn xuất của kính thay đổi, từ trong suốt sang tối màu. Trong các khung hình dưới đây là một ảnh động cho thấy độ dẫn xuất của kính giảm dần khi người đeo đặt chúng lên (từ video Orion AR Glasses: Apple’s Last Days).

Chỉ nhìn qua video và hình ảnh, thật khó để biết được thông số về độ dẫn xuất của kính, nhưng tôi có thể so sánh nó với các loại kính AR khác. Bên dưới là kính Lumus Maximus với độ truyền sáng cao hơn 80% và Hololens 2 với khoảng 40% so với hai mức độ làm tối của kính Orion.

Bên dưới là một khung hình tĩnh từ video của Meta cho thấy một số bộ phận riêng lẻ của kính Orion. Chúng dường như cho thấy lớp kính che tối một cách bất thường, một cửa chớp làm tối (có thể là tinh thể lỏng LC) với mạch điều khiển gắn vào, và một lớp quang học phẳng với waveguide được kết nối với các thiết bị điện tử. Trong video của mình, Norm Chen nói, “Theo hiểu biết của tôi, lớp ngoài cùng có thể là một lớp phân cực.” Điều này dường như phù hợp với những gì có vẻ là lớp kính che (có thể là nhựa), trông tối hơn nhiều so với cửa chớp làm tối (LC gần như trong suốt vì nó chỉ thay đổi phân cực của ánh sáng).

Nếu Meta Orion sử dụng cấu trúc làm tối dựa trên phân cực, điều này sẽ gây ra vấn đề khi xem các màn hình dựa trên phân cực (chẳng hạn như màn hình máy tính và điện thoại thông minh LCD).

Diffractive waveguide đặc biệt của Orion

Phân tích của Axel Wong về kính waveguide của Meta Orion, được dịch và đăng tải trên Reddit với tiêu đề Meta Orion AR Glasses: The first DEEP DIVE into the optical architecture, đã là điểm khởi đầu cho nghiên cứu của tôi về hệ thống quang học của Meta Orion, và tôi phần lớn đồng ý với những phát hiện của anh ấy. Dựa trên các hình vẽ mà anh ấy đưa ra, phân tích của anh ấy dựa trên đơn xin cấp bằng sáng chế của Meta Platforms (một công ty nắm giữ bằng sáng chế của Meta) với mã số 2024/0179284 tại Hoa Kỳ. Ba hình từ đơn xin cấp bằng sáng chế đó được hiển thị bên dưới.

Overlapping Diffractraction Gratings

Dường như Orion sử dụng waveguide với diffraction gratings trên cả hai mặt của lớp nền (xem Hình 12A ở trên). Trong Hình 10, output gratings đầu tiên và thứ hai chồng lên nhau, cho thấy các lưới nhiễu xạ này nằm trên các bề mặt khác nhau. Dựa trên các Hình 12A và 7C ở trên, các lớp gratings này nằm trên hai mặt đối diện của cùng một lớp nền. Tôi chưa từng thấy điều này trước đây ở các waveguide khác và nghi ngờ rằng đây là một quy trình phức tạp và tốn kém.

Cũng được hiển thị trong hình trên (góc dưới bên trái) là tấm wafer waveguide của Orion, mà tôi đã sử dụng để tạo ra các đường viền của các lớp gratings, và một bức ảnh (góc dưới bên phải) cho thấy hai lớp gratings trong ánh sáng phát ra từ mắt của Orion.

Cần lưu ý rằng mặc dù Hololens 1 chỉ có góc nhìn bằng một nửa so với Orion, kích thước của exit gratings là tương tự. Kích thước của exit gratings Hololens 1 là do Hololens 1 có đủ khoảng cách giữa mắt và lưới để hỗ trợ hầu hết những người đeo kính. Càng xa mắt thì lớp grating này cần càng lớn để có thể hỗ trợ một góc nhìn nhất định.

Cách sắp đặt waveguide và light engine lạ của Orion

Các hình ảnh trong đơn xin cấp bằng sáng chế 12A và 7C khá thú vị vì máy chiếu nằm ở phía đối diện của dẫn waveguide so với mắt/đầu ra. Điều này cho thấy máy chiếu nằm bên ngoài kính thay vì được giấu trong phần bản lề gọng mà chúng ta hay thấy với các mẫu kính khác.

Trong video The WILDEST Tech I’ve Ever Tried – Meta Orion tại mốc 9:55, Bosworth của Meta nói, “Và vì vậy, bộ phận này đặt ngay tại đây [chỉ vào góc của Orion] sẽ mỏng hơn nhiều, thực tế là mỏng khoảng một nửa. Vì lúc này máy chiếu sẽ vào từ phía sau.”

Dựa trên phát biểu của Bosworth, một số mẫu kính có waveguide hiện có mặt trên thị trường, điều hướng ánh sáng từ máy chiếu trong gọng ra phía trước của dẫn sóng, điều này đòi hỏi kính thức bộ phận này dày hơn. Bosworth cho biết, waveguide của thế hệ tiếp theo sẽ tiếp nhận ánh sáng từ phía sau của waveguide. Tôi cho rằng việc làm cho waveguide hoạt động theo cách này khó khăn hơn, nếu không họ đã làm điều này ngay trên Orion thay vì để gọng kính dày như vậy.

Tuy nhiên, Bosworth nói: “Không có bong bóng nào. Như thể bạn ném cái này vào bể cá, bạn sẽ không thấy gì cả.” Điều này ngụ ý rằng mọi thứ đều được đóng gói chặt chẽ vào kính, nên ngoại trừ việc tiết kiệm không gian quang học bổ sung, khả năng giảm kích thước lớn hơn chưa hẳn là khả thi. (Bosworth nhắc đến câu chuyện Steve Jobs thả mẫu thử iPod vào nước để chứng minh rằng nó có thể được làm nhỏ hơn do các bong bóng khí thoát ra.)

Disparity Correction , Hiệu chỉnh sai biệt (Được hiển thị trong đơn xin cấp bằng sáng chế nhưng không có trong Orion)

Đơn xin cấp bằng sáng chế 2024/0179284 của Meta, trong khi hiển thị nhiều chi tiết khác của waveguide, được hướng tới “Disparity Correction “. Bosworth đã thảo luận trong nhiều cuộc phỏng vấn (bao gồm ở đây) rằng Orion không có Disparity Correction  nhưng họ dự định sẽ đưa vào các thiết kế trong tương lai. Theo mô tả của Bosworth, Disparity Correction  nhằm sửa chữa bất kỳ sự uốn cong của khung kính (hoặc các vấn đề căn chỉnh khác) khiến wave (và hình ảnh của chúng so với mắt) di chuyển. Ông dường như gợi ý rằng điều này sẽ cho phép Meta sử dụng khung kính mỏng hơn và có thể có độ uốn cong.

Entrance gratings hình bán nguyệt
Wong, trong bài viết trên Reddit, cũng nhận thấy rằng các lưới đầu vào nhỏ có thể nhìn thấy trên tấm wafer dường như bị cắt bỏ một phần hình tròn và đã bình luận:

Tuy nhiên, nếu coupling grating  thực sự có hình bán nguyệt, điểm sáng do light engine phát ra cũng có khả năng có hình dạng này. Cá nhân tôi đoán rằng thiết kế này chủ yếu nhằm giảm một vấn đề phổ biến với SRG tại điểm ghép nối, đó là sự nhiễu xạ thứ cấp của ánh sáng ghép nối bởi lưới coupling grating.
Trước khi điểm sáng của động cơ ánh sáng bắt đầu hành trình phản xạ toàn phần và sau đó đi vào mắt người sau khi đi qua coupling grating, một phần lớn ánh sáng sẽ không may bị nhiễu xạ trực tiếp ra ngoài khi va chạm với lưới ghép nối một lần nữa. Phần ánh sáng này sẽ gây ra mất mát năng lượng lớn và cũng có thể va vào bề mặt kính của màn hình và sau đó quay trở lại lưới để tạo ra hiệu ứng ghosting.

Waveguide một lớp cho ba màu?

Đơn xin cấp bằng sáng chế của Magic Leap cho thấy ba waveguide xếp chồng.
Đơn xin cấp bằng sáng chế dường như gợi ý rằng có một waveguide đơn (hai mặt) cho tất cả ba màu (đỏ, xanh lá cây và xanh dương). Hầu hết các kính AR nhiễu xạ có góc nhìn lớn hơn với màu sắc đầy đủ sẽ xếp chồng ba waveguide (đỏ, xanh lá cây và xanh dương – ví dụ: Hololens One và Magic Leap 1&2) hoặc hai waveguide (đỏ + xanh dương và xanh lá cây + xanh dương – ví dụ: Hololens 2). Ngoại lệ có, Dispelix có diffractive waveguide một lớp, đầy đủ màu sắc với góc nhìn lên đến 50 độ.
Các diffraction gratings có khoảng cách đường lưới dựa trên bước sóng ánh sáng mà chúng được thiết kế để nhiễu xạ. Hỗ trợ màu sắc đầy đủ với góc nhìn rộng như vậy trong một Diffraction gratings  đơn thường sẽ gây ra các vấn đề về chất lượng hình ảnh, bao gồm giảm độ sáng của một số màu và mất độ tương phản. Đáng tiếc, không có bất kỳ hình ảnh nào “có góc nhìn từ kính” hoặc đánh giá chủ quan nào của một chuyên gia độc lập về chất lượng hình ảnh của Orion.

Waveguide Silicon Carbide

Ý tưởng sử dụng Silicon Carbide cho waveguide không phải là duy nhất của Meta. Dưới đây là hình ảnh từ GETTING THE BIG PICTURE IN AR/VR, nói về những lợi thế của việc sử dụng các vật liệu có chỉ số khúc xạ cao như Lithium Niobate và Silicon Carbide để chế tạo waveguide. Người ta biết rằng việc sử dụng nền waveguide có chỉ số khúc xạ cao hơn sẽ hỗ trợ góc nhìn rộng hơn, như được hiển thị trong hình dưới đây. Vấn đề, như Bosworth chỉ ra, là việc sản xuất các tấm wafer Silicon Carbide rất đắt đỏ. Các tấm wafer này cũng nhỏ hơn nhiều, chỉ cho phép sản xuất ít waveguide hơn mỗi tấm wafer. Từ những hình ảnh về các tấm wafer của Meta, họ chỉ có được bốn waveguides mỗi tấm wafer, trong khi có thể tạo ra hàng tá hoặc nhiều hơn diffractive waveguide trên các tấm wafer thủy tinh lớn hơn và rẻ hơn nhiều.

Bosworth nói “Gần như không có lỗi hình ảnh” và giảm hiện tượng “Cầu vồng”

Ví dụ về “Hiện tượng cầu vồng” từ các diffractive waveguide
Một vấn đề phổ biến với các diffractive waveguide là diffraction gratings sẽ bắt lấy ánh sáng từ thế giới thực và sau đó phân tán nó theo bước sóng như một lăng kính, tạo ra hiệu ứng giống như cầu vồng.

Trong cuộc phỏng vấn của Adam Savage’s Tested (@~5:10), Bosworth nói: “Bản thân waveguide được khắc nano vào silicon carbide, đây là một vật liệu mới với chỉ số khúc xạ cực cao, cho phép chúng tôi giảm thiểu số lượng photon bị mất và giảm thiểu số photon chúng tôi bắt được từ thế giới, vì vậy điều này giảm thiểu các hiện tượng như bóng ma, mờ và cầu vồng—tất cả các lỗi hình ảnh này trong khi vẫn mang lại góc nhìn mà bạn mong muốn. Mặc dù không hoàn toàn không có lỗi hình ảnh, nhưng rất gần với trạng thái không có lỗi.”
Tôi đánh giá cao việc Bosworth cố gắng giải thích những lợi thế của công nghệ waveguide của họ, anh ấy đã ngay lập tức sửa lại khi nhận ra mình đã nói quá (khác với Kipman của Hololens như đã đề cập trong phần mở đầu). Tôi sẽ cảm thấy an tâm hơn nếu họ để một số chuyên gia độc lập nghiên cứu và đưa ra ý kiến của họ.
Những gì Bosworth nói về cầu vồng và các hiện tượng nhiễu xạ khác có thể đúng, nhưng tôi muốn thấy nó được đánh giá bởi các chuyên gia độc lập. Norm nói trong cùng video, “Đây là một bản demo rất được điều khiển kỹ lưỡng, với rất nhiều rào cản bảo vệ. Họ đã đưa tôi qua căn phòng được chiếu sáng khuếch tán rất đều, không có ánh sáng chói.” Tôi đánh giá cao việc Norm nhận ra rằng ít nhất anh ấy đã trải qua một bản demo như “màn ảo thuật” (xem phụ lục).

Phấn khích nhưng bỏ quên yếu tố kỹ thuật 

Như lời Yogi Berra đã nói, “Nó giống như déjà vu lần nữa.” Chúng ta đã trải Theo lời của Yogi Berra, “Nó giống như déjà vu một lần nữa.” Chúng ta đã trải qua điều này với Apple Vision Pro, vốn từng được kỳ vọng là cuộc cách mạng thứ hai của smartphone nhưng sau đó gần như biến mất vào đầu năm nay. Lần này, chỉ có một nhóm truyền thông giới hạn được tiếp cận. Hầu như không có bất kỳ phân tích phê bình nào về chất lượng hình ảnh hiển thị hoặc ảnh hưởng đến thế giới thực. Tôi có thể hoài nghi, nhưng tôi đã thấy hàng chục thiết kế diffractive waveguide khác nhau và chắc chắn phải có vấn đề, nhưng không có điều gì được báo cáo. Tôi dự đoán sẽ có các vấn đề về sự đồng nhất màu sắc và hiện tượng nhiễu xạ, nhưng không ai nhắc đến. *

*Lần này Karl đang cố tình tạo cho người đọc cảm giác deja vu, khi đoạn văn dùng lại lời từ mở đầu, nhưng thay vì eye glow Karl tập trung vào một vấn đề khác mà cánh báo trí bỏ qua

Sự kết hợp kỳ lạ giữa góc nhìn rộng và độ phân giải thấp

Hầu như không có thảo luận nào trong các đánh giá về độ phân giải góc rất thấp của Orion, chỉ 13 pixel mỗi độ (PPD) trên góc nhìn 70 độ (đây là chủ đề cho bài viết tiếp theo của tôi về Orion). Điều này tương đương với độ phân giải màn hình khoảng 720 x 540 pixel.
Một số người báo cáo đã thấy bản demo 26PPD, nhưng không rõ đó là bản có hình dạng thiết bị hay là bản demo trên bàn thí nghiệm. Ngay cả 26PPD cũng là độ phân giải góc khá thấp.

Thực tế tăng cường quang học so với Thực tế tăng cường qua camera – Orion vs Vision Pro
Buổi trình diễn Meta Orion là một tuyên bố rằng AR quang học với kính trong suốt (như Orion) và AR không dùng camera như Apple Vision Pro là những thiết bị đích cuối cùng trong dài hạn. Nó nhấn mạnh rằng không có sự kết hợp nào giữa camera passthrough và màn hình có thể gần bằng với cái nhìn từ thế giới thực về độ động, độ phân giải, stereo hai mắt và vô số độ sâu tiêu điểm.

Như tôi đã nhiều lần chỉ ra trong các bài viết và bài thuyết trình, thực tế tăng cường quang học ưu tiên cái nhìn về thế giới thực, trong khi thực tế tăng cường qua camera ưu tiên hình ảnh ảo. Tôi nghĩ rằng có rất ít sự trùng lặp trong các ứng dụng của chúng. Tôi không thể tưởng tượng ai đó sẽ cho phép ai đó ra ngoài đường hoặc vào một nhà máy với thiết bị kiểu Apple Vision Pro trong tương lai, nhưng bạn có thể tưởng tượng điều đó với một thiết bị như Meta Orion. Và tôi nghĩ đây là thông điệp mà Meta muốn truyền tải.

Kết luận

Tôi hiểu rằng Meta đang thể hiện, theo một cách nào đó, “Nếu tiền không phải vấn , chúng tôi có thể làm gì?” Tôi nghĩ rằng họ đã quá tập trung vào vấn đề góc nhìn cực rộng (FOV). Tôi lo ngại rằng các diffractive waveguide silicon carbide không phải là giải pháp đúng đắn trong ngắn hạn hay dài hạn. Chắc chắn họ không thể tung ra một sản phẩm tiêu dùng với số lượng lớn khi vẫn còn vấn đề “eye glow” đáng kể.
Đây là một chủ đề mà tôi đã thảo luận nhiều lần, bao gồm trong cuộc thảo luận về Thực tế tăng cường quang học với góc nhìn nhỏ cùng Thad Starner và vấn đề ám ảnh về góc nhìn rộng. Ở một số khía cạnh, họ đang gặp phải những vấn đề tệ nhất của tất cả các thế giới: góc nhìn rất rộng nhưng độ phân giải của màn hình lại tương đối thấp; họ che khuất phần lớn thế giới thực cho một lượng nội dung nhất định. Với cùng số tiền đó, tôi nghĩ rằng họ có thể tạo ra một bản demo ấn tượng hơn bằng cách sử dụng các vật liệu waveguide ngoại lai mà không có vẻ quá xa vời trong tương lai. Tôi dự định sẽ đi sâu hơn vào các yếu tố con người và tiện ích của màn hình trong loạt bài này về Meta Orion.