Meta đang chuẩn bị đưa ra một cập nhật quan trọng cho nền tảng Quest của mình bằng cách giới thiệu Passthrough API, cho phép các nhà phát triển truy cập dữ liệu từ camera của headset. Đây là một bước tiến đáng kể, có thể thay đổi cách chúng ta trải nghiệm thực tế ảo (VR) hay thực tế hỗn hợp (MR) trên các thiết bị Quest như Quest 3/3S. Dựa trên thông tin từ trang hỗ trợ của Meta và các nguồn tin khác, tính năng này sắp được phát hành ( tại sự kiện Conenct 2024, Meta có đề cập vào đầu năm 2025), phù hợp với thời điểm hiện tại là ngày 7 tháng 3 năm 2025.
Tác động đối với người dùng
API Passthrough sẽ cho phép các nhà phát triển tạo ra các ứng dụng và game sáng tạo, tương tác với thế giới thực theo thời gian thực. Ví dụ, bạn có thể chơi board games với board thật nhưng với các nhân vật ảo hiện diện trên board hoặc sử dụng ứng dụng thay đổi trải nghiệm dựa trên việc bạn ở trong nhà hay ngoài trời. Với tính năng này, các vật thể ảo trong MR/VR có thể tương tác với môi trường hàng ngày theo cách chưa từng thấy trên các headset Quest.
Chi tiết về Passthrough API
Việc giới thiệu API Passthrough, được công bố tại sự kiện Connect 2024 vào tháng 9 năm 2024 và dự kiến phát hành vào đầu năm 2025, đánh dấu một bước ngoặt. Dựa trên thông tin từ trang hỗ trợ của Meta, tính năng này dường như sẽ sớm được Meta đưa vào các bản SDK sắp phát hành dành cho nhà phát triển, phù hợp với các báo cáo từ Quest Passthrough API Imminent, Meta Support Page Suggests và Quest Apps Will Get Access To The Passthrough Cameras. Điều này có thể mở ra các trải nghiệm MR mới cho các headset như Quest 3, cạnh tranh với các thiết bị như Apple Vision Pro.
API Passthrough là gì và chúng ta có thể làm gì với nó?
Truy cập camera passthrough đề cập đến khả năng sử dụng camera phía trước của headset để cung cấp hình ảnh thời gian thực của môi trường thực, hòa trộn với các yếu tố ảo. Hiện tại, trên các headset Quest, tính năng này chủ yếu được hệ thống sử dụng cho các chức năng như nhận thức không gian và xem passthrough. Hiện tại, các nhà phát triển bị giới hạn ở dữ liệu trừu tượng (abstract) từ camera, như:
- Tọa độ khung xương tay và thân thể để theo dõi chuyển động (IOBT – Inside out body tracking).
- Mô hình 3D của môi trường với các hộp giới hạn cho đồ nội thất (spatial anchors tracking và furniture tracking).
- Khả năng theo dõi đối tượng hạn chế.
Điều này có nghĩa là họ không thể chạy các mô hình thị giác máy tính (computer vision) của riêng mình, hạn chế tiềm năng tăng cường của các headset này. So sánh, Apple đã bắt đầu cho phép các công ty doanh nghiệp truy cập trực tiếp vào camera passthrough của Vision Pro cho các ứng dụng nội bộ dưới visionOS 2, nhưng điều này bị giới hạn ở môi trường doanh nghiệp và yêu cầu giấy phép đặc biệt, như được đề cập trong Meta is giving their developers access to the passthrough API, will Apple follow suit? Why/why not?.
API Passthrough, như được mô tả trong cập nhật trang hỗ trợ của Meta, giới thiệu quyền “headset camera” cho phép các ứng dụng truy cập luồng camera passthrough thời gian thực. Điều này được phát hiện đầu tiên bởi VR blogger Luna và bao gồm các ví dụ tiềm năng:
- Nhận diện đối tượng: Tạo ứng dụng nhận diện và tích hợp các đối tượng cụ thể, như MR board games sử dụng board vật lý.
- Nhận biết vị trí: Tạo trải nghiệm thay đổi dựa trên camera stream, như phân biệt trong nhà/ngoài trời, địa danh nổi tiếng, hoặc loại phòng.
- Chức năng máy học khác: Chạy các mô hình máy học tùy chỉnh trên dữ liệu camera cho retexturing, game liên quan đến người không mang headset, phát hiện người/animal, và các ứng dụng công nghiệp/đào tạo.
Tính năng này đã được nhiều nhà phát triển yêu cầu từ lâu (trong đó có VNXR :))))) và được kỳ vọng sẽ cho phép các trải nghiệm MR tiên tiến, như Mark Rabkin của Meta (cựu nhân viên) đã nói tại Connect 2024: “Điều này sẽ cho phép mọi loại trải nghiệm MR tiên tiến. Bạn có thể theo dõi các vật thể ngoài đời, ứng dụng AI, AR filter, hiểu cảnh, và nhiều hơn nữa” (Passthrough API will enable new MR applications on Quest).
Lo ngại bảo mật và cách tiếp cận của Meta
Sự trì hoãn trong việc phát hành API Passthrough chủ yếu do lo ngại bảo mật, như CTO Andrew Bosworth giải thích: “Công nghệ tồn tại trong bối cảnh xã hội, và nếu xã hội không thoải mái, bạn cần thận trọng hơn khi đưa công nghệ ra thị trường” (New camera Passthrough API to allow some amount of developer access to cameras). Để giải quyết, Meta đang thực hiện các biện pháp như:
- Yêu cầu games/ứng dụng xin phép người dùng trước khi truy cập camera, đảm bảo tính minh bạch.
- Xử lý dữ liệu trên headset, giảm nguy cơ thu thập dữ liệu bên ngoài, như được đề xuất trong Suggestion: Allow apps to request permission to access camera.
Tuy nhiên, tranh luận vẫn tiếp diễn, với một số người dùng lo ngại về việc lạm dụng dữ liệu camera, đặc biệt là với lịch sử bảo mật của Meta, như được phản ánh trong các cuộc thảo luận so sánh với cách tiếp cận của Apple, nơi bảo mật là điểm bán hàng cốt lõi (Meta is giving their developers access to the passthrough API, will Apple follow suit? Why/why not?).
So sánh với các nền tảng khác
Nên lưu ý rằng Android XR, như Google xác nhận, cũng sẽ hỗ trợ truy cập camera passthrough ngay khi ra mắt, cho thấy xu hướng này trong ngành. Điều này đối lập với cách tiếp cận hạn chế hơn của Apple cho Vision Pro, nơi truy cập dữ liệu từ camera stream chỉ dành cho môi trường doanh nghiệp, làm nổi bật các triết lý khác nhau về bảo mật và tự do cho nhà phát triển.
Bảng: So sánh các tính năng chính
| Tính năng | Trạng thái hiện tại của Quest | Với API Passthrough | Apple Vision Pro (Doanh nghiệp) |
|---|---|---|---|
| Truy cập camera | Chỉ hệ thống và ứng dụng của Meta | Nhà phát triển có thể truy cập vào camera stream | Giới hạn cho ứng dụng nội bộ, môi trường doanh nghiệp |
| Dữ liệu có sẵn | Dữ liệu trừu tượng (khung xương, mô hình 3D) | Raw camera stream, nhận diện đối tượng | Raw stream, yêu cầu giấy phép đặc biệt |
| Biện pháp bảo mật | Xử lý trên headset | Xin phép người dùng, xử lý trên headset | Kiểm soát doanh nghiệp nghiêm ngặt |
| Trường hợp sử dụng dự kiến | Passthrough cơ bản, nhận thức không gian | Nhận diện đối tượng, ứng dụng dựa trên vị trí | Ứng dụng nội bộ doanh nghiệp |
Thay đổi lớn
API Passthrough đại diện cho một khoảnh khắc quan trọng cho nền tảng Quest của Meta, có tiềm năng mở ra một kỷ nguyên mới cho các trải nghiệm MR. Bằng cách giải quyết lo ngại bảo mật thông qua sự đồng ý của người dùng và xử lý trên headset, Meta nhằm cân bằng giữa đổi mới và niềm tin của người dùng. Tính đến tháng 3 năm 2025, tính năng này dường như đã được phát hành hoặc sắp được phát hành, với ý nghĩa lớn đối với nhà phát triển và người dùng. Tranh luận tiếp diễn về bảo mật nhấn mạnh sự phức tạp của sự phát triển này, nhưng cũng cho thấy nỗ lực của Meta trong việc điều hướng kỳ vọng xã hội trong không gian VR/AR.
