Cách đây không lâu, Meta đã ra mắt một bộ API mới vốn được các nhà phát triển AR/VR yêu cầu từ rất lâu, Passthrough API, với quyền truy cập vào camera của Meta Quest 3/3S. Quyền truy cập vào camera giúp các studio/nhà phát triển tạo ra những thể loại games hoàn toàn mới, đặc biệt là những trò chơi kết hợp với thế giới vật lý, chả hạn như phát triển những board games với sự kết hợp của cả thẻ bài vật lý và những hiệu ứng âm thanh hình ảnh sống động khi người dùng đeo kính XR. Tuy vậy, có một vấn đề với Passthrough API, chính là việc Meta không cho phép phát hành những ứng dụng với quyền truy cập camera trên cửa hàng Horizon, cho tới thời điểm hiện tại.
Cơ hội cho những thể loại games mới
Bản cập nhật API Camera Passthrough của Quest trong tuần này cho phép các nhà phát triển đưa games/apps có sử dụng bộ API này lên cửa hàng Horizon. Điều này mở ra cơ hội cho các ứng dụng bên thứ ba có thể dùng dữ liệu từ camera trước của Quest 3 và 3S để quét thế giới xung quanh người dùng và sử dụng AI để hiểu thêm về nó. Ví dụ, các nhà phát triển có thể thêm khả năng thị giác máy tính để theo dõi các đối tượng hoặc con người trong cảnh, hoặc xây dựng bản đồ môi trường để phân tích và tương tác.
Trong thời gian dài, do những lo ngại về quyền riêng tư, Meta đã rất hạn chế cho phép nhà phát triển sử dụng dữ liệu từ camera của headset Quest, mặc dù bản thân họ sử dụng những dữ liệu này rất nhiều. Với việc cho phép nhà phát triển truy cập dữ liệu từ camera và cả việc cho phép phát hành những games/apps sử dụng API này lên store, người dùng có thể sẽ chứng kiến nhiều thể loại games/apps với những trải nghiệm hoàn toàn mới:
- Board Game với AR: Các nhà phát triển có thể tạo ra các trò chơi board game AR nhập vai bằng cách sử dụng camera để quét thẻ vật lý, quân cờ hoặc bàn chơi. Ví dụ, đặt một lá bài lên bàn có thể kích hoạt hình ảnh động, mô hình 3D hoặc hiệu ứng âm thanh để nâng cao trải nghiệm chơi. Hãy tưởng tượng một trò chơi giả tưởng nơi lá bài rồng triệu hồi một con rồng ảo “bay” quanh phòng bạn, hoặc một trò chơi chiến lược nơi các mảnh địa hình trở nên sống động với những người lính hoạt hình chiến đấu trên bàn.
- Ứng Dụng Thiết Kế Nội Thất và Cải Tạo Nhà Cửa: Các ứng dụng có thể sử dụng nhận diện cảnh để phân tích bố cục, kích thước phòng và đồ nội thất hiện có, cho phép người dùng hình dung các thay đổi trang trí hoặc cải tạo. Chẳng hạn, bạn có thể thấy một chiếc sofa mới trông như thế nào trong phòng khách, thử các màu sơn khác nhau trên tường, hoặc mô phỏng các thay đổi cấu trúc như phá bỏ một bức tường—tất cả trong thời gian thực. Một số ứng dụng có thể đề xuất cách sắp xếp nội thất hoặc cho thấy ánh sáng ảnh hưởng đến không gian như thế nào. Việc này có thể thực hiện trên điện thoại, nhưng việc sử dụng kính XR sẽ giúp người dùng có góc nhìn chân thực hơn cả, đặc biệt cho các dự án bất động sản, khi kính XR có thể thay thế việc xây dựng nhà mẫu.
- Dùng headset để scan các vật thể 3D: Một tính năng hữu dụng nữa của camera access chính là sử dụng chính headset để quét không gian hay vật thể trong thực tế. Để sử dụng tính năng này, người dùng chỉ cần đeo headset và di chuyển xung quanh không gian/vật thể cần quét và thuật toán như Gaussian splatting có thể được dùng để tạo ra bản sao của vật thể 3D đó. Điều này có thể thực sự hữu dụng trong công việc, chả hạn như dùng để hỗ trợ kỹ thuật khi người dùng có thể quét chi tiết máy dưới dạng 3D và gửi cho chuyên gia để chuẩn đoán và nhận hỗ trợ kỹ thuật.
Đây là động thái mà VNXR cũng hơi bất ngờ từ Meta, tưởng chừng họ sẽ lo ngại về những vấn đề sử dụng dữ liệu/quyền riêng tư mà sẽ không cho phép những ứng dụng sử dụng Passthrough API lên store, thay vào đó chỉ tập trung vào khách hàng doanh nghiệp với nhu cầu này. Apple và Pico cho phép nhà phát triền sử dụng dữ liệu live từ camera nhưng chỉ dành cho nhà phát triển doanh nghiệp, Android XR thì thoáng hơn khi cho phép sử dụng dữ liệu camera, nhưng hiện tại chưa có headset nào sử dụng OS này trên thị trường.
