Trong những năm gần đây, khi nhắc tới mô hình AI, chúng ta thường liên tưởng tới các mô hình ngôn ngữ lớn với hàng chục tỷ, hay cả trăm tỷ tham số (parameters), những mô hình này mạnh mẽ nhưng cũng rất nặng nề, không phù hợp cho các thiết bị di động trong đó có kính thông minh. Vì lẽ này, một hướng phát triển trong nghiên cứu AI tập trung vào các mô hình ngôn ngữ nhỏ (Small Language Models – SLMs). Với kính thông minh hay kính AI, các mô hình nhỏ với chỉ vài tỷ tham số đang trở thành lựa chọn hấp dẫn nhờ khả năng thực hiện tốt các nhiệm vụ cụ thể với chi phí thấp hơn, và trong một số trường hợp có thể hoạt động mà không cần kết nối internet.
Tại sao mô hình ngôn ngữ nhỏ lại trở nên phổ biến?
Các mô hình ngôn ngữ lớn sở hữu hàng trăm tỷ tham số – những “nút điều chỉnh” được tinh chỉnh trong quá trình huấn luyện để nhận diện mẫu và kết nối dữ liệu. Điều này mang lại cho chúng sức mạnh vượt trội và độ chính xác cao. Tuy nhiên, cái giá phải trả không hề nhỏ. Chẳng hạn, để huấn luyện mô hình Gemini 1.0 Ultra, Google được cho là đã chi tới 191 triệu USD. Hơn nữa, mỗi truy vấn trên ChatGPT tiêu tốn năng lượng gấp 10 lần so với một lần tìm kiếm trên Google, theo Viện Nghiên cứu Điện lực (Electric Power Research Institute).
Nhận thấy nhược điểm này, các công ty như IBM, Google, Microsoft và OpenAI đã bắt đầu phát triển các mô hình ngôn ngữ nhỏ với số lượng tham số chỉ khoảng vài tỷ, thấp hơn rất nhiều so với LLMs. Dù không linh hoạt như các mô hình lớn, SLMs lại tỏ ra vượt trội trong các nhiệm vụ cụ thể như tóm tắt cuộc trò chuyện, trả lời câu hỏi y tế, hoặc thu thập dữ liệu trên các thiết bị thông minh. “Với nhiều tác vụ, một mô hình có 8 tỷ tham số thực sự đã đủ tốt,” Zico Kolter, nhà khoa học máy tính tại Đại học Carnegie Mellon, nhận định. Đặc biệt, chúng có thể hoạt động trên laptop hoặc điện thoại di động mà không cần đến các trung tâm dữ liệu khổng lồ.
Lợi ích của mô hình ngôn ngữ nhỏ đối với kính thông minh
Kính thông minh (smartglasses), là một trong những lĩnh vực có thể tận dụng tối đa lợi ích của các mô hình ngôn ngữ nhỏ. Với khả năng xử lý ngôn ngữ tự nhiên và thực hiện các tác vụ cụ thể, SLMs mang lại nhiều tính năng hữu ích:
- Trợ lý ảo cá nhân: Một mô hình nhỏ tích hợp trong kính thông minh có thể hỗ trợ người dùng đặt lịch, trả lời tin nhắn, hoặc tìm kiếm thông tin mà không cần chạm tay, mang lại trải nghiệm liền mạch.
- Dịch thuật thời gian thực: SLMs có thể dịch văn bản hoặc cuộc trò chuyện ngay lập tức, hiển thị kết quả trực tiếp trên kính, giúp người dùng giao tiếp dễ dàng khi ở nước ngoài.
- Hỗ trợ điều hướng: Kính thông minh chạy mô hình nhỏ có thể cung cấp hướng dẫn đường đi, hiển thị bản đồ 3D hoặc thông tin về địa điểm xung quanh, hỗ trợ người dùng di chuyển thuận tiện hơn.
- Tương tác với môi trường: SLMs giúp kính thông minh nhận diện các đối tượng trong thế giới thực, chẳng hạn như sản phẩm trong cửa hàng, và cung cấp thông tin chi tiết ngay lập tức.
Quan Ưu điểm lớn nhất là các mô hình nhỏ có thể chạy trực tiếp trên thiết bị, giảm phụ thuộc vào kết nối internet, tiết kiệm năng lượng và tăng cường bảo mật dữ liệu cho người dùng.
