Hình ảnh mô phỏng Avatar Cloud Engine trong Game

Trong bài phát biểu quan trọng về Computex 2023, Giám đốc điều hành Nvidia, ông Jensen Huang đã tiết lộ ACE for Games, một dịch vụ đúc mô hình AI, được thiết kế để đưa các nhân vật trong Game trở nên sống động bằng cách sử dụng hội thoại ngôn ngữ tự nhiên, chuyển âm thanh thành biểu cảm khuôn mặt và chuyển văn bản thành giọng nói/lời nói và khả năng văn bản. Huang đã chiếu một bản demo trò chơi trong đó một NPC tên là Jin, người điều hành một cửa hàng mì ramen, tương tác với một người chơi đang đặt câu hỏi bằng giọng nói và nhận lại những câu trả lời nghe có vẻ như thật phù hợp với cốt truyện của NPC. Ngay sau đó, "ông Jensen Huang đã phát biểu trong sự kiện Computex 2023" về chiến lược của Nvidia trong thời gian tới, sẽ có những đột phá thật sự về AI.

Xem ngay: 

Sau DLSS, DLAA và gần đây nhất là RTX Video Super Resolution, tại Computex 2023, Nvidia đã giới thiệu ứng dụng mới nhất của AI đối với giải trí. Mang tên Avatar Cloud Engine, viết tắt là ACE, công nghệ dựa trên thuật toán AI của Nvidia là một mô hình toàn diện để tạo, tuỳ chỉnh và tích hợp hình dáng và giọng nói tự nhiên cho các nhân vật thuộc dạng NPC (Non Playable Character) trong Game.

Những câu thoại của nhân vật chủ tiệm mì trong đoạn clip trên đây đều được tạo ra từ mô hình ngôn ngữ AI, chứ không phải những biên kịch viết ra. Cùng với sự uyển chuyển của nhân vật trong Game, và mức độ phức tạp trong ngôn ngữ được NPC sử dụng để trò chuyện với nhân vật của anh em sẽ là những thế mạnh để Game trong tương lai có được sự chân thực mà hiện giờ chưa thể đạt được. 

Vì thế chúng cũng bị bó buộc bởi sức mạnh của số lượng tham số mà mô hình ngôn ngữ. Nhưng bù lại, khi những LLM trong tương lai trở nên mạnh và tự nhiên hơn, Nvidia ACE sẽ tiết kiệm được rất nhiều thời gian phát triển Game, đặc biệt là những dự án thế giới mở quy mô lớn, cả về chiều rộng của bản đồ lẫn mật độ nhân vật NPC.

Nvidia ACE được xây dựng dựa trên nền tảng Nvidia Omniverse, và để tạo ra được những nhân vật NPC có độ chi tiết cao, tinh xảo, đối thoại chân thực, những công nghệ dưới đây đã được kết hợp lại với nhau:

Nvidia Omniverse Audio2Face: Tự động điều chỉnh cử động gương mặt của nhân vật NPC để khớp với lời thoại đang nói. Audio2Face có plugin tích hợp trực tiếp với Unreal Engine 5, nên các nhà làm game sẽ có thể điều chỉnh nhanh gương mặt của những mô hình nhân vật đã được tạo ra từ công nghệ MetaHuman của EpicGames.

Nvidia NeMo: Dùng để khởi tạo, tuỳ chỉnh và vận hành mô hình ngôn ngữ, dựa trên dữ liệu huấn luyện của riêng Nvidia chứ không phải mã nguồn mở. Những mô hình ngôn ngữ AI cho nhân vật NPC trong Game có thể được tuỳ chỉnh theo bối cảnh và chủ đề của từng trò chơi, đủ sức mạnh tạo ra cả quá khứ của từng nhân vật. Những nội dung độc hại sẽ được chặn bởi NeMo Guardrails.

Nvidia Riva: Công nghệ nhận diện giọng nói của người chơi, biến nó thành văn bản, cho phép anh em chơi game theo kiểu nói chuyện với NPC đúng nghĩa đen, chứ không phải chọn những câu thoại có sẵn.

Nvidia ACE for Games sẽ cung cấp khả năng truy cập tốc độ cao vào ba thành phần khác nhau hiện có. Đầu tiên, Nvidia NeMo, là một khung AI để đào tạo và triển khai LLM và nó bao gồm NeMo Guardrails, được thiết kế để ngăn chặn các cuộc hội thoại AI không phù hợp. Có lẽ, điều này sẽ ngăn các NPC trả lời những lời nhắc không phù hợp, lạc đề từ người dùng. Guardrails cũng có tính năng bảo mật sẽ ngăn người dùng hoặc những người sắp sửa "bẻ khóa" các bot và khiến chúng làm những việc xấu.

Nguồn: Tom's Hardware