Dự án nguồn mở AMD GAIA cho phép chạy các mô hình ngôn ngữ lớn cục bộ trên máy tính cá nhân hệ điều hành Windows với Ryzen AI NPU. AMD GAIA tận dụng sức mạnh của NPU tích hợp bên trong các con chip Ryzen AI Series nhằm có được hiệu năng xử lý tốt hơn, tiết kiệm năng lượng và đặc biệt là đảm bảo quyền riêng tư đối với dữ liệu. Bằng cách xử lý các tác vụ AI trực tiếp trên thiết bị, GAIA loại bỏ sự cần thiết phải gửi dữ liệu nhạy cảm lên đám mây, đồng thời giảm độ trễ và cho phép sử dụng bất kỳ đâu, bất kỳ lúc nào mà không phụ thuộc vào mạng Internet. Dự án AMD GAIA được tối ưu hóa đặc biệt cho phần cứng AMD Ryzen AI, bao gồm các vi xử lý AMD Ryzen AI 300 Series. Trên các hệ thống Ryzen AI, GAIA tương tác với NPU và iGPU để chạy mô hình, trong khi sử dụng Lemonade SDK (Software Development Kit) nguồn mở từ ONNX TurnkeyML cho suy luận LLM (Large Language Model). GAIA hỗ trợ nhiều loại mô hình LLM cục bộ đã được tối ưu hóa để chạy với CPU Ryzen AI.
NPU bên trong AMD Ryzen AI CPU được thiết kế để tăng tốc các khối lượng công việc liên quan đến suy luận AI, đặc biệt xử lý hiệu quả các phép toán ma trận (GEMM - GEneral Matrix Multiplications) - nền tảng của nhiều mô hình học sâu, bao gồm cả LLM. Nếu so sánh với 2 thành phần xử lý khác là CPU và GPU, NPU được tối ưu hóa để mang lại hiệu năng cao hơn và tiết kiệm năng lượng hơn cho các tác vụ AI cụ thể. Dự án AMD GAIA được triển khai theo cách kết hợp cả NPU và iGPU trong Ryzen AI nhằm tối đa hóa điện năng và hiệu năng, nhất là với Ryzen AI Software Release 1.3 trở lên.
AMD GAIA bao gồm 3 thành phần chính:
- LLM Connector: Trình kết nối LLM đóng vai trò là cầu nối giữa API Web của dịch vụ NPU và quy trình RAG dựa trên LlamaIndex.
- LlamaIndex RAG Pipeline: Quy trình RAG LlamaIndex bao gồm một công cụ truy vấn (query engine) và bộ nhớ vector (vector memory), chức năng xử lý và lưu trữ thông tin bên ngoài có liên quan.
- Agent Web Server: Máy chủ Web Agent kết nối với giao diện người dùng (UI - User Interface) GAIA thông qua WebSocket, cho phép người dùng tương tác.
Một trong những tính năng nổi bật của GAIA là quy trình RAG (Retrieval-Augmented Generation - nôm na là tạo sinh tăng cường truy xuất), kết hợp một LLM với cơ sở kiến thức, cho phép tác nhân truy xuất thông tin liên quan, lý luận, lập kế hoạch và sử dụng các công cụ bên ngoài trong môi trường trò chuyện tương tác. Nhờ đó, các phản hồi được đưa ra sẽ chính xác và phù hợp với ngữ cảnh hơn.
Quy trình dữ liệu bắt đầu khi người dùng gửi một truy vấn đến GAIA, truy vấn này sẽ được chuyển đổi thành một vector nhúng (embedding vector). Vector truy vấn (vectorized query) này sau đó được sử dụng để truy xuất ngữ cảnh liên quan từ dữ liệu đã được lập chỉ mục (indexed data). Ngữ cảnh đã truy xuất được chuyển đến dịch vụ web, nhúng vào gợi ý (prompt) của LLM. Tiếp theo, LLM tạo ra phản hồi, được truyền trực tiếp trở lại thông qua dịch vụ web GAIA và hiển thị trong giao diện người dùng. Toàn bộ quy trình này sẽ đảm bảo rằng các truy vấn của người dùng được tăng cường bằng ngữ cảnh liên quan trước khi được xử lý bởi LLM, cải thiện độ chính xác và mức độ liên quan của phản hồi. Dễ hiểu hơn thì cùng 1 câu hỏi nhưng ở 2 ngữ cảnh khác nhau sẽ có câu trả lời không giống nhau.
GAIA cũng có 1 số khả năng khác như Simple Prompt Completion (cho phép tương tác trực tiếp với mô hình mà không thông qua agent, mục đích thử nghiệm và đánh giá), Chaty (chatbot LLM có lưu lịch sử cuộc nói chuyện để tương tác với người dùng), Clip (RAG agent cho tìm kiếm và hỏi đáp trên nền tảng YouTube) và Joker (trình tạo chuyện cười đơn giản sử dụng RAG). Có thể thấy quy trình RAG là một tính năng quan trọng giúp GAIA khác biệt, cho phép nó vượt trội hơn các tương tác LLM đơn giản bằng cách dựa trên kiến thức bên ngoài để đưa ra phản hồi của mô hình. Điều này nâng cao tính hữu ích và độ tin cậy của văn bản được tạo ra.
Để cài đặt và sử dụng AMD GAIA thì người dùng có 2 tùy chọn: GAIA Installer (chế độ Generic) và GAIA Hybrid Installer (chế độ Hybrid). GAIA Installer có thể chạy trên mọi PC Windows bằng cách sử dụng Ollama làm nền tảng, trong khi GAIA Hybrid Installer được tối ưu hóa cho máy tính Ryzen AI và sử dụng cả NPU và iGPU để có hiệu năng tốt hơn. Nếu bạn sở hữu máy tính trang bị vi xử lý Ryzen AI thì nên chọn chế độ Hybrid để có trải nghiệm tốt nhất. Về vi xử lý thì các mẫu được khuyến nghị là Ryzen AI 300 Series, đặc biệt là Ryzen AI 9 HX 370 trở lên. Hệ điều hành được hỗ trợ là Windows 11 Home/Pro. Chế độ Hybrid cần cài đặt driver cho AMD iGPU phiên bản 32.0.12010.8007 và 32.0.12033.1030, trong khi driver cho NPU là bản 32.0.203.237 hoặc 32.0.203.240 (bản 32.0.203.242 không tương thích).
Những yêu cầu phần cứng khác để chạy AMD GAIA gồm có bộ nhớ trong dung lượng tối thiểu 16 GB, khuyến nghị 32 GB. Việc cài đặt cũng khá đơn giản khi AMD GAIA tự động thiết lập hầu hết các yêu cầu, từ Python 3.10, Miniconda tới FFmpeg, Ollama (chế độ Generic) và các gói Python cần thiết. Bạn không rành code thì có thể cài đặt theo kiểu GUI (Graphics User Interface), còn nếu thích gõ lệnh thì cài theo kiểu CLI (Command-Line Interface).
Ngoài AMD GAIA, hiện tại còn có các công cụ khác như LM Studio, NVIDIA ChatRTX hay Intel AI Playground. Điểm tương đồng của các công cụ này đều cho phép suy luận LLM cục bộ, không phụ thuộc mạng Internet và đảm bảo tính an toàn dữ liệu nhạy cảm, tuy nhiên có khác biệt về chức năng, hỗ trợ phần cứng. LM Studio là công cụ đa nền tảng và đa nhà cung cấp, hỗ trợ cả CPU Apple M Series và tận dụng khả năng tăng tốc GPU. NVIDIA ChatRTX thì dành cho những ai sử dụng card đồ họa của đội xanh lá, có khả năng phân tích tài liệu và video. Intel AI Playground giới hạn cho các hệ thống trang bị đồ họa Intel Arc. Riêng AMD cũng khuyến nghị người dùng sử dụng LM Studio như 1 công cụ của bên thứ ba để chạy trò chuyện AI cục bộ trên CPU Ryzen và GPU Radeon. Nguồn:tinhte.vn/thread/amd-gaia-du-an-nguon-mo-cho-suy-luan-llm-noi-bo-tren-ryzen-ai-npu.3971664/