AMD ra mắt dự án nguồn mở Gaia để chạy LLM tại địa phương trên bất kỳ PC nào

Việc chạy mô hình ngôn ngữ lớn (LLMs) trên máy tính cá nhân ngày càng trở nên phổ biến. Để đáp ứng nhu cầu này, AMD đã giới thiệu ứng dụng LLM của riêng mình, Gaia, một dự án mã nguồn mở cho phép chạy LLM trên bất kỳ máy tính Windows nào. Gaia được thiết kế để vận hành nhiều mô hình LLM khác nhau trên PC Windows và tối ưu hiệu suất cho các máy sử dụng bộ xử lý Ryzen AI, bao gồm Ryzen AI Max 395.

Gaia sử dụng Lemonade SDK mã nguồn mở từ ONNX TurnkeyML để thực hiện suy diễn LLM. Các mô hình có thể được điều chỉnh cho nhiều mục đích khác nhau như tóm tắt và giải quyết các tác vụ phức tạp. Gaia hoạt động thông qua một tác nhân Tạo ra Thông tin Tăng cường (RAG), kết hợp LLM với cơ sở tri thức, giúp cung cấp trải nghiệm AI tương tác và phản hồi chính xác hơn cho người dùng.

RAG hiện có bốn tác nhân Gaia: Simple Prompt Completion, dùng để tương tác trực tiếp với mô hình phục vụ kiểm tra và đánh giá; Chaty, phần chatbot của LLM tương tác với người dùng; Clip, tác nhân tìm kiếm trên YouTube và trả lời câu hỏi; và Joker, trình tạo câu đùa mang lại tính hài hước cho chatbot. Dự án mã nguồn mở mới của AMD cung cấp các nhiệm vụ cụ thể cho LLM thông qua Lemonade SDK và phục vụ chúng trên nhiều môi trường chạy khác nhau.

Lemonade được cho là đã phát hiện một dịch vụ web LLM giao tiếp với ứng dụng GAIA thông qua API Rest tương thích với OpenAI. GAIA hoạt động như một tác nhân AI, truy xuất và xử lý dữ liệu, đồng thời vector hóa nội dung từ bên ngoài như GitHub, YouTube, và tệp văn bản, lưu trữ trong chỉ mục vector cục bộ. Điều này cho phép GAIA cải thiện truy vấn của người dùng trước khi LLM xử lý, có thể nâng cao độ chính xác và sự liên quan của phản hồi.

Chatbot AI mới có hai trình cài đặt: một trình cài đặt thông thường dành cho mọi máy tính Windows, bất kể có phần cứng AMD hay không, và một trình cài đặt Hybrid tối ưu cho máy tính Ryzen AI. Trình cài đặt Hybrid cho phép Gaia sử dụng đơn vị xử lý thần kinh (NPU) và đồ họa tích hợp của CPU Ryzen để cải thiện hiệu suất. Gaia là đối thủ mới trong số các ứng dụng LLM cục bộ, bao gồm LM Studio và ChatRTX.

Chạy LLM (Mô hình Ngôn ngữ Lớn) cục bộ mang lại nhiều lợi ích so với giải pháp dựa trên đám mây, như bảo mật tốt hơn, độ trễ thấp hơn, và trong một số trường hợp, hiệu suất tốt hơn tùy thuộc vào phần cứng hệ thống. Đặc biệt, LLM cục bộ có thể hoạt động ngoại tuyến mà không cần kết nối internet.

Nguồn: www.tomshardware.com/tech-industry/artificial-intelligence/amd-launches-gaia-open-source-project-for-running-llms-locally-on-any-pc