Người dùng chạy mô hình AI trên Xbox 360

Người dùng X trước đây là Andrei David vừa cài đặt và chạy một mô hình AI dựa trên llama2.c của Andrej Karpathy trên chiếc Xbox 360 đã gần 20 năm tuổi. Mặc dù đã cũ, David đã sử dụng một bootloader để tải mô hình lên console cũ và thực hiện một prompt "Sleep Joe said". Theo bài đăng, nỗ lực thành công của EXO Lab trong việc chạy Llama trên máy tính Windows 98 đã truyền cảm hứng cho David thử nghiệm. Mặc dù mô hình AI mà Xbox 360 sử dụng dựa trên cùng một mô hình trong máy tính Pentium II Windows 98 của EXO Lab, David cho biết anh đã phải tối ưu hóa mã cho kiến trúc PowerPC của console và các tính năng quản lý bộ nhớ độc đáo của nó.

Sự khác biệt chính là PowerPC sử dụng định dạng big-endian, lưu trữ giá trị quan trọng nhất trước, trong khi bộ xử lý Intel Pentium II của EXO Lab lại dùng định dạng little-endian, lưu trữ giá trị nhỏ nhất trước. Để đảm bảo mô hình hoạt động đúng, cần thực hiện hệ thống hoán đổi byte và đảm bảo dữ liệu được tạo và lưu trữ có căn chỉnh bộ nhớ 128 byte đúng yêu cầu của hệ thống bộ nhớ Xbox 360.

LLM chạy trên Xbox 360 với CPU Xenon 3.2GHz PowerPC 3 lõi và 512MB RAM thống nhất. Dựa trên karpathys🩷llama2.c, được chuyển thể để hoạt động trên console mạnh mẽ của Microsoft từ năm 2005. Cài đặt thuần C tối ưu cho kiến trúc PowerPC và quản lý bộ nhớ của Xbox. Một thách thức mà David gặp phải là việc console sử dụng bộ nhớ thống nhất, điều này đòi hỏi các nhà phát triển game phải tối ưu hóa phần mềm của họ cho phần cứng của console.

Mặc dù Xbox 360 chỉ có 512MB RAM, Andrei phải đảm bảo rằng mô hình 60MB có thể chạy trong bộ nhớ mà hệ thống phân bổ cho CPU hoặc GPU, vì chúng chia sẻ cùng một bộ nhớ. Tuy nhiên, nhờ vào quản lý bộ nhớ cẩn thận và điều chỉnh cách hoạt động của PowerPC, anh đã làm cho console cũ này có thể chạy LLM. Đây là một bước tiến mới của EXO Lab nhằm mang AI đến gần hơn với người dùng bình thường, thay vì chỉ dành cho các tập đoàn lớn tiêu tốn hàng tỷ đô la cho thiết bị hiện đại và tiêu thụ nhiều năng lượng.

Việc chạy mô hình AI dựa trên Llama 2 trên một thiết bị cũ là một thành tựu ấn tượng. Một người dùng cho rằng 512MB RAM đủ để chạy SmolLM của Hugging Face hoặc mô hình Qwen2.5 4-bit 0.5B. Andrei David đã đáp lại: "Thử thách chấp nhận!", vì vậy chúng ta có thể mong chờ những mô hình AI mạnh mẽ hơn chạy trên Xbox 360 trong tương lai.

Nguồn: www.tomshardware.com/tech-industry/artificial-intelligence/user-runs-an-ai-model-on-an-xbox-360-3-core-powerpc-with-512-mb-memory-handles-an-ai-model-based-on-llama2-c