M3 Ultra chạy DeepSeek R1 với 671 tỷ tham số sử dụng 448GB bộ nhớ thống nhất, mang lại hiệu suất băng thông cao ở mức tiêu thụ năng lượng dưới 200W, không cần thiết lập đa GPU

Apple vừa ra mắt Mac Studio mới với chip M3 Ultra mạnh mẽ, vượt qua các tiêu chuẩn hiệu suất của chính công ty. Chip này có tối đa 32 lõi CPU và 80 lõi GPU, mang lại hiệu suất tính toán và đồ họa vượt trội so với chip M2 Ultra. M3 Ultra cũng cho thấy khả năng vượt trội khi chạy mô hình DeepSeek R1 với 671 tỷ tham số, so với các phiên bản silicon trước đó của Apple.

Chip M3 Ultra mới của Apple trong Mac Studio đã hoạt động tốt khi xử lý mô hình DeepSeek R1 với 671 tỷ tham số, nặng 404GB và yêu cầu bộ nhớ băng thông cao, thường dành cho VRAM của GPU. Nhờ kiến trúc bộ nhớ thống nhất, chip M3 Ultra mang lại lợi thế đặc biệt trong lĩnh vực này, cho kết quả ấn tượng với mức tiêu thụ điện năng thấp.

Thông tin được chia sẻ từ kênh YouTube Dave2D, so sánh hiệu suất của chip với mô hình DeepSeek R1 so với các chip Apple trước đó. Mô hình R1 có kích thước lớn, yêu cầu cấu hình GPU mạnh mẽ với nhiều VRAM để hoạt động hiệu quả. Một cấu hình PC thông thường cần nhiều GPU, dẫn đến tiêu thụ điện năng cao, nhưng chip M3 Ultra đã vận hành mô hình một cách hiệu quả hơn nhiều.

Kiến trúc bộ nhớ thống nhất của chip M3 Ultra cung cấp một nguồn bộ nhớ băng thông cao chung, cho phép các mô hình AI sử dụng tài nguyên tương tự như VRAM. Lưu ý rằng các mô hình AI nhỏ hơn hoạt động ổn định mà không cần sử dụng toàn bộ tài nguyên, trong khi mô hình DeepSeek R1 với 671 tỷ tham số yêu cầu cấu hình cao nhất của chip M3 Ultra - tới 512GB.

Tuy nhiên, macOS mặc định giới hạn phân bổ VRAM, và Dave Lee đã phải tăng giới hạn này thủ công qua Terminal lên 448GB. Mô hình DeepSeek R1 hoạt động thành công và mượt mà trên M3 Ultra Mac Studio. Mặc dù là phiên bản 4-bit có sự hy sinh về độ chính xác, mô hình vẫn giữ được 671 tỷ tham số và hoạt động rất tốt.

Trong khi các hệ thống cạnh tranh có thể đạt hiệu suất tương tự với nhiều GPU, chip M3 Ultra lại vượt trội về mức tiêu thụ điện năng. Toàn bộ hệ thống chỉ tiêu tốn dưới 200W khi chạy mô hình DeepSeek R1 nặng. Mức tiêu thụ điện này chỉ là một phần nhỏ so với các máy tính có hiệu suất tương đương. Dave cho biết cấu hình nhiều GPU truyền thống sẽ cần gấp 10 lần điện năng so với chip M3 Ultra.

Mẫu R1 với 671 tỷ tham số bất ngờ hoạt động tốt hơn phiên bản 70 tỷ tham số, có thể nhờ vào hiệu quả kiến trúc. Chip M3 Ultra mới của Apple có khả năng chạy các mô hình vượt trội hơn cả mong đợi. Chúng tôi sẽ chia sẻ thêm chi tiết về hiệu suất và hiệu quả của chip này, hãy chú ý theo dõi.

Nguồn: wccftech.com/m3-ultra-chip-handles-deepseek-r1-model-with-671-billion-parameters/