AMD RDNA 3 GPU chuyên nghiệp với 48GB có thể đánh bại thẻ NVIDIA 24GB trong AI - đặt 'lớn' trong LLM

AMD đang phản công Nvidia với các điểm số benchmark DeepSeek mới, cho rằng các GPU RDNA 3 48GB của họ có thể vượt trội hơn RTX 4090 của Nvidia. David McAfee, phó chủ tịch và giám đốc quản lý bộ vi xử lý Ryzen và đồ họa Radeon của AMD, đã đăng trên X rằng các card Radeon Pro W7900 và Pro W7800 48GB có thể vượt qua RTX 4090 tới 7,3 lần trong DeepSeek R1. McAfee cũng chia sẻ một biểu đồ so sánh điểm số của ba GPU trong nhiều phiên bản DeepSeek R1 sử dụng LM Studio 0.

Phiên bản 3.12 và runtime Llama.cpp 1.18. Các vòng lặp DeepSeek R1 bao gồm Distill Qwen 32B 8-bit, Distill Llama 70B 4-bit, với cấu hình đầu ra cho các prompt hội thoại 20 token và các prompt tóm tắt 3017 token. Một chiếc AMD Radeon PRO W7800 48GB hoặc W7900 48GB có đủ VRAM để chạy hiệu quả ngay cả với DeepSeek R1 Distill lớn nhất hoặc độ chính xác cao cho 32B.

Vào ngày 13 tháng 3 năm 2025, trong bài kiểm tra DeepSeek R1 Distill Qwen 32B 8-bit, RTX 4090 tạo ra 2.7 token/giây, Pro W7800 48GB tạo ra 19.1 token/giây, và Pro W7900 48GB tạo ra 19.8 token/giây. Trong bài kiểm tra Distill Llama 70B 4-bit, RTX 4090 tạo ra 2.3 token/giây, Pro W7800 48GB tạo ra 12.8 token/giây, và Pro W7900 48GB tạo ra 12.7 token/giây.

Pro W7800 48GB đạt 15.7 tokens/giây và Pro W7900 48GB đạt 16.2 tokens/giây. Trong R1 Distill Llama 70B 4-bit, RTX 4090 cho ra 2 tokens/giây, trong khi Pro W7800 đạt 10.1 và Pro W7900 đạt 10.4 tokens/giây. Thử nghiệm của AMD cho thấy Radeon Pro W7800 và Pro W7900 48GB nhanh hơn gấp 7.3 lần trong Distill Qwen 32B 8-bit, gấp 5.5 lần trong Distill Llama 70B 4-bit, và gấp 6.5 lần trong Distill Qwen 32B 8-bit.

Distill Llama 70B 4-bit nhanh gấp 2 lần so với RTX 4090. David McAfee cho rằng các phiên bản 48GB của WPro W7800 và W7900 có đủ VRAM để chạy các mô hình DeepSeek R1 lớn nhất. VRAM là một yếu tố quan trọng trong việc xử lý các mô hình ngôn ngữ lớn, vì các tham số của LLM được lưu trữ trực tiếp trong VRAM và tỷ lệ thuận với kích thước mô hình. Do đó, mô hình LLM càng lớn, cần càng nhiều VRAM.

Tuy nhiên, với dung lượng VRAM lớn đi kèm là giá cả rất cao. W7900 48GB có giá lên tới 3,500 USD - cao hơn 1,500 USD so với mức giá 2,000 USD của RTX 5090 và 2,000 USD so với mức giá 1,500 USD của RTX 4090, mặc dù không có nhiều chiếc 4090 được bán ở mức giá đó. Ngược lại, GPU RDNA 3 48GB rẻ hơn một nửa so với GPU Nvidia 48GB gần nhất hiện tại là RTX A6000 Ada. Chiến lược marketing của AMD trông rất hấp dẫn, nhưng chúng ta đã thấy điều này trước đây.

AMD đã công bố các số liệu thử nghiệm cho thấy RX 7900 XTX vượt trội hơn RTX 4090 trong các bài kiểm tra DeepSeek R1. Tuy nhiên, Nvidia đã phản bác bằng cách trình diễn các số liệu cho RTX 4090 và RTX 5090, cho thấy hiệu suất vượt trội hơn nhiều so với GPU RDNA 3 trong cùng cấu hình DeepSeek R1. Ngoài ra, AMD cũng không công bố bất kỳ số liệu nào so sánh RTX 5090 với các card đồ họa 48GB tập trung vào máy trạm dựa trên RDNA 3 của mình.

Sẽ rất thú vị để xem Nvidia có công bố thêm bài kiểm tra hiệu năng nào nhằm đối phó với AMD hay không, đặc biệt khi AMD có nhiều VRAM hơn trên các thẻ 48GB so với RTX 5090 chỉ có 32GB GDDR7.

Nguồn: www.tomshardware.com/pc-components/gpus/amd-rdna-3-professional-gpus-with-48gb-can-beat-nvidia-24gb-cards-in-ai-putting-the-large-in-llm