Nvidia từ Geforce RTX 5090 thống trị hiệu suất suy luận trên các mô hình AI Deepseek, R1, vượt qua AMD tựa RX 7900 XTX bằng các tỷ lệ lợi nhuận lớn
Card đồ họa GeForce RTX 5090 mới nhất của NVIDIA có hiệu suất suy diễn trên DeepSeek R1 nhanh hơn nhiều so với AMD RX 7900 XTX nhờ vào các lõi Tensor thế hệ thứ năm. Việc truy cập các mô hình suy luận của DeepSeek bằng GPU RTX mới của NVIDIA hiện trở nên dễ dàng và hiệu suất cao. Có vẻ như GPU tiêu dùng sẽ là một trong những cách tốt nhất để chạy các mô hình LLM cao cấp trên máy tính cá nhân, khi cả NVIDIA và AMD đều cam kết cung cấp môi trường phù hợp cho việc này.
Gần đây, AMD đã trình diễn sức mạnh của GPU RDNA 3 trên mô hình LLM DeepSeek R1, và giờ đây, Team Green đã phản hồi bằng cách công bố các chỉ số hiệu suất trên GPU RTX Blackwell mới nhất. Kết quả cho thấy GeForce RTX 5090 vượt trội hơn hẳn so với Radeon RX 7900 XTX và cả các mẫu thế hệ trước.
GPU đã đạt tốc độ lên tới 200 token mỗi giây trên Distill Qwen 7b và Distill Llama 8b, gấp gần hai lần so với RX 7900 XTX của AMD. Điều này cho thấy hiệu suất AI trên GPU của NVIDIA sẽ rất vượt trội, và với hỗ trợ RTX mạnh mẽ cho AI, chúng ta sẽ thấy AI biên giới trên máy tính cá nhân ngày càng phổ biến. Đối với những ai muốn chạy DeepSeek R1 trên GPU RTX của NVIDIA, công ty đã phát hành một blog hướng dẫn, và thú vị là việc này đơn giản như sử dụng bất kỳ chatbot nào trên internet.
Bạn có thể truy cập mô hình DeepSeek-R1 với 671 tỷ tham số, hiện đang có sẵn dưới dạng dịch vụ NIM preview trên build.nvidia.com. Mô hình này có thể xử lý tới 3,872 token mỗi giây trên một hệ thống NVIDIA HGX H200. Các nhà phát triển có thể thử nghiệm với API, dự kiến sẽ sớm có sẵn để tải xuống như một dịch vụ NIM, là một phần của nền tảng phần mềm NVIDIA AI Enterprise.
DeepSeek-R1 NIM microservice giúp đơn giản hóa việc triển khai với hỗ trợ cho các API tiêu chuẩn ngành. Các doanh nghiệp có thể tối đa hóa bảo mật và quyền riêng tư dữ liệu bằng cách chạy microservice NIM trên cơ sở hạ tầng tính toán tăng tốc mà họ ưu tiên. Với NIM của NVIDIA, các nhà phát triển và người đam mê có thể dễ dàng thử nghiệm mô hình AI trên các hệ thống cục bộ, đảm bảo dữ liệu được bảo vệ và cải thiện hiệu suất nếu phần cứng hỗ trợ.
Nguồn: wccftech.com/nvidia-geforce-rtx-5090-dominates-inference-performance-on-deepseeks-r1-ai-models/