AMD ROCM 7 đã công bố: Hỗ trợ MI350, thuật toán mới, mô hình & tính năng nâng cao cho AI được thêm

AMD chính thức ra mắt phiên bản công nghệ phần mềm mở tiếp theo mang tên ROCm 7, nhằm tăng cường năng suất cho các nhà phát triển AI. ROCm 7 đánh dấu sự tiến bộ từ ROCm 6, với nhiều cải tiến trong bối cảnh phát triển AI.

AMD đang tập trung vào một số tính năng chính của ROCm 7, bao gồm các thuật toán mới, mô hình nâng cao và khả năng mở rộng cho AI, hỗ trợ dòng MI350, quản lý cụm và các tính năng doanh nghiệp. ROCm 7 sẽ bao gồm các framework cải tiến như vLLM v1, llm-d, SGLang, và tập trung vào các tối ưu hóa như Inference phân tán, Prefill, và Phân tách.

ROCm 7 giới thiệu các nhân và thuật toán mới như tự động điều chỉnh GEMM, MoE, Attention và viết nhân bằng Python. AMD đã công bố hỗ trợ FP6 và FP4 cho dòng MI350, và ROCm 7 cũng hỗ trợ đầy đủ các kiểu dữ liệu tiên tiến như FP8, FP6, FP4 và độ chính xác hỗn hợp. Về hiệu suất, AMD cho biết ROCm 7 tập trung nhiều nhất vào suy luận, với mức tăng lên đến 3 lần.

Tăng hiệu suất gấp 5 lần trong các tác vụ AI. Cụ thể, hiệu suất tăng lên 3.2 lần với Llama 3.1 70B, 3.4 lần với Qwen2-72B và 3.8 lần với Deep Seek R1 so với ROCm 6. Trong DeepSeek R1, AMD so sánh ROCm 7 chạy trên GPU Instinct MI355X với nền tảng NVIDIA Blackwell B200 chạy CUDA. ROCm 7 đạt hiệu suất thông lượng FP8 nhanh hơn 30 lần so với CUDA của NVIDIA.

Về hiệu suất huấn luyện, ROCm 7 mang lại cải thiện đáng kể so với ROCm 6, với mức tăng 3x cho Llama 2 70B, Llama 3.1 8B và Quen 1.5 7B. Bộ phần mềm ROCm mới sẽ được mở rộng cho AI doanh nghiệp với giải pháp toàn diện, tích hợp dữ liệu an toàn và dễ triển khai. Bộ phần mềm này sẽ hoạt động đồng bộ với GPU, CPU và DPU, hỗ trợ nhiều khối lượng công việc, đặc biệt chú trọng vào khối lượng công việc GenAI.

Cuối cùng, AMD sẽ mở hỗ trợ ROCm cho laptop và workstation dựa trên Ryzen vào cuối năm nay, cùng với hỗ trợ Linux và Windows đầy đủ trong nửa sau của năm.

Nguồn: wccftech.com/amd-rocm-7-mi350-support-new-algorithms-models-advanced-features-ai-3-5x-uplift/