AMD cho biết GPU MI400X Bản năng nhanh hơn 10 lần so với MI300X, sẽ cung cấp năng lượng cho hệ thống quy mô giá đỡ Helios với CPUS EPYC 'Venice'

AMD vừa giới thiệu giải pháp rack-scale đầu tiên do mình thiết kế có tên Helios tại sự kiện Advancing AI. Hệ thống này sẽ sử dụng bộ vi xử lý EPYC Venice thế hệ tiếp theo, tăng cường bằng bộ tăng tốc Instinct MI400-series và kết nối mạng qua các thẻ mạng Pensando sắp ra mắt. Theo AMD, MI400X mạnh gấp 10 lần MI300X, một sự tiến bộ đáng kể khi MI400X sẽ được phát hành khoảng ba năm sau MI300X.

Khi nói đến giải pháp rack-scale cho AI, AMD vẫn còn kém hơn Nvidia. Tuy nhiên, năm nay sẽ có sự thay đổi khi các nhà cung cấp dịch vụ đám mây như Oracle OCI, OEM và ODM sẽ xây dựng và triển khai các giải pháp rack-scale dựa trên GPU Instinct MI350X-series. Tuy nhiên, các hệ thống này không do AMD thiết kế và sẽ phải kết nối mỗi hệ thống 8 chiều bằng Ethernet, không phải bằng các kết nối tốc độ cao như NVLink.

Dưới đây là tóm tắt ngắn gọn thông tin:

• Năm: 2024 - 2027

• Mật độ: 128, 128, NVL72, NVL72, NVL144, NVL576

• Kiến trúc GPU: CDNA 4, CDNA 5, Blackwell, Rubin

• Chip GPU: MI355X, MI400X, GB200, GB300, VR200, VR300

• Chiplet tính toán: 256, 144, 144, 144, 576

• Gói GPU: 128, 128, 72, 72, 72, 144

• FP4 PFLOPs: 1280, 2560, 720, 1080, 3600, 14400

• Dung lượng HBM: 36 TB, 55 TB, 14 TB, 21 TB, 21 TB, 147 TB

• Băng thông HBM: 1024 TB/s, 2560 TB/s, 576 TB/s, 576 TB/s, 936 TB/s, 4608 TB/s

• CPU: EPYC Turin, EPYC Venice, 72-core Grace, 88-core Vera

• Kết nối: NVSwitch, UALinkIF

NVSwitch 5.0, 6.0, 7.0 có băng thông lần lượt là 3600 GB/s, 3600 GB/s, 7200 GB/s và 14400 GB/s. NVSwitch hỗ trợ quy mô mở rộng 800G với đồng, 1600G với quang. Hệ thống rack-scale đầu tiên do AMD thiết kế có tên là Helios, sử dụng CPU EPYC Venice với kiến trúc Zen 6, GPU MI400-series dựa trên CDNA Next, và thẻ mạng Pensando Vulcano, hứa hẹn mở rộng khả năng lên trên tám GPU, cải thiện đáng kể khả năng đào tạo và suy diễn.

Hệ thống sẽ tuân thủ tiêu chuẩn OCP và hỗ trợ các kết nối thế hệ tiếp theo như Ultra Ethernet và Ultra Accelerator Link, phục vụ cho các khối lượng công việc AI yêu cầu cao. AMD có thể sẽ chia tách các GPU AI hàng đầu thành các dòng sản phẩm chuyên biệt cho AI và HPC. AMD công bố GPU AI MI350X và MI355X, hứa hẹn hiệu suất gấp 4 lần so với thế hệ trước và nhanh hơn 35 lần trong suy diễn. Bộ tăng tốc Instinct MI355X của AMD sẽ tiêu thụ khoảng 1.400 watt. "Xin giới thiệu kệ Helios AI," Andrew Dieckman, phó chủ tịch công ty và giám đốc điều hành bộ phận GPU trung tâm dữ liệu của AMD, cho biết.

Helios là một giải pháp hệ thống mà chúng tôi phát triển dựa trên GPU MI400-series của Instinct. Nó là một giá đỡ AI tích hợp hoàn chỉnh với CPU EPYC, GPU MI400-series, NIC Pensando và bộ công cụ ROCm của chúng tôi. Đây là một kiến trúc thống nhất, được thiết kế cho cả đào tạo mô hình tiên tiến và suy diễn quy mô lớn, cung cấp mật độ tính toán cao, băng thông bộ nhớ lớn và kết nối mở, tuân thủ tiêu chuẩn OCP và hỗ trợ Ultra Ethernet cùng UALink.

Về hiệu suất, GPU AI hàng đầu của AMD, Instinct MI400X (tên không chính thức) và CDNA Next (gọi là CDNA 5) gấp đôi hiệu suất so với Instinct MI355X, đồng thời tăng 50% dung lượng bộ nhớ và hơn 100% băng thông. Trong khi MI355X đạt 10 PFLOPS FP4, MI400X dự kiến sẽ đạt 20 PFLOPS FP4.

Công ty cho biết, MI400X mạnh gấp 10 lần MI300X, điều này thể hiện sự tiến bộ đáng kể khi MI400X ra mắt khoảng ba năm sau MI300X. Theo lộ trình sản phẩm, MI355X mang lại hiệu suất cao gấp 3 lần so với MI300X trên nhiều mô hình và khối lượng công việc, là bước nhảy vọt so với MI300X và MI325X, theo lời Dieckman.

Với Instinct MI400X và Helios, chúng tôi nâng cao hiệu suất lên tới 10 lần cho các mô hình AI tiên tiến nhất. Dưới đây là thông tin chi tiết về kiến trúc và công nghệ trong các năm 2024-2027:

• Kiến trúc: CDNA 4, CDNA 5, Blackwell

• GPU: MI355X, MI400X, B200, B300 Ultra

• Công nghệ sản xuất: N3P, 4NP

• Cấu hình vật lý: 2 GPU cỡ reticle, 4 GPU cỡ reticle với chip IO

• Đóng gói: CoWoS-S, CoWoS-L

• FP4 và FP8INT6 hiệu suất mỗi gói: từ 5-100 PFLOPs.

Dưới đây là thông tin đã được rút gọn:

• Hiệu suất tính toán:

- 5 10 INT8: PFLOPS mỗi gói

- 0.319 BF16: PFLOPS mỗi gói

- 5 TF32: PFLOPS mỗi gói

- 2.5 FP32: PFLOPS mỗi gói

- 0.083 FP64: TFLOPS mỗi gói

• Bộ nhớ:

- 288 GB HBM3E, 432 GB HBM4, 192 GB HBM3E, 288 GB HBM3E, 288 GB HBM4, 1 TB HBM4E

• Băng thông bộ nhớ:

- 8 TB/s, gần 20 GB/s, 8 TB/s, 4 TB/s, 13 TB/s, 32 TB/s

• Số lượng HBM Stacks:

- 8, 12, 6, 8, 8, 16

• Kết nối:

- NVLink, UALink, Infinity Fabric.

MI400X là bộ tăng tốc mới sẽ vượt qua Blackwell Ultra của Nvidia, với thông số kỹ thuật như sau:

• Tốc độ NVLink: 200 GT/s cho các phiên bản 5.0, 6.0 và 7.0.

• Tốc độ SerDes: 224 Gbps đơn hướng.

• TDP GPU: 1400 W, 1600 W, 1200 W, 1400 W, 1800 W, 3600 W.

• CPU: EPYC Turin 128-core, EPYC Venice 72-core, Grace 72-core, Grace 88-core, Vera 88-core.

Nguồn: www.tomshardware.com/pc-components/gpus/amd-says-instinct-mi400x-gpu-is-10x-faster-than-mi300x-will-power-helios-rack-scale-system-with-epyc-venice-cpus