Intel hôm nay đã công bố sự sẵn có chung của nóMáy gia tốc Gaudi 3 mới nhấtsẽ bắt đầu vận chuyển vào tháng tới.
Intel Gaudi 3 đang hướng đến phân khúc AI Accelerator ngay từ đầu tháng 10, mang lại giá trị tốt hơn so với đối thủ cạnh tranh
Đội hình Gaudi của Intel được đánh giá cao trong ngành AI do định vị hiệu quả về chi phí và lần lặp tiếp theo của các sản phẩm Gaudi sẽ có sẵn vào đầu tháng tới với Gaudi 3. Hôm nay, Intel sẽ thông báo đầy đủ các sản phẩm của Gaudi 3bao gồm các thẻ tăng tốc (Tuân thủ HL-325L OAM), Bảng chân đế phổ quát (HLB-325) và PCIe CEM (bổ sung HL-388).
Intel Gaudi 3 PCIe CEM đang được trình bày chi tiết trong thông báo ngày hôm nay và sẽ đưa lên tới 1835 TFLOPS của FP8 (Đỉnh) Khả năng tính toán cùng với 128 GB bộ nhớ HBM2E, TDP 600W, công cụ nhân Ma trận 8, 64 TPCS 22, tất cả trong dung dịch toàn bộ chiều cao 10,5 "của SLOT.L2) của 19,2 tb/s.
Mỗi động cơ nhân ma trận hoàn toàn có thể cấu hình được (không có thể lập trình) và đi kèm với cấu trúc mảng MAC 256 x 256 với các bộ tích lũy FP32 và MACS/chu kỳ 64K cho BF16 và FP8.Lõi xử lý TPC hoặc tenxơ có bộ xử lý vectơ SIMD rộng 256B có thể lập trình với C nâng cao (TPC Intrinsic), VLIW với 4 khe cắm đường ống riêng biệt, đơn vị tạo địa chỉ tích hợp & hỗ trợ dữ liệu chính 1/2/4-BYTE (Điểm nổi và số nguyên).
Bảng chân đế Universal sẽ được trang bị bốn máy gia tốc AI Gaudi 3 AI sẽ có 4 liên kết kết nối 200 GBE và 400 GBE thông qua bộ điều khiển QSFP-DD.Mỗi giải pháp OAM sẽ có liên kết X16 PCIe Gen5, cung cấp tới 800 GB/s để mở rộng và 1800 GB/s cho băng thông tăng quy mô.Bản thân hệ thống sẽ đóng gói 512 GB/s của băng thông PCIe.Giải pháp này được thiết kế lý tưởng để suy luận, tinh chỉnh và đào tạo mô hình nhỏ.
Về hiệu suất, bộ tăng tốc AI của Intel Gaudi 3 sẽ cung cấp nâng cấp suy luận tốt hơn tới 9% trong các mô hình LLAMA 3 8B trong khi cung cấp hiệu suất tốt hơn 80% cho mỗi $ so với H100.Trong Llama 70b, máy gia tốc AI Gaudi 3 sẽ cung cấp thông lượng suy luận tốt hơn 19% và hiệu suất 2X trên mỗi $ so với H100.
Nút máy chủ tham chiếu Intel Gaudi 3 (HLS-3) sẽ đi kèm với 2 CPU máy chủ Intel Xeon như Series Xeon 6900p mới nhất và có 8 thẻ OAM, cung cấp tổng băng thông là 67,2 TB/s (tỷ lệ lên) và 9,6 TB/s (chia tỷ lệ).Giải pháp AI sẽ được hỗ trợ bởi bộ phần mềm GAUDI là khung Gen AI được sử dụng phổ biến nhất và hỗ trợ lượng tử hóa FP16, BF16 và FP8.Intel đang làm việc với các đối tác khác nhau trên hệ sinh thái Gaudi bao gồm Dell Technologies, HPE và Supermicro với tư cách là nhà cung cấp hệ thống và IBM, lumen, Infosys, Naver, và nhiều người khác là SW Enablers.