Cụm 100kW dựa trên phễu NVIDIA triển khai với 144 H200 GPU

Will Bryk, giám đốc điều hành của ExaAILabs, đã thông báo vào thứ Sáu rằng công ty của ông đã triển khai Exacluster, một trong những cụm đầu tiên trong ngành sử dụng GPU H200 của Nvidia cho AI và tính toán hiệu suất cao. Cụm này sẽ được sử dụng để xây dựng một công cụ tìm kiếm có khả năng hiểu người dùng tốt hơn Google và đưa ra kết quả tìm kiếm tốt hơn. Thực tế, Exacluster không liên quan đến hiệu suất quy mô ExaFLOPS.

Được gọi là Exacluster, cụm máy này bao gồm 18 máy chủ NVIDIA H200 8-way. "Exa" có nghĩa là quintillion, hay 10^18. Cụm máy cung cấp 144 GPU H200 với 20TB bộ nhớ HBM3E (141GB mỗi GPU), cho hiệu suất tính toán tổng cộng khoảng 570 PetaTOPS. Cụm máy sẽ được sử dụng để đào tạo mạng nơ-ron ExaAI. Nó được xây dựng trên 192 bộ xử lý 96-core, tổng cộng 3,456 lõi, với 36TB bộ nhớ DDR5 và 270TB lưu trữ SSD NVMe.

Siêu máy tính tiêu thụ 100kW điện. Mỗi giá chỉ lắp đặt hai máy để đảm bảo đủ làm mát cho tất cả các máy chủ. Các máy sử dụng làm mát bằng không khí tiêu chuẩn, được kỳ vọng đủ cho hoạt động lâu dài dưới tải. Chúng tôi vừa hoàn thành việc thiết lập Exacluster với 144 H200, 3456 CPU, 270TB NVME SSD, 20TB GPU RAM, 36TB CPU RAM và công suất hoạt động 100kW. Hãy chuẩn bị cho những gì sắp đến.

Theo Bryk, chi phí cho cụm máy khoảng 5 triệu USD, tương đương 277,777 USD mỗi máy, so với một bo mạch H200 8 chiều, không phải là giá của cả máy chủ. Chưa rõ ExaAI đã có được mức giá thấp như vậy và máy H200 sớm hơn nhiều công ty khác ra sao. Tuy nhiên, Nvidia là một trong những nhà đầu tư chủ chốt của công ty này, cùng với Lightspeed và YCombinator.

Các công ty liên kết với Nvidia thường nhận được phần cứng trước những công ty khác. Có thể ExaAI đã có thể có máy móc của mình mà không cần dựa vào các mối quan hệ lớn, nhờ vào việc sử dụng AI độc đáo, thu hút sự quan tâm từ nhiều bên. Mục tiêu cuối cùng của ExaAI là xây dựng một công cụ tìm kiếm có khả năng hiểu và xử lý các truy vấn phức tạp, mang lại kết quả tốt.

Nếu công ty thành công, nó có thể cách mạng hóa việc tìm kiếm như chúng ta biết hiện nay.

Nguồn: www.tomshardware.com/tech-industry/artificial-intelligence/nvidia-hopper-based-100kw-cluster-deploys-with-144-h200-gpus-exacluster-features-192-96-core-cpus-36tb-ddr5-ram-and-270tb-of-nvme-storage