Các hệ thống Super Micro Computer NVIDIA HGX B200 hiển thị trên thế hệ 3 lần của các mã thông báo mỗi giây (mã thông báo/s)

Đây không phải là lời khuyên đầu tư. Tác giả không nắm giữ cổ phiếu nào được đề cập. Wccftech.com có chính sách tiết lộ và đạo đức. Super Micro Computer (NASDAQ: SMCI), nhà bán lẻ lớn về máy chủ và giá đỡ AI làm mát bằng chất lỏng, vẫn tăng 6% trong năm nay, bất chấp tình hình khó khăn trong ngành công nghệ. Do đó, không có gì ngạc nhiên khi Goldman Sachs vừa xếp SMCI là cổ phiếu hoạt động tốt nhất trong lĩnh vực phần cứng.

Hôm nay, Super Micro Computer công bố một phát triển ấn tượng, nhấn mạnh khả năng hiệu suất AI vượt trội của các hệ thống tiên tiến dựa trên GPU B200 của NVIDIA. Họ cho biết các hệ thống 4U làm mát bằng chất lỏng và 10U làm mát bằng không khí, dựa trên HGX B200 8-GPU, đã tạo ra hơn 3 lần số token mỗi giây cho Llama2-70B và Llama3.

Hệ thống Supermicro 1-405B được so sánh với hệ thống H200 8-GPU. Công ty cho biết trong điều kiện hoạt động, hệ thống B200 làm mát bằng không khí đạt hiệu suất tương tự như hệ thống B200 làm mát bằng chất lỏng. Các hệ thống NVIDIA HGX B200 của Super Micro Computers có thiết kế mới với các tấm lạnh và đơn vị phân phối chất làm mát 250kW. Thiết kế mới này có các ống phân phối chất làm mát theo chiều dọc, không chiếm không gian giá trị trong tủ rack, cho phép lắp đặt tám hệ thống với 64 GPU NVIDIA Blackwell trong tủ rack 42U và tối đa 12 hệ thống với 96 GPU NVIDIA Blackwell trong tủ rack 52U.

Công ty đã giới thiệu hệ thống NVIDIA HGX B200 10U làm mát bằng không khí mới, với khung thiết kế lại và không gian nhiệt lớn hơn để chứa tám GPU Blackwell 1000W TDP. Tối đa 4 hệ thống 10U mới có thể được lắp đặt và tích hợp trong một giá, giữ mật độ tương đương với thế hệ trước, đồng thời cung cấp hiệu suất suy diễn gấp 15 lần và đào tạo gấp 3 lần. Cần lưu ý rằng U là đơn vị đo chiều cao máy chủ, trong đó 1U tương đương với 1.

Loop Capital vừa tiết lộ rằng Apple đã chính thức tham gia vào lĩnh vực máy chủ lớn cho AI, với sự cố liên quan đến Siri thúc đẩy thay đổi chiến lược của công ty, hiện ưu tiên GPU thương mại của NVIDIA. Apple đang đặt hàng 1 tỷ GB300NVL72, tương đương với 250 máy chủ có giá từ 3,7 triệu đến 4 triệu mỗi máy, bao gồm cả Super Micro Computer và Dell. Đơn hàng này đánh dấu một thành công nữa cho Super Micro Computer và Dell, hai nhà cung cấp hàng đầu về giá đỡ máy chủ AI hiện nay.

Nguồn: wccftech.com/super-micro-computer-nvidia-hgx-b200-systems-show-over-3-times-the-tokens-per-second-token-s-generation-for-llama2-70b-and-llama3-1-405b-benchmarks-compared-to-h200-8-gpu-systems/