NVIDIA muốn SSD với 100 triệu IOP - lên tới 33x Hiệu suất Uplift có thể loại bỏ các tắc nghẽn AI GPU

Hiện nay, ngành công nghiệp AI đã có GPU hiệu suất cao với bộ nhớ băng thông cao (HBM), nhưng một trong những vấn đề mà hệ thống đào tạo và suy diễn AI gặp phải là hiệu suất lưu trữ. Để khắc phục điều này, Nvidia đang hợp tác với các đối tác để phát triển SSD có thể đạt hiệu suất đọc ngẫu nhiên 100 triệu thao tác nhập/xuất mỗi giây (IOPS) trong các tác vụ khối nhỏ, theo lời Wallace C. Kuo trong một cuộc phỏng vấn độc quyền với Toms Hardware.

Hiện tại, họ đang hướng tới mục tiêu 100 triệu IOPS, điều này rất ấn tượng, theo Kuo nói với Toms Hardware. Các bộ tăng tốc AI hiện đại, như Nvidia B200, có băng thông bộ nhớ HBM3E khoảng 8 TB/s, vượt xa khả năng của các hệ thống lưu trữ hiện nay về cả thông lượng và độ trễ. Các SSD PCIe 5.0 x4 hiện đại chỉ đạt tối đa khoảng 14,5 GB/s và cung cấp 2-3 triệu IOPS cho cả đọc ngẫu nhiên 4K và 512B.

Mặc dù khối 4K thích hợp hơn cho băng thông, nhưng các mô hình AI thường thực hiện các truy xuất ngẫu nhiên nhỏ, nên khối 512B lại phù hợp hơn với các mẫu nhạy cảm về độ trễ. Tuy nhiên, việc tăng số lượng thao tác IO mỗi giây lên 33 lần là khó khăn do hạn chế của cả bộ điều khiển SSD và bộ nhớ NAND. Bạn có thể quan tâm đến việc Pliops mở rộng cửa sổ ngữ cảnh của AI bằng bộ tăng tốc dựa trên NAND 3D – có thể tăng tốc một số quy trình suy diễn lên tới 8 lần với PCIe 5 tùy chỉnh.

Kioxia ra mắt SSD 0 với bộ nhớ flash 3D XL-Flash, cung cấp tới 3,5 triệu IOPS ngẫu nhiên. Công ty cũng giới thiệu SSD 122,88 TB mới với PCIe 5.0 LC9 sử dụng nhiều NAND QLC. Ngoài ra, Kioxia đang phát triển một SSD AI dựa trên bộ nhớ XL-Flash, dự kiến đạt hơn 10 triệu IOPS 512K và sẽ ra mắt vào nửa cuối năm sau, có thể đồng thời với nền tảng Vera Rubin của Nvidia.

Để đạt 100 triệu IOPS, có thể sử dụng nhiều SSD AI. Tuy nhiên, lãnh đạo SMI cho rằng việc đạt được 100 triệu IOPS trên một ổ đĩa đơn sử dụng NAND thông thường với chi phí và mức tiêu thụ điện hợp lý sẽ rất khó khăn, do đó có thể cần một loại bộ nhớ mới. Kuo cho biết họ đang tìm kiếm một sự thay đổi về phương tiện lưu trữ. Optane từng được coi là giải pháp lý tưởng, nhưng hiện đã không còn. Kioxia đang cố gắng phát triển XL-NAND và cải thiện hiệu suất của nó.

SanDisk đang cố gắng giới thiệu công nghệ Flash băng thông cao (HBF), nhưng tôi không thực sự tin tưởng vào điều đó. Hiện tại, mọi người đều đang quảng bá công nghệ riêng của mình, nhưng ngành công nghiệp cần một cái gì đó thật sự mới mẻ. Nếu không, sẽ rất khó để đạt được 100 triệu IOPS mà vẫn tiết kiệm chi phí. Hiện nay, nhiều công ty, bao gồm Micron và SanDisk, đang phát triển các loại bộ nhớ không bay hơi mới.

Tuy nhiên, thời điểm các loại bộ nhớ mới này có thể thương mại hóa vẫn là điều mà cả giám đốc Silicon Motion cũng chưa chắc chắn. Hãy theo dõi Toms Hardware trên Google News để nhận tin tức, phân tích và đánh giá mới nhất. Nhớ nhấn nút Theo dõi.

Nguồn: www.tomshardware.com/pc-components/ssds/smi-ceo-claims-nvidia-wants-ssds-with-100m-iops-up-to-33x-performance-uplift-could-eliminate-ai-gpu-bottlenecks