Bộ nhớ HBF mới của Sandisk cho phép 4TB VRAM trên GPUS

Vào thứ Tư, SanDisk đã giới thiệu một loại bộ nhớ mới thú vị, kết hợp khả năng lưu trữ của 3D NAND với băng thông cực cao từ bộ nhớ băng thông cao (HBM). Bộ nhớ flash băng thông cao HBF của SanDisk cho phép truy cập đồng thời nhiều mảng 3D NAND dung lượng lớn, mang lại băng thông và dung lượng phong phú. Công ty định vị HBF như một giải pháp cho các ứng dụng suy luận AI cần băng thông và dung lượng cao cùng với yêu cầu tiêu thụ điện năng thấp.

HBF thế hệ đầu tiên có thể cung cấp dung lượng VRAM lên đến 4TB cho GPU, và sẽ có khả năng cao hơn trong các phiên bản sau. SanDisk dự đoán công nghệ này sẽ được áp dụng cho điện thoại di động và các thiết bị khác. Công ty chưa công bố ngày phát hành. Alper Ilkbahar, giám đốc công nghệ bộ nhớ của SanDisk, cho biết: "Chúng tôi gọi đây là công nghệ HBF để bổ sung cho bộ nhớ HBM cho các tác vụ suy luận AI, với băng thông tương đương HBM và dung lượng gấp 8 đến 16 lần ở mức chi phí tương tự."

HBF tương tự như HBM, tích hợp nhiều chip flash hiệu suất cao và dung lượng lớn thông qua các liên kết TSV trên một chip logic để truy cập song song vào các mảng flash. Kiến trúc cơ bản của HBF là BICS 3D NAND của SanDisk, kết hợp một mảng bộ nhớ 3D NAND trên một chip IO sử dụng công nghệ quy trình logic.

Logic này có thể là chìa khóa để phát triển HBF. Chúng tôi đã thách thức các kỹ sư và hỏi họ có thể làm gì khác với khả năng mở rộng này, Alper Ilkbahar cho biết. Câu trả lời là chuyển sang kiến trúc chia nhỏ mảng lớn thành nhiều mảng nhỏ và truy cập các mảng này song song. Khi làm như vậy, chúng ta có được băng thông lớn. Giờ đây, chúng ta có thể xây dựng băng thông cao cho flash.

Hình ảnh từ SanDisk cho thấy thiết kế chip NAND truyền thống thường chia bộ nhớ NAND flash thành các mặt phẳng, trang và khối. Khối là khu vực có thể xóa nhỏ nhất, còn trang là khu vực có thể ghi nhỏ nhất. HBF dường như chia chip thành nhiều mảng khác nhau để có thể truy cập đồng thời. Mỗi mảng con với các trang và khối riêng sẽ có đường dẫn đọc-ghi riêng. Mặc dù điều này giống với cách hoạt động của thiết bị NAND đa mặt phẳng, nhưng ý tưởng HBF dường như vượt xa điều đó.

Hiện tại, SanDisk cho biết thế hệ 1 của HBF sẽ sử dụng 16 chip HBF. Để hỗ trợ các thiết bị này, SanDisk đã phát minh ra công nghệ xếp chồng độc quyền với độ cong tối thiểu, cho phép xếp chồng 16 chip HBF, cùng với một chip logic có thể truy cập dữ liệu từ nhiều chip HBF cùng lúc. Độ phức tạp của chip logic này sẽ cao hơn so với một bộ điều khiển SSD thông thường.

Rất tiếc, SanDisk không công bố số liệu hiệu suất thực tế của các sản phẩm HBF, vì vậy chúng ta chỉ có thể tự hỏi liệu HBF có đạt được hiệu suất mỗi ngăn xếp như HBM 128 GB ban đầu hay HBM3E mới, cung cấp 1 TB mỗi ngăn xếp trong trường hợp của Nvidia B200. Theo thông tin từ SanDisk, tám ngăn xếp HBF có tổng dung lượng 4 TB NAND, nghĩa là mỗi ngăn xếp có thể lưu trữ 512 GB, gấp 21 lần so với một ngăn xếp HBM3E 8-Hi có dung lượng 24 GB.

Mạch HBF 16-Hi 512 GB có nghĩa là mỗi lõi HBF là một thiết bị 3D NAND 256 Gb với logic phức tạp cho phép song song ở cấp die. Việc xử lý hàng trăm gigabyte dữ liệu mỗi giây từ 16 IC 3D NAND là một thách thức lớn, và chúng ta chỉ có thể tự hỏi SanDisk đã đạt được điều này như thế nào. Tuy nhiên, HBF sẽ không bao giờ đạt được độ trễ per-bit như DRAM, vì vậy SanDisk nhấn mạnh rằng sản phẩm HBF được thiết kế cho các ứng dụng đọc dữ liệu nhiều và có băng thông cao, như các tập dữ liệu AI lớn.

Đối với nhiều tác vụ suy diễn AI, yếu tố quan trọng là thông lượng cao với chi phí hợp lý hơn là độ trễ siêu thấp mà HBM hoặc các loại DRAM khác cung cấp. Do đó, mặc dù HBF có thể không thay thế HBM trong thời gian gần, nhưng nó có thể chiếm thị trường cần dung lượng lớn, băng thông cao với chi phí giống như NAND nhưng không yêu cầu độ trễ siêu thấp. Để đơn giản hóa việc chuyển đổi từ HBM, HBF có cùng giao diện điện nhưng có một số thay đổi về giao thức, mặc dù HBF không hoàn toàn tương thích với HBM.

Chúng tôi đã cố gắng làm cho nó gần gũi nhất có thể về mặt cơ khí và điện, nhưng sẽ cần một số thay đổi nhỏ về giao thức tại các thiết bị chủ, Ilkbahar cho biết. SanDisk không đề cập đến độ bền ghi. NAND có tuổi thọ hữu hạn và chỉ chịu đựng được một số lượng ghi nhất định. Trong khi công nghệ SLC và pSLC có độ bền cao hơn so với TLC và QLC NAND được sử dụng trong SSD tiêu dùng, điều này lại ảnh hưởng đến dung lượng và tăng chi phí.

NAND thường được ghi theo khối, trong khi bộ nhớ có thể truy cập theo bit, đây là một thách thức lớn. SanDisk có kế hoạch phát triển HBF qua ba thế hệ, nhưng hiện tại HBF vẫn đang trong quá trình hoàn thiện. SanDisk mong muốn HBF trở thành một tiêu chuẩn mở với hệ sinh thái mở, vì vậy họ đang thành lập một hội đồng tư vấn kỹ thuật gồm các chuyên gia và đối tác trong ngành.

Nguồn: www.tomshardware.com/pc-components/dram/sandisks-new-hbf-memory-enables-up-to-4tb-of-vram-on-gpus-matches-hbm-bandwidth-at-higher-capacity