Khi các mô hình AI tiếp tục mở rộng quy mô, HBM có thể gặp khó khăn trong việc đáp ứng nhu cầu dung lượng bộ nhớ trong tương lai. Điều này khiến giới chuyên gia xem kiến trúc lưu trữ do GPU điều khiển là một hướng phát triển tiềm năng tiếp theo. Theo The Elec, NVIDIA và Amazon được cho là đang thúc đẩy các kiến trúc lưu trữ cho phép GPU trực tiếp kiểm soát các thiết bị lưu trữ như SSD.

NVIDIA được cho là có kế hoạch giới thiệu công nghệ GPU-Initiated Direct Storage Access (GIDS) bắt đầu từ nền tảng AI Vera Rubin. Đây được xem là bước chuyển quan trọng có thể thúc đẩy sự xuất hiện của high-bandwidth flash (HBF), theo nhận định từ báo cáo.

Dẫn lời giáo sư Song Ki-hwan thuộc Khoa Kỹ thuật Bán dẫn Hệ thống, Đại học Yonsei, báo cáo cho biết GIDS vượt xa kiến trúc GPU Direct Storage (GDS) hiện nay. Với GDS, CPU vẫn là bên gửi yêu cầu dữ liệu đến thiết bị lưu trữ trước khi dữ liệu được chuyển sang GPU. Trong khi đó, GIDS cho phép GPU truy cập trực tiếp vào thiết bị lưu trữ, bỏ qua CPU và DRAM.

Cả GIDS và GDS đều nhằm giải quyết nút thắt truyền dữ liệu vốn gắn liền với kiến trúc máy tính von Neumann truyền thống. Microsoft và AMD cũng được cho là đang nghiên cứu các hướng tiếp cận tương tự.

Báo cáo, tiếp tục dẫn lời giáo sư Song, cho biết phương thức truyền dữ liệu truyền thống kém hiệu quả do CPU bị giới hạn về mặt cấu trúc trong khả năng xử lý luồng, trong khi GPU có thể tạo ra hàng chục nghìn luồng song song. Ông cũng nhấn mạnh rằng việc truyền dữ liệu giữa GPU và HBM hiện đã chiếm khoảng một nửa tổng điện năng tiêu thụ của toàn hệ thống. Điều này càng củng cố lý do phát triển HBF, nơi NAND tốc độ siêu cao được đặt gần GPU hơn để giải quyết các điểm nghẽn AI trong tương lai.

GIDS có thể thúc đẩy HBF và mở rộng vai trò của NAND trong bộ nhớ AI

Sự xuất hiện của GIDS có thể giúp NAND đảm nhiệm vai trò lớn hơn trong các hệ thống bộ nhớ AI, đồng thời giảm áp lực lên dung lượng của HBM. Tuy nhiên, điều này đòi hỏi NAND flash phải đạt hiệu năng cao hơn để theo kịp tốc độ xử lý của GPU.

Một hướng tiếp cận đang được đề xuất là high-bandwidth flash (HBF), sử dụng cấu trúc xếp chồng NAND theo chiều dọc tương tự HBM và kết nối bằng công nghệ through-silicon vias (TSV).

Báo cáo cho biết NAND flash có mật độ bit cao gấp khoảng 30 lần DRAM, cho phép đạt dung lượng lớn hơn rất nhiều trên cùng diện tích. Theo giáo sư Song, việc kết hợp sáu cụm HBF với hai cụm HBM có thể nâng dung lượng bộ nhớ GPU lên hơn 16 lần, từ 192GB lên 3.120GB. Điều này có thể hỗ trợ các mô hình AI có số lượng tham số lớn gấp khoảng 16 lần so với kiến trúc hiện tại.

Tuy vậy, NAND flash vẫn tồn tại giới hạn về độ bền, thường chỉ hỗ trợ khoảng 100.000 chu kỳ ghi/xóa, trong khi DRAM gần như không giới hạn số lần ghi. Vì vậy, HBF được đánh giá phù hợp hơn với việc lưu trữ tham số mô hình AI, vốn hầu như không thay đổi trong quá trình suy luận và chủ yếu đóng vai trò dữ liệu chỉ đọc.

Trong khi đó, các nhà sản xuất bộ nhớ cũng đang tích cực nghiên cứu kiến trúc bộ nhớ do GPU điều khiển. Theo một báo cáo của Edaily năm ngoái, Samsung Electronics đang đẩy mạnh phát triển thế hệ Z-NAND hiệu năng cao mới. Công ty cũng được cho là đang phát triển công nghệ GIDS cho phép GPU truy cập trực tiếp vào các thiết bị lưu trữ dựa trên Z-NAND.

Nếu được triển khai thành công, GPU sẽ có thể truy cập trực tiếp vào Z-NAND mà không cần qua các tầng trung gian, từ đó rút ngắn đáng kể thời gian xử lý cho các tác vụ AI.