Trong thời gian gần đây, khi ngày càng nhiều hệ thống AI inference được triển khai ở quy mô lớn, một vấn đề chung dần lộ rõ. Dù ứng dụng rất khác nhau, từ chatbot, trợ lý doanh nghiệp đến tìm kiếm hay phân tích dữ liệu, các đội vận hành đều gặp cùng một thực tế: GPU ngày càng mạnh, nhưng hiệu năng inference lại không mở rộng tương xứng.

GPU ngày càng mạnh hơn, nhưng hiệu năng inference lại không tăng tương ứng. Hệ thống mở rộng chậm, chi phí tăng nhanh và rất khó tận dụng hết năng lực phần cứng. Nguyên nhân không còn nằm ở khả năng tính toán thuần túy, mà nằm ở bộ nhớ, cụ thể là Key-Value Cache, hay còn gọi là KV cache.

Trong bài viết này, chúng tôi phân tích vì sao KV cache đang trở thành điểm nghẽn chi phối AI inference hiện đại, vì sao các kiến trúc lấy GPU làm trung tâm đang dần chạm giới hạn, và vì sao hướng tiếp cận lấy bộ nhớ làm trung tâm mới là con đường bền vững.

AI inference đang chạm “bức tường bộ nhớ”

Với các mô hình ngôn ngữ lớn, inference ngày nay ngày càng bị giới hạn bởi dung lượng bộ nhớ hơn là thông lượng tính toán. Khi số tham số của mô hình tăng lên hàng chục, thậm chí hàng trăm tỷ, đồng thời context window ngày càng dài, nhu cầu về bộ nhớ tăng nhanh hơn rất nhiều so với năng lực compute.

HBM trên GPU, dù có băng thông cao, vẫn là tài nguyên cố định và đắt đỏ. Một khi dung lượng HBM bị chiếm đầy, GPU không thể xử lý thêm request mới, dù phần lớn năng lực tính toán vẫn còn trống. Inference vì thế bị “kẹt” không phải do GPU yếu, mà do không còn chỗ cho dữ liệu trung gian.

KV cache là gì và vì sao nó quan trọng?

KV cache lưu trữ các tensor trung gian gồm key và value của các layer attention, cho phép mô hình tái sử dụng kết quả đã tính ở những token trước đó. Nhờ cơ chế này, chi phí tính toán của inference giảm từ tăng theo bậc hai xuống tăng tuyến tính theo số token.

Tuy nhiên, lợi ích về compute lại phải đánh đổi bằng chi phí bộ nhớ rất lớn. Mỗi token mới được sinh ra sẽ làm KV cache phình thêm. Context càng dài, KV cache càng lớn. Mô hình càng nhiều layer, lượng memory cần cho KV cache càng tăng nhanh.

Nói cách khác, càng chạy inference liên tục, càng phục vụ nhiều request đồng thời, thì KV cache càng nhanh chóng chiếm hết dung lượng HBM trên GPU. Đây chính là lý do nhiều hệ thống inference phải giảm batch size, giới hạn context hoặc tăng số lượng GPU chỉ để giữ hệ thống hoạt động ổn định.

Vì sao kiến trúc lấy GPU làm trung tâm đang chạm giới hạn?

Phần lớn hệ thống inference hiện nay vẫn dựa trên kiến trúc lấy GPU làm trung tâm, nơi compute và bộ nhớ được đóng gói chặt chẽ trong từng GPU node. Cách tiếp cận này từng rất hiệu quả khi model nhỏ hơn và context ngắn hơn.

Nhưng với LLM hiện đại, GPU dần bị biến thành “kho chứa KV cache” hơn là một bộ xử lý tính toán thuần túy. Dung lượng HBM cố định buộc hệ thống phải scale theo kiểu nhân bản GPU, thay vì mở rộng linh hoạt theo nhu cầu bộ nhớ thực tế.

Điều này dẫn tới một nghịch lý quen thuộc. Doanh nghiệp đầu tư thêm GPU đắt tiền, nhưng không phải để tăng throughput, mà chỉ để có thêm chỗ chứa KV cache. Hiệu suất sử dụng GPU giảm, chi phí inference trên mỗi token tăng, và việc mở rộng quy mô ngày càng kém hiệu quả.

KV cache là nút thắt mới của inference AI

KV cache không phải là một chi tiết kỹ thuật phụ. Nó đã trở thành yếu tố chi phối trực tiếp khả năng scale, chi phí và hiệu quả của AI inference hiện đại. Khi model lớn hơn và context dài hơn, bài toán không còn là “có đủ GPU hay không”, mà là “có đủ bộ nhớ cho KV cache hay không”.

Trong bối cảnh đó, việc tiếp tục mở rộng bằng kiến trúc lấy GPU làm trung tâm chỉ làm lặp lại những giới hạn cũ với chi phí ngày càng cao. Hướng đi bền vững hơn là tách rời bộ nhớ khỏi GPU, biến memory thành tài nguyên dùng chung, có thể cấp phát linh hoạt theo workload.

Tách rời bộ nhớ không chỉ giải phóng GPU khỏi vai trò “chứa cache”, mà còn mở ra khả năng scale inference theo cách hiệu quả hơn, kiểm soát chi phí tốt hơn và sẵn sàng cho thế hệ mô hình AI tiếp theo.