AMD: Không cần mua nhiều DRAM, nhờ công nghệ mới

Chiêu tiếp thị mới của AMD: Máy chủ có thể đạt tới 99% hiệu năng nhưng chỉ cần một nửa dung lượng DRAM thông thường, với điều kiện khách hàng mua thêm giấy phép sử dụng phần mềm MEXT cùng máy chủ Epyc mới.

Công nghệ này sử dụng các mô hình AI để chuyển những vùng dữ liệu ít được truy cập khỏi DRAM sang ổ SSD NVMe có giá rẻ hơn, rồi đưa chúng trở lại DRAM trước khi hệ điều hành hoặc ứng dụng cần đến. Cách làm này tương tự cơ chế hoán đổi bộ nhớ SWAP hoặc page file trên Windows, nhưng thông minh hơn.

AMD mua lại công nghệ của MEXT hồi tháng 6. Theo Gary Smerdon - cựu giám đốc điều hành MEXT và hiện là phó chủ tịch phụ trách phát triển kinh doanh tại AMD, công nghệ này có thể giúp doanh nghiệp giảm tới 83% chi phí máy chủ nhờ thay thế một phần DRAM đắt tiền bằng bộ nhớ flash

Trong số 145 hệ thống đầu tiên được triển khai công nghệ MEXT, ông ước tính khách hàng đã tiết kiệm được 5 triệu USD nhờ giảm chi phí mua DRAM.

“Ở những hệ thống máy chủ có dung lượng bộ nhớ rất lớn, chi phí bộ nhớ có thể chiếm 60%, 70%, thậm chí 80% hoặc 90% tổng chi phí máy chủ”, Gary Smerdon giải thích.

AI cứu nguy cho bài toán bộ nhớ

Ngay cả ở những hệ thống sử dụng bộ nhớ ở mức cao, chẳng hạn 95% dung lượng được đánh dấu là “đang sử dụng”, vẫn có nhiều vùng nhớ thực tế không được truy cập thường xuyên, Gary Smerdon cho biết.

Ông dẫn một nghiên cứu của Meta cho thấy 50 - 80% các trang bộ nhớ không được truy cập trong ít nhất 5 phút, 10 phút hoặc thậm chí lâu hơn.

“5 phút với một hệ thống Epyc là cả một khoảng thời gian dài”, Gary Smerdon nói.

Công nghệ MEXT hướng đến việc chuyển những vùng nhớ ít được truy cập này sang bộ nhớ flash. Song theo Gary Smerdon, bài toán nằm ở chỗ bộ nhớ flash có chi phí trên mỗi bit thấp hơn 50 lần và mức tiêu thụ điện trên mỗi bit thấp hơn 30 lần so với DRAM, nhưng tốc độ lại chậm hơn tới 500 lần.

Đây cũng là lý do phần lớn doanh nghiệp khi thiết lập máy chủ hoặc môi trường đám mây riêng ảo (VPC) thường cố gắng tránh sử dụng ổ đĩa để thay thế RAM. Việc này có thể khiến ứng dụng chạy chậm đáng kể, đồng thời làm doanh nghiệp khó đáp ứng các cam kết về chất lượng dịch vụ.

Vì vậy, để công nghệ MEXT hoạt động hiệu quả, hệ thống phải bảo đảm mọi vùng nhớ được chuyển sang bộ lưu trữ đều quay trở lại DRAM trước khi ứng dụng cần sử dụng.

Có thể hình dung việc này giống như một nhân viên tranh thủ ra ngoài giải quyết công việc riêng giữa giờ làm. Chỉ cần nhân viên quay lại bàn làm việc trước khi sếp cần đến, sếp sẽ không biết người đó đã rời đi.

Vấn đề là chữ “R” trong DRAM có nghĩa là ngẫu nhiên (random). Việc dự đoán chính xác hệ thống sẽ cần đến vùng nhớ nào và vào thời điểm nào không hề đơn giản.

AI là giải pháp của AMD

“Chúng tôi nhận ra có thể sử dụng AI để theo dõi hệ thống và chủ động đưa các vùng nhớ đó trở lại DRAM. Nhờ vậy, với ứng dụng hoặc hệ điều hành, những dữ liệu này dường như vẫn luôn nằm trong DRAM. Nói cách khác, chúng tôi khiến bộ nhớ flash hoạt động như thể đó là DRAM mà người dùng không nhận ra sự khác biệt”, Gary Smerdon lý giải.

Theo cách này, thay vì phải mua 2 TB DRAM cho máy chủ chạy chip Epyc, khách hàng có thể chỉ cần mua 1 TB DRAM. Phần 1 TB DRAM còn lại sẽ được thay thế bằng giải pháp MEXT.

Để thực hiện điều đó, MEXT của AMD sử dụng một số thuật toán học máy.

“Mô hình AIchủ lực ở đây là một biến thể của kiến trúc Transformer, tương tự công nghệ đứng sau ChatGPT, Claude... Song thay vì dự đoán từ tiếp theo trong một đoạn văn bản, chúng tôi dự đoán trang bộ nhớ nào sẽ được hệ thống cần đến tiếp theo”, ông giải thích.

Gary Smerdon cho biết các trang bộ nhớ không nhất thiết phải được đưa trở lại DRAM theo đúng thứ tự. Điều quan trọng là chúng phải có mặt trong DRAM trước khi được hệ thống yêu cầu.

Việc huấn luyện mô hình AI để dự đoán chính xác cách hệ thống truy cập bộ nhớ cũng đặt ra những thách thức riêng. Vì vậy, theo Gary Smerdon, việc huấn luyện sẵn mô hình AI trước khi triển khai là không thực tế.

Thay vào đó, AMD sử dụng một lõi CPU Epyc để huấn luyện mô hình AI trong chưa đầy một giây. Sau đó, mô hình AI tiếp tục được tinh chỉnh và huấn luyện lại theo thời gian cho đến khi có thể dự đoán chính xác dữ liệu nào cần được đưa trở lại DRAM và thời điểm cần đưa chúng trở lại.

Gary Smerdon nhấn mạnh toàn bộ quá trình huấn luyện này diễn ra ngay trên lõi CPU, không cần đến GPU. Điều đó có nghĩa gần như mọi khách hàng đang sử dụng dòng chip Epyc đều có thể tận dụng nền tảng phần mềm này.

Dù không cần GPU, cần lưu ý rằng trong môi trường ảo hóa, phần mềm đòi hỏi một lõi CPU cho mỗi máy ảo hoặc môi trường đám mây riêng ảo. Vì thế, tài nguyên CPU tiêu tốn cho phần mềm sẽ tăng theo số lượng máy ảo. Các môi trường chạy ứng dụng bằng container có lẽ không gặp giới hạn tương tự.

Đạt 99% hiệu năng nhưng chỉ cần một nửa dung lượng DRAM

Theo AMD, công nghệ này thực sự phát huy hiệu quả trong các thử nghiệm.

Ban đầu, Gary Smerdon cho biết công ty tập trung vào những ứng dụng cần rất nhiều bộ nhớ, chẳng hạn phần mềm tự động hóa thiết kế điện tử (EDA) và sáng tạo nội dung. Sau đó, AMD mở rộng khả năng hỗ trợ sang những ứng dụng nhạy cảm với độ trễ, như cơ sở dữ liệu và các quy trình vận hành tác tử AI.

“Khi các trang bộ nhớ ít được sử dụng, chúng tôi có thể chuyển chúng sang bộ nhớ flash mà gần như không ảnh hưởng đến hiệu năng”, ông nói.

Tuy nhiên, nhận định này của Gary Smerdon có phần hơi lạc quan. Tùy thuộc vào từng ứng dụng và lượng dữ liệu được chuyển từ DRAM sang bộ nhớ flash, hệ thống vẫn có thể bị giảm hiệu năng.

Theo kết quả thử nghiệm với bộ công cụ thiết kế điện tử PrimeTime của Synopsys, ông cho biết MEXT có thể chuyển một nửa dung lượng bộ nhớ sang flash mà hệ thống vẫn đạt 95% hiệu năng so với cấu hình chỉ sử dụng DRAM.

Khi sử dụng 25% DRAM kết hợp với 75% bộ nhớ flash, hiệu năng giảm xuống còn 80% so với cấu hình chỉ sử dụng DRAM trong các thử nghiệm của AMD.

Các công cụ EDA đòi hỏi rất nhiều bộ nhớ, nhưng lượng dữ liệu mà các lõi xử lý thực sự làm việc tại một thời điểm thường chỉ được tính bằng MB. Đây là một trong những lý do chip Epyc X của AMD vẫn được khách hàng trong lĩnh vực EDA ưa chuộng và cũng là lý do MEXT ban đầu nhắm đến nhóm ứng dụng này.

Trong những trường hợp khác, chẳng hạn nền tảng xử lý dữ liệu Apache Spark, nhóm phát triển MEXT của AMD cho biết hệ thống vẫn đạt 99% hiệu năng ngay cả khi một nửa dung lượng DRAM được thay thế bằng bộ nhớ flash.

Dù việc triển khai công nghệ này có thể khiến hiệu năng giảm đôi chút, AMD tin rằng khách hàng sẵn sàng chấp nhận sự đánh đổi đó để tiết kiệm đáng kể chi phí DRAM. Nguồn cung bộ nhớ hiện vẫn chịu sức ép lớn do làn sóng xây dựng các trung tâm dữ liệu AI.

AMD đang tích hợp MEXT vào danh mục giải pháp dành cho doanh nghiệp. Theo hãng chip Mỹ, phần mềm này sẽ chỉ hoạt động trên phần cứng AMD và được cung cấp theo hình thức cấp phép, thông qua các đối tác sản xuất thiết bị gốc (OEM).

Với những hệ thống chạy Linux, khách hàng chỉ cần cài đặt một trình điều khiển dành cho nhân hệ điều hành (kernel driver) để sử dụng phần mềm. AMD cũng cung cấp riêng ứng dụng RAM View nhằm giúp doanh nghiệp xác định hệ thống và khối lượng công việc nào nên kích hoạt MEXT.

AMD cho biết hiện công ty đang ở giai đoạn đầu triển khai MEXT. Trong giai đoạn này, AMD hợp tác với các nhà sản xuất thiết bị như HPE (Hewlett Packard Enterprise) để bảo đảm những hệ thống mới được thiết kế sẵn khả năng tương thích với MEXT.

Sang giai đoạn hai, AMD đặt mục tiêu bắt đầu bán giấy phép phần mềm và xuất xưởng các nền tảng Epyc được cài đặt sẵn ứng dụng RAM View.