Hot Chips 2026: Samsung, SK Hynix tìm cách phá giới hạn bộ nhớ AI

Khác với các triển lãm thiên về sản phẩm, Hot Chips tập trung sâu vào kiến trúc chip, thiết kế hệ thống, bộ nhớ, đóng gói và những công nghệ quyết định năng lực tính toán của thế hệ máy chủ tiếp theo. Sự kiện năm nay diễn ra tại hội trường lớn Memorial Auditorium thuộc Đại học Stanford (bang California, Mỹ).

Xem thêm: Hot Chips 2026: Nvidia, AMD, Intel định hình chip AI thế hệ mới

Samsung đưa khả năng tính toán đến gần dữ liệu hơn

Nếu Nvidia, AMD và Intel chủ yếu cạnh tranh bằng các chip ngày càng mạnh, Samsung lại tập trung vào một điểm nghẽn khác của AI: Khả năng đưa dữ liệu đến nơi cần xử lí đủ nhanh. Khi các mô hình AI ngày càng lớn, việc truyền dữ liệu qua lại giữa bộ nhớ và CPU hoặc GPU có thể tiêu tốn nhiều thời gian cũng như điện năng, làm giảm hiệu quả của toàn hệ thống.

Tại Hot Chips 2026, Samsung trình bày LPDDR5X-PIM, phiên bản LPDDR5X được tích hợp thêm khả năng thực hiện một số phép tính ngay bên trong bộ nhớ. PIM là viết tắt của Processing-in-Memory, có thể hiểu đơn giản là xử lí ngay tại nơi lưu trữ dữ liệu.

Trong một thử nghiệm với mô hình Llama 3.1 8B, Samsung cho biết LPDDR5X-PIM giúp tốc độ tạo token tăng khoảng 3 lần, còn thời gian hoàn thành tác vụ giảm khoảng 2,28 lần so với LPDDR5X thông thường.

Với cách thiết kế truyền thống, dữ liệu phải được chuyển từ bộ nhớ sang CPU hoặc GPU để tính toán, sau đó kết quả lại được chuyển về. Quá trình này giống như phải liên tục mang nguyên liệu từ kho đến nhà máy rồi đưa thành phẩm trở lại kho. Khi lượng dữ liệu tăng lên rất lớn, việc vận chuyển trở thành một phần đáng kể của thời gian và điện năng tiêu thụ.

LPDDR5X-PIM tìm cách rút ngắn quãng đường đó. Thay vì đưa toàn bộ dữ liệu đến CPU hoặc GPU, một số phép tính có thể được thực hiện ngay trong hoặc gần khu vực lưu trữ. Nhờ vậy, lượng dữ liệu phải di chuyển giảm xuống, qua đó có thể cải thiện tốc độ và tiết kiệm năng lượng trong những tác vụ phù hợp.

Samsung cũng đang tìm cách làm cho phần đế của HBM (bộ nhớ băng thông cao) thông minh hơn. Đây là lớp nằm dưới các chip DRAM xếp chồng, chịu trách nhiệm kết nối bộ nhớ với bộ xử lí. Công ty Hàn Quốc muốn sử dụng các công nghệ logic tiên tiến để đưa thêm chức năng vào base die, qua đó giảm diện tích dành cho các mạch kết nối và mở thêm không gian cho những chức năng khác.

Về dài hạn, Samsung còn theo đuổi zHBM, kiến trúc 3D trong đó HBM được xếp trực tiếp lên bộ tăng tốc AI thay vì đặt cạnh bộ xử lí như thiết kế 2.5D hiện nay. Mục tiêu là rút ngắn khoảng cách truyền dữ liệu, giảm điện năng dành cho việc di chuyển dữ liệu và tăng mật độ kết nối giữa bộ nhớ với bộ xử lí.

Nếu HBM truyền thống chủ yếu đảm nhiệm việc cung cấp dữ liệu với tốc độ rất cao cho GPU hoặc bộ tăng tốc AI, ý tưởng của Samsung là biến phần đế này thành một thành phần thông minh hơn, có thể đảm nhiệm thêm một số công việc tính toán hoặc chức năng tùy biến. Điều đó có thể giúp rút ngắn hơn nữa khoảng cách giữa nơi dữ liệu được lưu trữ và xử lí.

Hướng đi này cho thấy cuộc đua bộ nhớ AI đang thay đổi. Các nhà sản xuất không chỉ tìm cách tăng dung lượng và băng thông, mà còn tìm cách làm cho bộ nhớ tham gia trực tiếp hơn vào quá trình tính toán.

Về lâu dài, nếu những công nghệ như PIM và zHBM được triển khai hiệu quả ở quy mô lớn, ranh giới giữa “bộ nhớ để lưu trữ dữ liệu” và “bộ xử lí dữ liệu” có thể ngày càng trở nên mờ nhạt. Đây có thể là một hướng phát triển quan trọng của hạ tầng AI trong những thế hệ chip sắp tới.

SK Hynix: HBM tiến gần giới hạn vật lí

Nếu Samsung đang tìm cách đưa thêm khả năng xử lí vào HBM, SK Hynix lại tập trung vào một bài toán khác: Làm thế nào để tiếp tục tăng dung lượng bộ nhớ mà không khiến các chip HBM trở nên quá cao, quá nóng hoặc khó sản xuất?

Tại Hot Chips 2026, SK Hynix cho thấy chiều cao của các cụm chip HBM đang trở thành một vấn đề đáng lo ngại. Khi số lớp chip tăng lên, toàn bộ cụm bộ nhớ cũng cao hơn. Theo SK Hynix, chiều cao tổng thể của một cụm HBM hiện đã tiến gần mức 775 micromet, trở thành một giới hạn quan trọng với việc tiếp tục xếp thêm các lớp chip nhớ.

Vấn đề không chỉ nằm ở chiều cao. Càng có nhiều lớp chip, nhiệt càng khó thoát ra ngoài, trong khi các bộ xử lí AI ngày càng tiêu thụ nhiều điện và tạo ra nhiều nhiệt. Cụm HBM cũng phải đủ chắc chắn để hoạt động ổn định trong thời gian dài và đủ chính xác để có thể sản xuất hàng loạt với tỉ lệ chip đạt chuẩn cao.

Hiện SK Hynix vẫn sử dụng MR-MUF, công nghệ đóng gói trong đó vật liệu đúc được sử dụng để lấp đầy và bảo vệ khoảng trống giữa các lớp chip. Công nghệ này giúp SK Hynix tiếp tục tăng số lớp HBM trong những thế hệ hiện tại mà không phải thay đổi hoàn toàn quy trình sản xuất.

Tuy nhiên, khi HBM tiếp tục phát triển, các công nghệ mới sẽ trở nên cần thiết. Một trong số đó là hybrid bonding, hay "kết nối lai". Hiểu đơn giản, công nghệ này cho phép gắn trực tiếp các lớp chip với nhau, tạo kết nối ngắn và nhỏ hơn so với phương pháp sử dụng các mối nối truyền thống. Nhờ vậy, nhà sản xuất có thể giảm độ dày của cả cụm HBM và cải thiện khả năng truyền dữ liệu cũng như tản nhiệt.

Tuy nhiên, SK Hynix cho biết hybrid bonding khó trở thành công nghệ chủ đạo ngay từ HBM4E và nhiều khả năng sẽ đóng vai trò lớn hơn ở các thế hệ HBM sau đó, đặc biệt là HBM5.

Điều này cho thấy cuộc đua HBM không còn đơn giản là hãng nào tạo ra bộ nhớ có dung lượng lớn hơn hoặc băng thông cao hơn. Khi AI ngày càng cần nhiều bộ nhớ hơn, các nhà sản xuất phải đồng thời giải quyết hàng loạt bài toán về xếp chồng chip, độ dày, tản nhiệt, độ ổn định và khả năng sản xuất với số lượng lớn.

Đây cũng là lí do HBM ngày càng trở nên quan trọng với ngành AI. Một GPU mạnh đến đâu cũng khó phát huy hết năng lực nếu không có bộ nhớ đủ nhanh để cung cấp dữ liệu. Khi các mô hình AI tiếp tục lớn lên, HBM đang từ linh kiện hỗ trợ GPU trở thành một trong những yếu tố quyết định hiệu năng và chi phí của toàn bộ hệ thống AI.

IBM đưa Arm vào mainframe

IBM gây chú ý tại Hot Chips 2026 với thiết kế bộ xử lí mainframe hai kiến trúc (dual-ISA), cho phép cùng một lõi CPU thực thi nguyên bản cả tập lệnh z/Architecture của IBM và Arm AArch64.

Điều này mở ra khả năng chạy Linux dành cho Arm ngay trên các hệ thống IBM Z và LinuxONE, bên cạnh các hệ điều hành và ứng dụng hiện có như z/OS và Linux trên kiến trúc IBM Z. Nói đơn giản, doanh nghiệp có thể tiếp tục sử dụng những ứng dụng quan trọng đang chạy trên mainframe, đồng thời đưa vào các phần mềm được phát triển cho hệ sinh thái Arm mà không cần xây dựng một hệ thống Arm riêng.

Đây là thay đổi đáng chú ý bởi Arm hiện có một hệ sinh thái phần mềm rất lớn, đặc biệt trong điện toán đám mây, ứng dụng gốc đám mây và AI. IBM cho biết hệ sinh thái phần mềm Arm có hơn 22 triệu nhà phát triển trên toàn cầu. Việc hỗ trợ Arm trực tiếp trên IBM Z vì thế có thể giúp khách hàng tiếp cận nhiều phần mềm và công cụ mới hơn, trong khi vẫn tận dụng những thế mạnh truyền thống của mainframe như độ tin cậy cao, bảo mật, khả năng phục hồi và xử lí khối lượng giao dịch lớn.

Về phần cứng, bộ xử lí mới được IBM thiết kế trên quy trình 2 nanomet, có 11 lõi hiệu năng cao với tốc độ trên 5,7GHz. Mỗi lõi có thể thực thi cả lệnh IBM Z và AArch64, đồng thời bộ xử lí được trang bị kiến trúc bộ nhớ đệm lớn. Theo thông tin được trình bày tại Hot Chips 2026, mỗi lõi có 36 MB bộ nhớ đệm L2 riêng, sau đó được kết hợp thành bộ nhớ đệm L3 ảo 432 MB và L4 ảo có thể lên tới 3,5 GB.

IBM không chỉ bổ sung khả năng chạy Arm. Bộ xử lí mainframe dual-ISA của IBM tích hợp bộ tăng tốc AI, bộ xử lí dữ liệu dành cho các tác vụ vào/ra, cùng các bộ tăng tốc chuyên dụng cho mã hóa, nén dữ liệu và sắp xếp dữ liệu. Đáng chú ý, bộ tăng tốc AI được hướng đến những tác vụ như phát hiện gian lận ngay trong quá trình xử lí giao dịch, thay vì phải chuyển dữ liệu sang một hệ thống AI bên ngoài.

Một điểm quan trọng khác là các tính năng phần cứng của IBM Z cũng được mở rộng cho những ứng dụng Arm. Khi chạy Linux trên Arm, các chức năng như mã hóa, nén GZIP và tăng tốc AI có thể được hệ điều hành Linux sử dụng như các thiết bị phần cứng. Nhờ đó, ứng dụng Arm không chỉ được chạy trên CPU mainframe mà còn có thể tận dụng nhiều bộ tăng tốc vốn được thiết kế cho môi trường IBM Z.

IBM còn thiết kế hệ thống để Linux trên kiến trúc Arm64 và Linux trên IBM Z có thể cùng tồn tại với z/OS thông qua các lớp ảo hóa như KVM và OpenShift Virtualization. Điều này cho phép doanh nghiệp phân bổ những loại ứng dụng khác nhau trên cùng một hạ tầng, thay vì phải duy trì các hệ thống riêng biệt cho từng kiến trúc.

Nếu nhìn rộng hơn, đây là cách IBM tìm cách giải quyết một bài toán chiến lược: Làm thế nào để mainframe không bị tách khỏi hệ sinh thái phần mềm đang chuyển nhanh sang Arm. Thay vì yêu cầu khách hàng lựa chọn giữa nền tảng IBM Z và Arm, IBM đang tìm cách đưa hai hệ sinh thái vào cùng một bộ xử lí. Doanh nghiệp vẫn có thể giữ các ứng dụng và cơ sở dữ liệu quan trọng trên mainframe, nhưng đồng thời triển khai những ứng dụng Linux mới được xây dựng cho Arm trên chính hạ tầng đó.

Điểm đáng chú ý là thiết kế này không đơn thuần là đưa một CPU Arm vào mainframe. IBM đang thay đổi chính lõi xử lí để hiểu và thực thi hai tập lệnh. Đây là một cách tiếp cận phức tạp hơn, nhưng đổi lại, phần mềm Arm có thể chạy trên một môi trường mainframe thực sự thay vì thông qua một lớp chuyển đổi trung gian.

Nói đơn giản, IBM đang cố gắng biến mainframe từ một nền tảng chủ yếu phục vụ hệ sinh thái IBM Z thành một hệ thống có thể đứng giữa hai thế giới: Vừa giữ được độ tin cậy và khả năng xử lí giao dịch của IBM Z, vừa mở cửa cho hệ sinh thái phần mềm Arm đang phát triển mạnh.

Sơn Vân