Nvidia, Qualcomm tranh giành vị trí đầu bảng trong các bài kiểm tra hiệu suất chip AI

Nvidia thống trị thị trường chip huấn luyện mô hình trí tuệ nhân tạo (AI) với lượng dữ liệu khổng lồ. Sau khi được huấn luyện, các mô hình AI này được sử dụng rộng rãi trong những nhiệm vụ "suy luận" bằng cách thực hiện các tác vụ như tạo ra câu trả lời văn bản cho các câu hỏi và quyết định liệu một hình ảnh có chứa con vật hay không.

Các nhà phân tích tin rằng thị trường chip truy vấn trung tâm dữ liệu sẽ phát triển nhanh chóng khi các doanh nghiệp đưa công nghệ AI vào sản phẩm của họ, nhưng các công ty như Google đã tìm ra cách hạn chế chi phí phát sinh.

Một trong những chi phí lớn là điện. Qualcomm đã sử dụng lịch sử thiết kế chip cho các thiết bị chạy bằng pin như smartphone để tạo ra chip Cloud AI 100 nhằm mục đích tiêu thụ điện tiết kiệm.

Trong dữ liệu kiểm tra được công bố hôm 5.4 bởi MLCommons, liên minh kỹ thuật giữ các tiêu chuẩn kiểm tra phổ biến trong ngành chip AI, chip Cloud AI 100 của Qualcomm đã vượt qua chip H100 của Nvidia trong việc phân loại hình ảnh, dựa trên số lượng truy vấn máy chủ trung tâm dữ liệu mà mỗi chip có thể thực hiện trên mỗi watt. Cụ thể hơn, Cloud AI 100 đạt 197,6 truy vấn máy chủ trên mỗi watt so với 108,4 truy vấn trên mỗi watt của H100.

Chip của Neuchips, công ty khởi nghiệp được thành lập bởi Youn-Long Lin (giáo sư về chip kỳ cựu người Đài Loan), đã chiếm vị trí dẫn đầu với 227 truy vấn trên mỗi watt.

Cloud AI 100 cũng đánh bại H100 ở khả năng phát hiện đối tượng với số điểm là 3,2 truy vấn trên mỗi watt so với 2,4 truy vấn trên mỗi watt. Tính năng phát hiện đối tượng có thể được sử dụng trong các ứng dụng như phân tích cảnh quay từ các cửa hàng bán lẻ để xem nơi người mua sắm thường lui tới nhất.

Tuy nhiên trong một bài kiểm tra xử lý ngôn ngữ tự nhiên - công nghệ AI được sử dụng rộng rãi nhất trong các hệ thống như chatbot, chip Nvidia đã đứng đầu cả về hiệu suất tuyệt đối và hiệu quả tiết kiệm năng lượng.

H100 đạt 10,8 mẫu trên mỗi watt, trong khi chip Neuchips đứng thứ hai với 8,9 mẫu trên mỗi watt và Cloud AI 100 ở vị trí thứ ba với 7,5 mẫu trên mỗi watt.

Hôm 4.4, Google đã công bố thông tin mới chi tiết về siêu máy tính mà công ty sử dụng để huấn luyện các mô hình AI. Google cho biết các siêu máy tính này vừa nhanh hơn vừa tiết kiệm năng lượng hơn hệ thống tương đương của Nvidia.

Gã khổng lồ công nghệ đã thiết kế chip tùy chỉnh của riêng mình là Tensor Processing Unit (TPU). Google sử dụng những con chip đó cho hơn 90% công việc của công ty về đào tạo trí tuệ nhân tạo (AI), quy trình cung cấp dữ liệu thông qua các mô hình để làm cho chúng hữu ích trong các tác vụ như trả lời truy vấn bằng văn bản giống con người hoặc tạo hình ảnh. TPU của Google đang ở thế hệ thứ tư.

Hôm 4.4, Google đã xuất bản bài viết khoa học mô tả chi tiết cách họ kết nối hơn 4.000 chip lại với nhau thành một siêu máy tính, bằng cách sử dụng các công tắc quang học do chính họ phát triển để giúp kết nối các máy tính với nhau.

Cải thiện các kết nối này đã trở thành điểm cạnh tranh chính giữa các công ty chế tạo siêu máy tính AI vì các mô hình ngôn ngữ lớn (làm nền tảng cho Google Bard hay ChatGPT của OpenAI) đã tăng đáng kể về kích thước, nghĩa là quá lớn để lưu trữ trên một con chip duy nhất.

Các mô hình ngôn ngữ lớn được lưu trữ trên hàng ngàn chip thay vì một chip duy nhất. Sau đó, các chip này phải làm việc cùng nhau trong vài tuần hoặc hơn nữa để huấn luyện mô hình ngôn ngữ lớn.

Mô hình PaLM của Google (mô hình ngôn ngữ lớn nhất mà công ty công bố công khai đến thời điểm này) được huấn luyện trong hơn 50 ngày bằng cách chia nó và đặt trên hai siêu máy tính có 4.000 chip.

Google nói các siêu máy tính của họ giúp dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp tránh các sự cố và tinh chỉnh được để đạt hiệu suất tốt hơn.

"Chuyển mạch giúp dễ dàng định tuyến xung quanh các thành phần bị lỗi. Tính linh hoạt này cho phép chúng tôi thay đổi cấu trúc liên kết siêu máy tính để tăng hiệu suất của mô hình học máy", Norm Jouppi và David Patterson, hai kỹ sư Google, viết trong một bài đăng trên blog về hệ thống.

Đến nay, Google mới công bố thông tin chi tiết về siêu máy tính của mình. Thế nhưng, nó đã hoạt động bên trong công ty từ năm 2020 tại một trung tâm dữ liệu ở quận Mayes, bang Oklahoma, Mỹ.

Google cho biết công ty khởi nghiệp Midjourney đã sử dụng siêu máy tính của họ để đào tạo mô hình ngôn ngữ (tạo ra những hình ảnh mới sau khi được cung cấp vài từ).

Trong bài viết, Google cho biết đối với các hệ thống cùng kích thước, siêu máy tính của họ nhanh hơn tới 1,7 lần và tiết kiệm điện hơn 1,9 lần so với siêu máy tính dựa trên chip Nvidia A100 (được tung ra cùng thời điểm với TPU thế hệ thứ tư). Người phát ngôn Nvidia từ chối bình luận.

Google cho biết không so sánh TPU thế hệ thứ tư với chip H100 hàng đầu hiện tại của Nvidia. Lý do vì H100 được tung ra thị trường sau TPU thế hệ thứ tư và được sản xuất bằng công nghệ mới hơn.

Google gợi ý rằng công ty có thể đang làm việc trên một TPU mới sẽ cạnh tranh với Nvidia H100 nhưng không cung cấp thông tin chi tiết. Norm Jouppi nói với Reuters rằng Google có "hệ thống chip tiềm năng trong tương lai để phát triển".

Có trụ sở tại thành phố Santa Clara, bang California, Mỹ, Nvidia đã thống trị lĩnh vực chip được sử dụng để phát triển các công nghệ generative AI.

Generative AI là loại trí tuệ nhân tạo mà máy tính được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn.

Những công nghệ mới này dựa trên việc sử dụng hàng ngàn chip Nvidia cùng lúc để huấn luyện hệ thống AI trên kho dữ liệu khổng lồ. Ví dụ, Microsoft đã xây dựng một hệ thống với hơn 10.000 chip Nvidia cho OpenAI để sử dụng trong việc phát triển các công nghệ làm nền tảng cho ChatGPT, cụ thể là GPT.

Dù phải đối mặt với sự cạnh tranh trên thị trường chip AI từ AMD và một số công ty khởi nghiệp, Nvidia chiếm hơn 80% thị phần chip được sử dụng trong việc huấn luyện hệ thống AI.

Sự bùng nổ về AI đã giúp cổ phiếu Nvidia tăng mạnh trong năm 2023. Với vốn hóa thị trường là 664 tỉ USD, Nvidia đã phát triển để trở thành có giá trị gấp khoảng 5 lần đối thủ lâu năm là Intel.

Sơn Vân