Lãnh đạo OpenAI và Nvidia: GPU giống internet hay tiền tệ với nhà nghiên cứu AI
Những giám đốc cấp cao của OpenAI liên tục nhắc đến nhu cầu khổng lồ về GPU (bộ xử lý đồ họa) để cung cấp sức mạnh điện toán cho công ty.
“Mỗi lần có thêm GPU, chúng tôi lập tức sử dụng ngay”, ông Kevin Weil, Giám đốc sản phẩm OpenAI, chia sẻ với Peter Diamandis (nhà sáng lập Xprize) trong buổi phỏng vấn trên podcast Moonshot.
XPrize là tổ chức phi lợi nhuận Mỹ chuyên thiết kế và quản lý các giải thưởng lớn nhằm khuyến khích đổi mới khoa học - công nghệ để giải quyết những vấn đề lớn của nhân loại. Mô hình hoạt động của XPrize thường là công bố khoản tiền thưởng rất lớn, đôi khi lên tới hàng chục triệu USD, với bất kỳ nhóm nào trên thế giới có thể tìm ra giải pháp tốt nhất cho một thách thức cụ thể, ví dụ phát triển công nghệ khai thác không gian, năng lượng sạch, y tế, giáo dục hay AI.
Kevin Weil là lãnh đạo mới nhất của OpenAI lên tiếng về chủ đề này. Tháng trước, Giám đốc điều hành Sam Altman của OpenAI cho biết công ty sẽ cần bổ sung hơn 1 triệu GPU trước cuối năm 2025. Để so sánh, công ty khởi nghiệp xAI của Elon Musk tiết lộ đã sử dụng hệ thống hơn 200.000 GPU có tên Colossus để huấn luyện mô hình ngôn ngữ lớn Grok 4.
“Rất tự hào về đội ngũ, nhưng giờ họ cần tìm cách tăng con số đó lên gấp 100 lần”, Sam Altman viết trên mạng xã hội X hồi tháng 7.
Hai ngày sau, Elon Musk (đồng sáng lập OpenAI nay trở thành đối thủ của Sam Altman) nói rằng ông muốn xAI sở hữu số lượng chip tương đương 50 triệu GPU Nvidia H100 trong vòng 5 năm tới.
Cuộc cạnh tranh này là có lý do chính đáng. Jonathan Cohen, Phó chủ tịch phụ trách Nghiên cứu ứng dụng Nvidia, gần đây nói rằng GPU giống tiền tệ với các nhà nghiên cứu AI.
GPU là bộ xử lý đồ họa mà các nhà nghiên cứu sử dụng để xây dựng, huấn luyện và vận hành các mô hình AI cùng các sản phẩm liên quan. Ban đầu, GPU được thiết kế để xử lý các tác vụ đồ họa phức tạp, như kết xuất hình ảnh 3D trong game hoặc phần mềm thiết kế. Tuy nhiên, ngày nay GPU được sử dụng rộng rãi trong nhiều lĩnh vực vượt xa đồ họa, đặc biệt là trí tuệ nhân tạo (AI) và học máy.
Lý do là vì GPU có kiến trúc xử lý song song với hàng nghìn lõi tính toán nhỏ, cho phép thực hiện đồng thời rất nhiều phép tính ma trận và vector - những thứ mà AI và mô hình ngôn ngữ cần để huấn luyện và suy luận. Trong khi đó, CPU (bộ xử lý trung tâm) thường chỉ có ít lõi hơn và tối ưu cho các tác vụ tuần tự.
Các GPU của Nvidia, gồm cả H100 và A100, là thành phần then chốt để huấn luyện mô hình AI cũng như dùng trong quá trình suy luận.
Học máy là lĩnh vực thuộc AI, tập trung vào việc nghiên cứu và phát triển các kỹ thuật cho phép hệ thống máy tính học tự động từ dữ liệu để giải quyết các vấn đề cụ thể, mà không cần phải được lập trình tường minh cho từng tác vụ.
Sử dụng GPU để thu hút nhân tài
Priscilla Chan, vợ Mark Zuckerberg và là đồng sáng lập Chan Zuckerberg Initiative, cho biết tổ chức từ thiện này sử dụng GPU như công cụ thu hút nhân tài. Trong tập podcast Core Memory hồi tháng 7, Priscilla Chan đã chia sẻ về sức hút của các cụm GPU khổng lồ với nhà nghiên cứu sinh học.
“Một điều mà các nhà nghiên cứu rất quan tâm là khả năng tiếp cận GPU. Bạn sẽ không thể khai thác hết tiềm năng của ai đó nếu không thực sự có GPU để họ làm việc”, cô nhấn mạnh.
Priscilla Chan cho biết: “Chúng tôi có điều đó tại Chan Zuckerberg Initiative”, đồng thời nói thêm rằng tổ chức từ thiện tư nhân này hiện sở hữu khoảng 1.000 GPU trong cụm điện toán của mình và có kế hoạch tiếp tục mở rộng.
Không riêng Priscilla Chan, chồng cô là Mark Zuckerberg (Giám đốc điều hành Meta Platforms) cũng từng nhấn mạnh tầm quan trọng của GPU trong việc thu hút nhân tài.
Meta Platforms đang chi hàng tỉ USD để xây dựng một bộ phận AI mới là Superintelligence Labs, tập trung phát triển siêu trí tuệ cá nhân cho mọi người. Ngoài tiền lương thưởng, những nhân tài AI mà ông từng trò chuyện còn quan tâm đến hai điều khác.
“Trước đây, khi tôi tuyển người cho các bộ phận khác nhau trong công ty, họ thường hỏi: ‘Phạm vi công việc của tôi sẽ như thế nào?’. Còn bây giờ, nhiều người nói: ‘Tôi muốn số lượng người báo cáo cho tôi (cấp dưới - PV) càng ít càng tốt và càng nhiều GPU càng tốt”, Mark Zuckerberg tiết lộ.
Tất nhiên, Meta Platforms sở hữu nhiều GPU hơn Chan Zuckerberg Initiative rất nhiều. Mark Zuckerberg cho biết đến cuối năm 2025, công ty sẽ có 1,3 triệu GPU phục vụ cho AI.
“Về cơ bản, việc sở hữu lượng tài nguyên điện toán lớn nhất cho mỗi nhà nghiên cứu AI rõ ràng là một lợi thế chiến lược, không chỉ để thực hiện công việc mà còn thu hút những người giỏi nhất”, Mark Zuckerberg nhấn mạnh.
Cung cấp dòng GPU H100 nổi đình nổi đám khi cuộc đua AI bắt đầu hồi năm 2023, Nvidia được xem là công ty dẫn đầu trong lĩnh vực này và đã bán ra các dòng chip mạnh mẽ hơn kể từ đó.
Những lãnh đạo công ty khác đang tuyển dụng nhân tài trong lĩnh vực AI cũng xác nhận xu hướng này.
Aravind Srinivas, Giám đốc điều hành công ty khởi nghiệp Perplexity, từng kể lại chuyện ông cố lôi kéo một nhà nghiên cứu AI từ Meta Platforms nhưng bị từ chối thẳng thừng. “Khi nào anh có 10.000 GPU H100 thì quay lại gặp tôi!”, người này nói, theo Aravind Srinivas.
“Bạn phải đưa ra mức đãi ngộ cực kỳ hấp dẫn kèm với khả năng tiếp cận tức thì vào năng lực điện toán. Chúng ta không nói đến vài cụm máy nhỏ lẻ ở đây”, Aravind Srinivas cho hay.
“GPU giống internet vậy”
Kevin Weil nói rằng nhu cầu này thực sự rất đơn giản: “Càng có nhiều GPU, chúng ta sẽ càng sử dụng nhiều AI hơn”. Ông so sánh điều này với việc tăng băng thông đã tạo ra sự bùng nổ của video trên internet.
“GPU giống internet vậy. Mỗi khi chúng ta giảm độ trễ, tăng băng thông trên internet, mọi người sẽ làm được nhiều thứ hơn. Trước đây, việc xem video trên internet là bất khả thi. Giờ thì xem video là chuyện hằng ngày, vì năng lực đã có và mạng lưới có thể đáp ứng được”, Giám đốc sản phẩm OpenAI nói.
Chính nhu cầu tính toán khổng lồ này khiến OpenAI ra mắt dự án Stargate, theo Giám đốc tài chính Sarah Friar. Dự án trị giá 500 tỉ USD này là liên doanh giữa OpenAI, Oracle (Mỹ) và SoftBank Group (Nhật Bản). Trong buổi công bố tại Nhà Trắng hồi tháng 1, Sam Altman cho biết Stargate sẽ giúp Mỹ đạt được AI tổng quát (AGI).
AGI được coi là siêu AI có khả năng hiểu, học hỏi và thực hiện các nhiệm vụ đa dạng một cách linh hoạt giống hay vượt trội con người. OpenAI, công ty tạo ra chatbot ChatGPT, định nghĩa AGI là "một hệ thống tự động cao có thể hoạt động tốt hơn con người trong hầu hết các công việc có giá trị kinh tế".
"Nhu cầu về GPU và sức mạnh điện toán hiện nay là vô cùng lớn. Vấn đề lớn nhất mà chúng tôi phải đối mặt là liên tục thiếu sức mạnh điện toán. Đó là lý do chúng tôi khởi động Stargate và đang thực hiện các dự án xây dựng lớn hơn", Sarah Friar nói với CNBC.
OpenAI đã huy động hàng chục tỉ USD để mua chip tiên tiến, xây dựng trung tâm dữ liệu phục vụ việc phát triển và vận hành các dịch vụ AI tiên tiến. Trong dự án Stargate, OpenAI hợp tác với Oracle và SoftBank Group để lên kế hoạch xây dựng các trung tâm dữ liệu khổng lồ tại Mỹ và nhiều quốc gia khác.
Ngay cả như vậy, điều đó vẫn có thể chỉ là một phần rất nhỏ so với nhu cầu thực sự. Sam Altman hôm 15.8 tiết lộ với một nhóm phóng viên rằng OpenAI sẽ chi hàng nghìn tỉ USD cho việc xây dựng trung tâm dữ liệu.
“Bạn nên kỳ vọng rằng OpenAI sẽ chi hàng nghìn tỉ USD cho cơ sở hạ tầng trong một tương lai không quá xa. Bạn cũng nên kỳ vọng sẽ có một nhóm các nhà kinh tế sẽ nói rằng: Điều này thật điên rồ, thật liều lĩnh… Còn chúng tôi thì sẽ chỉ đáp: Biết gì không? Hãy để chúng tôi làm việc của mình”, Sam Altman chia sẻ hôm 15.8, gần một tuần sau khi OpenAI phát hành mô hình ngôn ngữ lớn GPT-5.
Ông cho biết OpenAI đang nghĩ ra một cách mới để tài trợ cho khoản chi khổng lồ đó. “Tôi đoán rằng chúng tôi có thể thiết kế ra một loại công cụ tài chính hoàn toàn mới cho việc tài trợ và năng lực điện toán mà thế giới vẫn chưa nghĩ ra. Chúng tôi đang làm việc về điều đó”, doanh nhân 40 tuổi người Mỹ nói.
Oracle đã thuê trung tâm dữ liệu 2 gigawatt tại thành phố Abilene, bang Texas (Mỹ), do công ty khởi nghiệp Crusoe và hãng đầu tư Blue Owl Capital xây dựng.
Crusoe cùng Blue Owl Capital huy động được khoảng 5 tỉ USD vốn chủ sở hữu từ các nhà đầu tư và vay gần 10 tỉ USD từ ngân hàng JPMorgan (Mỹ) cho việc xây dựng trung tâm dữ liệu, được bảo đảm bằng hợp đồng thuê 15 năm của Oracle.
Đổi lại, Oracle sẽ cung cấp cho OpenAI 4,5 gigawatt công suất, gồm cả từ trung tâm dữ liệu ở Abilene, theo hợp đồng trị giá khoảng 30 tỉ USD/năm. Đó là phần mở đầu cho dự án trung tâm dữ liệu Stargate của “cha đẻ ChatGPT” tại Mỹ.
Dù dự báo OpenAI sẽ chi rất nhiều tiền, Sam Altman tin rằng công ty sẽ thu được “lợi nhuận khổng lồ” về lâu dài. “Việc chúng tôi tiếp tục đầu tư ngay lúc này là hoàn toàn hợp lý”, ông nhấn mạnh.
Ít nhất một phần trong kế hoạch tài trợ cho chi phí phát triển AI của OpenAI nhiều khả năng sẽ gồm cả việc phát hành cổ phiếu ra công chúng trong tương lai, dù Sam Altman từ chối đưa ra mốc thời gian cụ thể. OpenAI đang hoàn tất một quá trình tái cấu trúc doanh nghiệp phức tạp đã được tiến hành nhiều tháng qua.
Trong lịch sử, OpenAI thường dựa vào các đối tác khác, gồm cả Microsoft và Oracle, để tài trợ chi phí xây dựng trung tâm dữ liệu. Hiện nay, công ty chứng kiến các ngân hàng và quỹ đầu tư tư nhân sẵn sàng cung cấp các khoản vay để hỗ trợ các sáng kiến hạ tầng, Sarah Friar cho hay
“Đó là con đường tiếp theo mà chúng tôi đang đi”, Giám đốc tài chính OpenAI nói. Bà bổ sung rằng OpenAI đang “cố gắng suy nghĩ thấu đáo về việc liệu có những cách thức mới lạ, thú vị nào khác” để làm điều đó ngoài việc đi vay nợ hay không.
“Ở mảng nghiên cứu, nhu cầu về GPU gần như là vô hạn”
Chỉ riêng về mặt sản phẩm, Kevin Weil cho biết có một số lĩnh vực có thể sử dụng thêm GPU.
“Chúng tôi có thể dùng GPU để giảm độ trễ, tăng tốc độ tạo token, ra mắt sản phẩm mới, đưa các sản phẩm vốn chỉ dành cho người dùng trả phí cao cấp xuống cho người dùng gói Plus hoặc miễn phí, hoặc đơn giản là chạy thêm nhiều thử nghiệm hơn”, ông nói.
Token là các đơn vị nhỏ của văn bản (có thể là từ, ký tự hoặc một phần của từ) mà mô hình AI xử lý khi tạo ra câu trả lời. Việc tăng tốc tạo token đồng nghĩa làm cho mô hình AI trả lời nhanh hơn, giảm thời gian chờ khi người dùng đặt câu hỏi.
Ngoài ra, OpenAI cũng phải cân bằng nhu cầu của các nhà nghiên cứu. “Ở mảng nghiên cứu, nhu cầu về GPU gần như là vô hạn và đó là lý do chúng tôi đang làm rất nhiều để mở rộng năng lực hạ tầng”, Kevin Weil cho biết.