Không phải ai cũng ấn tượng với hệ thống đào tạo AI mạnh nhất thế giới của Elon Musk

Hôm 2.9, Elon Musk cho biết xAI (thành lập năm 2023) đã đưa một cụm chip Nvidia khổng lồ đào tạo trí tuệ nhân tạo (AI) trực tuyến vào cuối tuần trước đó, tuyên bố nó đại diện cho "hệ thống đào tạo AI mạnh mẽ nhất thế giới".

Elon Musk cho biết Colossus chạy trên 100.000 Nvidia H100 - bộ xử lý đồ họa (GPU) mạnh mẽ đã trở nên quan trọng với cuộc đua AI của nhiều hãng công nghệ và được xây dựng tại một địa điểm ở thành phố Memphis (bang Tennessee, Mỹ).

Để hiểu rõ hơn, mô hình ngôn ngữ lớn Llama 3 của Meta Platforms được đào tạo trên 16.000 Nvidia H100. Hồi tháng 3, công ty mẹ Facebook cho biết sẽ tiếp tục đầu tư vào cơ sở hạ tầng AI của mình bằng cách bổ sung thêm hai cụm chip AI mới, mỗi cụm gồm 24.000 chip.

Colossus rất mạnh mẽ và có thể giúp Elon Musk bắt kịp những người đi đầu trong ngành AI. Thế nhưng, một số doanh nhân công nghệ nổi tiếng lại không chắc chắn điều này.

Reid Hoffman, nhà đồng sáng lập LinkedIn, nói với trang The Information rằng siêu máy tính của xAI chỉ là "bước khởi đầu" trong lĩnh vực AI tạo sinh đầy cạnh tranh.

Theo The Information, Reid Hoffman muốn nói rằng Colossus chỉ cho phép xAI bắt kịp các công ty AI tiên tiến hơn như OpenAI và Anthropic.

Chris Lattner, Giám đốc điều hành Modular AI, bình luận trong một cuộc thảo luận nhóm tại Hội nghị thượng đỉnh AI của The Information rằng việc Elon Musk phụ thuộc nhiều vào chip đắt tiền và hữu hạn từ Nvidia không phù hợp với nỗ lực của tỷ phú này trong việc xây dựng dự án riêng mang tên Dojo.

Meta Platforms, Microsoft, Alphabet và Amazon đều đang phát triển chip AI riêng ngay cả khi họ vẫn tiếp tục tích trữ GPU Nvidia.

"Điểm khác biệt là Elon đã làm việc trên Dojo trong nhiều năm nay", Chris Lattner nói với trang Insider.

Elon Musk từng bày tỏ lo ngại về những thách thức trong việc mua thêm nhiều chip AI rất được săn đón từ Nvidia và cho biết dự án Dojo sẽ giúp giảm sự phụ thuộc của công ty ông vào hãng sản xuất chip này.

"Chúng tôi thấy một con đường để cạnh tranh với Nvidia bằng Dojo. Chúng tôi không có lựa chọn nào khác", tỷ phú giàu nhất thế giới nói trong buổi báo cáo kết quả kinh doanh của Tesla hồi tháng 7.

Khi đề cập đến Colossus trên X vào đầu tháng 9, Elon Musk đặt mục tiêu tăng gấp đôi quy mô của siêu máy tính lên 200.000 chip AI trong vài tháng. Ông cho biết cụm máy tính này được xây dựng chỉ trong 122 ngày - kỳ tích ấn tượng mà không công ty nào khác có thể sánh kịp, theo The Information.

Không rõ Colossus có chạy 100.000 GPU cùng lúc hay không, điều này đòi hỏi công nghệ mạng tinh vi và rất nhiều điện năng.

"Elon Musk trước đây nói rằng cụm máy tính 100.000 chip đã được đưa vào hoạt động vào cuối tháng 6. Song vào thời điểm đó, một công ty điện địa phương công khai tuyên bố rằng xAI chỉ có thể tiếp cận vài megawatt điện từ lưới điện địa phương", The Information đưa tin.

Tháng trước, trang CNBC cho biết một nhóm bảo vệ môi trường phàn nàn rằng xAI đã chạy tuabin khí để sản xuất thêm điện cho trung tâm dữ liệu mà không được phép.

Theo CNBC, Trung tâm Luật Môi trường miền Nam viết trong một lá thư gửi đến Sở y tế địa phương rằng xAI đã lắp đặt và đang vận hành ít nhất 18 tuabin không được cấp phép "với khả năng có thêm nhiều tuabin nữa" để bổ sung nhu cầu năng lượng khổng lồ của mình.

Memphis Light, Gas and Water (công ty điện lực địa phương) nói với CNBC rằng đã cung cấp 50 megawatt điện cho xAI kể từ đầu tháng 8, nhưng cơ sở này cần thêm 100 megawatt để vận hành.

Các nhà phát triển cụm dữ liệu nói với The Information rằng điều này chỉ có thể cung cấp điện cho vài ngàn GPU. xAI sẽ cần một trạm biến áp điện khác để có đủ điện để chạy 100.000 GPU.

Tham vọng bắt kịp Mark Zuckerberg

Việc đưa Colossus vào hoạt động đánh dấu một bước quan trọng cho tham vọng AI của Elon Musk để có thể bắt kịp đối thủ ở Thung lũng Silicon là Mark Zuckerberg.

Tham vọng của Mark Zuckerberg và Elon Musk phụ thuộc vào GPU hiệu suất cao, cung cấp sức mạnh tính toán cần thiết cho các mô hình AI mạnh mẽ. Trong trường hợp của Elon Musk là biến xAI thành một công ty thúc đẩy "sự hiểu biết chung của chúng ta về vũ trụ" với chatbot Grok.

Những GPU Nvidia không thực sự dễ kiếm và cũng không hề rẻ.

Sự cường điệu được tạo ra xung quanh AI kể từ khi ChatGPT ra mắt vào cuối năm 2022 đã khiến các công ty phải tranh giành GPU Nvidia, với tình trạng thiếu hụt bắt nguồn từ nhu cầu lớn và hạn chế về nguồn cung. Trong một số trường hợp, H100 được bán với giá lên tới hơn 40.000 USD (gần 1 tỉ đồng).

Các công ty đã tìm cách đảm bảo nguồn cung GPU Nvidia theo bất kỳ cách nào có thể và đưa chúng vào hoạt động để vượt lên trước đối thủ bất chấp những rào cản tiếp cận chúng.

Nathan Benaich, người sáng lập kiêm đối tác chung của hãng Air Street Capital, đã theo dõi số lượng Nvidia H100 được các hãng công nghệ mua lại. Ông ước tính tổng số Nvidia H100 mà Meta Platforms hiện có là 350.000, còn xAI là 100.000. Tesla, một trong những công ty khác của Elon Musk, hiện có 35.000 Nvidia H100.

Microsoft, OpenAI và Amazon chưa tiết lộ quy mô của các kho dự trữ H100 của họ.

Meta Platforms chưa tiết lộ chính xác Mark Zuckerberg có được bao nhiêu GPU từ mục tiêu 600.000 của mình và bao nhiêu GPU đã được đưa vào sử dụng. Song trong một bài báo nghiên cứu được công bố vào tháng 7, công ty mẹ Facebook cho biết phiên bản lớn nhất của mô hình ngôn ngữ lớn Llama 3 đã được đào tạo trên 16.000 Nvidia H100.

Hồi tháng 3, Meta Platforms công bố "một khoản đầu tư lớn vào tương lai AI của công ty" với hai cụm 24.000 GPU để hỗ trợ phát triển Llama 3.

Cụm đào tạo AI mới nhất của xAI, với 100.000 GPU Nvidia H100, lớn hơn nhiều so với cụm được sử dụng để đào tạo Llama 3.

Thành tích này thu hút sự chú ý trong làng công nghệ.

Một bài đăng trên X từ tài khoản trung tâm dữ liệu của Nvidia: "Thật thú vị khi thấy Colossus, siêu máy tính GPU lớn nhất thế giới, hoạt động trực tuyến trong thời gian kỷ lục".

Greg Yang, đồng sáng lập xAI, có phản ứng sống động hơn với tin tức này bằng trích đoạn lời bài hát của rapper Tyga (Mỹ).

Shaun Maguire, đối tác tại công ty đầu tư mạo hiểm Sequoia, viết trên X rằng đội ngũ xAI hiện "có quyền tiếp cận cụm đào tạo AI mạnh mẽ nhất thế giới" để xây dựng phiên bản tiếp theo của chatbot Grok. Ông nói thêm: "Trong vài tuần qua, Grok-2 đã tăng tốc để ngang bằng với các mô hình tiên tiến nhất".

Song giống như hầu hết các công ty AI, vẫn còn nhiều dấu hỏi lớn về việc thương mại hóa công nghệ này. "Thật ấn tượng khi xAI có thể huy động được nhiều tiền như vậy với Elon Musk và đạt được tiến triển, nhưng chiến lược sản phẩm của họ vẫn chưa rõ ràng", Nathan Benaich, nói với trang Insider.

Hồi tháng 7, Elon Musk cho biết phiên bản tiếp theo của Grok (sau khi đào tạo trên 100.000 H100) "sẽ thực sự là một thứ gì đó đặc biệt".

Chúng ta có thể sẽ sớm biết được khả năng cạnh tranh của tỷ phú giàu nhất thế giới với Mark Zuckerberg về AI như thế nào.

xAI được định giá 24 tỉ USD

Theo hãng tin Bloomberg, xAI đã hoàn thành vòng gọi vốn mới trong tháng 6, quá đó nâng mức định giá của công ty khởi nghiệp AI này lên 24 tỉ USD.

Hồi tháng 5, xAI đưa ra lời mời chào đầu tư 6,5 tỉ USD.

Tham vọng gọi vốn của xAI tăng đáng kể so với hồi tháng 1. Thời điểm đó, Bloomberg đưa tin công ty của Elon Musk đang tìm cách huy động 1 tỉ USD. Các cuộc đàm phán đã bị kéo dài, một nhân vật nắm rõ vấn đề này tiết lộ thêm.

xAI được tiếp thị đến nhiều nhà đầu tư ở Thung lũng Silicon bằng cách giới thiệu về thành tích Elon Musk tại Tesla và SpaceX. Tài liệu tiếp thị nhấn mạnh xAI và chatbot Grok có thể sử dụng dữ liệu chất lượng cao từ X, mạng xã hội của Elon Musk.

Việc có quyền truy cập vào dữ liệu trên mạng xã hội là yếu tố rất quan trọng để xây dựng các mô hình ngôn ngữ lớn - công nghệ làm nền tảng cho chatbot AI. Đây là lĩnh vực mà xAI đặt mục tiêu cạnh tranh với các công ty được đầu tư mạnh khác như OpenAI.

Thỏa thuận này sẽ giúp xAI được định giá 18 tỉ USD, chưa gồm cả số tiền vừa huy động. Như vậy, tổng giá trị của xAI sau khi nhận được khoảng đầu tư mới lên đến 24 tỉ USD.

Việc gây quỹ về AI vẫn là một điểm sáng cho các công ty khởi nghiệp trong năm 2024, sau khi OpenAI ra mắt chatbot ChatGPT nổi tiếng vào tháng 11.2022 và huy động được 10 tỉ USD từ nhà tài trợ chiến lược Microsoft. Tuy nhiên, các cơ quan quản lý lo ngại về khả năng sử dụng công nghệ này để truyền bá thông tin sai lệch.

Elon Musk đã lên tiếng về kế hoạch xây dựng AI an toàn hơn. Trong một sự kiện trên X, Giám đốc điều hành xAI nói rằng thay vì nhúng trực tiếp giá trị đạo đức vào AI của mình, công ty sẽ tìm cách tạo ra một AI “có khả năng gây tò mò tối đa”. Ông từng chỉ trích các nỗ lực kiểm duyệt AI của hãng công nghệ lớn.