OpenAI có thể tốn hơn 700.000 USD/ngày để vận hành ChatGPT, Microsoft tạo chip AI để giảm chi phí

Lý do vì ChatGPT yêu cầu sức mạnh tính toán khổng lồ để phản hồi yêu cầu của người dùng.

"Hầu hết chi phí này dựa trên các máy chủ đắt tiền mà OpenAI cần", Dylan Patel nói với trang The Information.

Trong cuộc gọi điện thoại với trang Insider, Dylan Patel cho biết việc OpenAI vận hành ChatGPT bây giờ thậm chí còn tốn kém hơn, vì ước tính ban đầu của ông dựa trên mô hình GPT-3.

GPT-4, mô hình mới nhất của OpenAI, thậm chí còn hao tốn tiền bạc hơn để chạy, Dylan Patel nói.

OpenAI không trả lời ngay lập tức câu hỏi của của Insider.

Dylan Patel và Afzal Ahmad, nhà phân tích khác tại SemiAnalysis, cho biết: “Việc đào tạo các mô hình ngôn ngữ lớn của OpenAI có thể tiêu tốn hàng chục triệu USD. Song, chi phí vận hành hoặc chi phí suy luận vượt xa chi phí đào tạo khi triển khai một mô hình ngôn ngữ lớn ở bất kỳ quy mô hợp lý nào".

"Trên thực tế, chi phí suy luận của ChatGPT vượt quá chi phí đào tạo hàng tuần", họ nhấn mạnh.

Các công ty sử dụng mô hình ngôn ngữ lớn của OpenAI đã phải trả giá đắt đỏ trong nhiều năm. Nick Walton, Giám đốc điều hành Latitude, công ty khởi nghiệp đứng sau game AI Dungeon sử dụng lời nhắc để tạo cốt truyện, nói việc chạy mô hình ngôn ngữ lớn này cùng các khoản thanh toán cho máy chủ Amazon Web Services khiến công ty phải trả 200.000 USD mỗi tháng để AI trả lời hàng triệu truy vấn của người dùng vào năm 2021, trang CNBC đưa tin.

Chi phí cao là lý do Nick Walton cho biết ông quyết định chuyển sang một nhà cung cấp phần mềm ngôn ngữ được hỗ trợ bởi AI21 Labs. Điều này đã cắt giảm một nửa chi phí AI của Latitude xuống còn 100.000 USD mỗi tháng.

Nick Walton nói với CNBC: "Chúng tôi nói đùa rằng có cả nhân viên là con người và nhân viên AI. Chúng tôi đã chi cho mỗi bên số tiền tương đương nhau. Chúng tôi đã bỏ ra hàng trăm nghìn USD mỗi tháng cho AI và do không phải là công ty khởi nghiệp lớn nên đó là một chi phí rất lớn".

Microsoft đang phát triển chip AI bí mật

Trong nỗ lực giảm chi phí chạy các mô hình generative AI, Microsoft đang phát triển chip AI có tên Athena, theo trang The Information. Dự án bắt đầu vào năm 2019, diễn ra nhiều năm sau khi Microsoft thực hiện thỏa thuận trị giá 1 tỉ USD với OpenAI, yêu cầu công ty khởi nghiệp có trụ sở ở thành phố San Francisco (Mỹ) chạy các mô hình của mình độc quyền trên máy chủ đám mây Microsoft Azure.

Generative AI là loại trí tuệ nhân tạo mà máy tính được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn.

Theo The Information, ý tưởng đằng sau Athena có hai mục đích. Các lãnh đạo Microsoft nhận ra rằng công ty đang tụt lại phía sau Google và Amazon trong nỗ lực xây dựng chip nội bộ của riêng mình, một nguồn tin am hiểu về vấn đề này nói với The Information.

Ngoài ra, Microsoft được cho đang tìm kiếm các giải pháp thay thế rẻ hơn (các mô hình AI của họ hiện chạy trên bộ xử lý đồ họa Nvidia) và quyết định xây dựng một chip ít tốn kém hơn.

Gần 4 năm sau, hơn 300 nhân viên Microsoft đang làm việc trên chip này, The Information đưa tin. Athena có thể được phát hành để sử dụng nội bộ bởi Microsoft và OpenAI vào đầu năm tới, hai nguồn tin quen thuộc với vấn đề này nói với The Information.

Microsoft từ chối bình luận khi được trang Insider liên hệ.

Hôm 23.1, Microsoft cho biết đã đầu tư hàng tỉ USD vào OpenAI trong một thỏa thuận kéo dài nhiều năm sẽ chứng kiến gã khổng lồ phần mềm trở thành nhà cung cấp dịch vụ đám mây độc quyền cho “cha đẻ” ChatGPT.

Satya Nadella, Giám đốc điều hành Microsoft, nói: “Chúng tôi đã thiết lập quan hệ đối tác với OpenAI xung quanh tham vọng chung nhằm thúc đẩy nghiên cứu AI tiên tiến một cách có trách nhiệm và dân chủ hóa AI như một nền tảng công nghệ mới. Ở giai đoạn hợp tác tiếp theo của chúng tôi, các nhà phát triển và tổ chức trong các ngành sẽ có quyền truy cập vào cơ sở hạ tầng, mô hình và chuỗi công cụ AI tốt nhất với Azure để xây dựng và chạy các ứng dụng của họ”.

Thỏa thuận này sẽ chứng kiến ​​Microsoft tăng cường đầu tư vào việc phát triển và triển khai các hệ thống siêu máy tính để hỗ trợ nghiên cứu của OpenAI. Phần quan trọng của thỏa thuận: Microsoft là đối tác đám mây độc quyền cho OpenAI. Các dịch vụ đám mây của Microsoft sẽ hỗ trợ tất cả khối lượng công việc của OpenAI trên các sản phẩm, dịch vụ API và nghiên cứu.

Microsoft triển khai các mô hình của OpenAI trên nhiều sản phẩm dành cho người tiêu dùng và doanh nghiệp.

Hơn nữa, Microsoft thách thức Google với việc tích hợp ChatGPT vào Bing phiên bản mới. Nhà sản xuất hệ điều hành Windows cũng tích hợp AI vào các ứng dụng Word, PowerPoint và Outlook của mình.

Microsoft không tiết lộ chính xác số tiền họ đã đầu tư vào OpenAI nhưng đang tìm cách sử dụng mối quan hệ thân thiết này để tiếp tục thương mại hóa dịch vụ Azure OpenAI của mình.

Các mô hình ngôn ngữ lớn cần đến việc sử dụng hàng ngàn chip Nvidia cùng lúc để huấn luyện hệ thống AI qua kho dữ liệu khổng lồ. Ví dụ, Microsoft đã xây dựng một hệ thống với hơn 10.000 chip Nvidia cho để sử dụng trong việc phát triển các công nghệ làm nền tảng cho ChatGPT, cụ thể là GPT.

GPT là một mô hình ngôn ngữ lớn (LLM) do nhà nghiên cứu AI có tên Alec Radford viết, sau đó được OpenAI phát triển và gần đây nâng cấp lên phiên bản GPT-4 mạnh mẽ.

Google nói về siêu máy tính AI nhanh hơn, tiết kiệm năng lượng hơn loại dùng chip Nvidia

Đầu tháng 4, Google đã công bố thông tin mới chi tiết về siêu máy tính mà công ty sử dụng để huấn luyện các mô hình AI. Công ty cho biết các siêu máy tính này vừa nhanh hơn vừa tiết kiệm năng lượng hơn hệ thống tương đương của Nvidia.

Google đã thiết kế chip tùy chỉnh của riêng mình được gọi là Tensor Processing Unit (TPU). Google sử dụng những chip đó cho hơn 90% công việc của công ty về đào tạo AI, quy trình cung cấp dữ liệu thông qua các mô hình để làm cho chúng hữu ích trong các tác vụ như trả lời truy vấn bằng văn bản giống con người hoặc tạo hình ảnh. TPU của Google đang ở thế hệ thứ tư.

Google hôm 4.3 đã xuất bản bài viết khoa học mô tả chi tiết cách họ kết nối hơn 4.000 chip lại với nhau thành một siêu máy tính, bằng cách sử dụng các công tắc quang học do chính họ phát triển để giúp kết nối các máy tính với nhau.

Cải thiện các kết nối này đã trở thành điểm cạnh tranh chính giữa các công ty chế tạo siêu máy tính AI vì các mô hình ngôn ngữ lớn đã tăng đáng kể về kích thước, nghĩa là quá lớn để lưu trữ trên một con chip duy nhất.

Các mô hình ngôn ngữ lớn được lưu trữ trên hàng ngàn chip thay vì một chip duy nhất. Sau đó, các chip này phải làm việc cùng nhau trong vài tuần hoặc hơn nữa để huấn luyện mô hình ngôn ngữ lớn.

Mô hình PaLM của Google (mô hình ngôn ngữ lớn nhất mà công ty công bố công khai đến thời điểm này) được huấn luyện trong hơn 50 ngày bằng cách chia nó và đặt trên hai siêu máy tính có 4.000 chip.

Google nói các siêu máy tính của họ giúp dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp tránh các sự cố và tinh chỉnh được để đạt hiệu suất tốt hơn.

"Chuyển mạch giúp dễ dàng định tuyến xung quanh các thành phần bị lỗi. Tính linh hoạt này cho phép chúng tôi thay đổi cấu trúc liên kết siêu máy tính để tăng hiệu suất của mô hình học máy", Norm Jouppi và David Patterson, hai kỹ sư Google, viết trong một bài đăng trên blog về hệ thống.

Đến gần đây, Google mới công bố thông tin chi tiết về siêu máy tính của mình. Thế nhưng, nó đã hoạt động bên trong công ty từ năm 2020 tại một trung tâm dữ liệu ở quận Mayes, bang Oklahoma, Mỹ.

Google cho biết công ty khởi nghiệp Midjourney đã sử dụng siêu máy tính của họ để đào tạo mô hình ngôn ngữ (tạo ra những hình ảnh mới sau khi được cung cấp vài từ).

Trong bài viết, Google cho biết đối với các hệ thống cùng kích thước, siêu máy tính của họ nhanh hơn tới 1,7 lần và tiết kiệm điện hơn 1,9 lần so với siêu máy tính dựa trên chip Nvidia A100 (được tung ra cùng thời điểm với TPU thế hệ thứ tư).

Google không so sánh TPU thế hệ thứ tư với chip H100 hàng đầu hiện tại của Nvidia. Lý do vì H100 được tung ra thị trường sau TPU thế hệ thứ tư và được sản xuất bằng công nghệ mới hơn.

Google gợi ý rằng công ty có thể đang làm việc trên một TPU mới sẽ cạnh tranh với Nvidia H100 nhưng không cung cấp thông tin chi tiết. Norm Jouppi nói với Reuters rằng Google có "hệ thống chip tiềm năng trong tương lai để phát triển".