Microsoft phát triển mô hình ngôn ngữ lớn, giá rẻ và nhỏ hơn GTP-4 để giảm phụ thuộc OpenAI

Sự phổ biến bất ngờ của ChatGPT, chatbot trí tuệ nhân tạo (AI) do công ty khởi nghiệp OpenAI phát triển đã đánh thức gã khổng lồ công nghệ Microsoft, Google và châm ngòi cho cuộc chạy đua AI đang diễn ra trong thế giới công nghệ.

Tuy nhiên, trang The Information đưa tin Microsoft đang cố gắng giảm sự phụ thuộc vào OpenAI. The Information cho biết quyết định này phần lớn được thúc đẩy bởi chi phí ngày càng tăng của việc chạy các mô hình AI tiên tiến.

Một nhân viên hiện tại và một cựu nhân viên vừa rời Microsoft nói với The Information rằng một người giám sát 1.500 nhà nghiên cứu tại Microsoft đã hướng dẫn một số người trong số họ phát triển mô hình ngôn ngữ lớn nội bộ.

Nguồn tin nói với The Information rằng Microsoft muốn các mô hình ngôn ngữ lớn nội bộ của mình rẻ hơn và nhỏ hơn so với GPT-4 của OpenAI, ngay cả khi điều này có nghĩa là chúng hoạt động không tốt.

Theo The Information, các nhóm sản phẩm đang nỗ lực tích hợp các chương trình AI nội bộ của Microsoft vào các sản phẩm như Bing Chat.

Đại diện của OpenAI và Microsoft không trả lời câu hỏi của trang Insider về chuyện trên.

Microsoft đã không ngại ngùng khi hợp tác với OpenAI. Vào năm 2019, Microsoft đã đầu tư 1 tỉ USD vào OpenAI.

Cuối tháng 1.2023, Microsoft đang mở rộng quan hệ đối tác lâu dài với OpenAI thông qua một “khoản đầu tư mới nhiều năm, nhiều tỉ USD”.

Satya Nadella, Giám đốc điều hành Microsoft, nói: “Chúng tôi đã thiết lập quan hệ đối tác với OpenAI xung quanh tham vọng chung nhằm thúc đẩy nghiên cứu AI tiên tiến một cách có trách nhiệm và dân chủ hóa AI như một nền tảng công nghệ mới. Ở giai đoạn hợp tác tiếp theo của chúng tôi, các nhà phát triển và tổ chức trong các ngành sẽ có quyền truy cập vào cơ sở hạ tầng, mô hình và chuỗi công cụ AI tốt nhất với Azure để xây dựng và chạy các ứng dụng của họ”.

Thỏa thuận này sẽ chứng kiến ​​Microsoft tăng cường đầu tư vào việc phát triển và triển khai các hệ thống siêu máy tính để hỗ trợ nghiên cứu của OpenAI. Phần quan trọng của thỏa thuận: Microsoft là đối tác đám mây độc quyền cho OpenAI. Các dịch vụ đám mây của Microsoft sẽ hỗ trợ tất cả khối lượng công việc của OpenAI trên các sản phẩm, dịch vụ API và nghiên cứu.

Gã khổng lồ công nghệ đã tích hợp công nghệ của OpenAI vào các sản phẩm chủ lực, gồm cả công cụ tìm kiếm Bing.

Theo tin đồn về thỏa thuận này, Microsoft có thể nhận được 75% lợi nhuận của OpenAI cho đến khi đảm bảo hoàn vốn đầu tư và 49% cổ phần trong công ty. OpenAI cho biết vẫn là một công ty có giới hạn lợi nhuận sau thỏa thuận này, cho phép họ tiếp tục huy động vốn.

Sam Altman, Giám đốc điều hành OpenAI, nói: “Ba năm hợp tác vừa qua của chúng tôi thật tuyệt vời. Microsoft chia sẻ các giá trị của chúng tôi. Chúng tôi rất vui mừng được tiếp tục nghiên cứu độc lập của mình và hướng tới việc tạo ra AI tiên tiến mang lại lợi ích cho mọi người”.

Microsoft đã mua giấy phép độc quyền cho công nghệ cơ bản đằng sau GPT-3 vào năm 2020 sau khi đầu tư 1 tỉ USD vào OpenAI hồi năm 2019. Hãng đã xây dựng mối quan hệ chặt chẽ với OpenAI và cũng đang lên kế hoạch thêm mô hình chuyển văn bản thành hình ảnh AI vào Bing được cung cấp bởi DALL-E 2 của OpenAI.

Theo hãng tin Reuters, Microsoft đã xây dựng một hệ thống với hơn 10.000 chip Nvidia cho OpenAI để sử dụng trong việc phát triển các công nghệ làm nền tảng cho ChatGPT, cụ thể là GPT (Generative Pre-training Transformer).

GPT là một mô hình ngôn ngữ lớn do nhà nghiên cứu AI có tên Alec Radford viết, sau đó được OpenAI phát triển và gần đây nâng cấp lên phiên bản GPT-4 mạnh mẽ.

Có trụ sở tại thành phố Santa Clara (bang California, Mỹ), Nvidia đã thống trị lĩnh vực bán chip được sử dụng để phát triển các công nghệ generative AI.

Generative AI là loại trí tuệ nhân tạo mà máy tính được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn. Những công nghệ mới này dựa trên việc sử dụng hàng ngàn chip Nvidia cùng lúc để huấn luyện hệ thống AI trên kho dữ liệu khổng lồ.

Trong nỗ lực giảm chi phí chạy các mô hình generative AI, Microsoft đang phát triển chip AI có tên Athena, theo trang The Information. Dự án bắt đầu vào năm 2019.

Theo The Information, ý tưởng đằng sau Athena có hai mục đích. Các lãnh đạo Microsoft nhận ra rằng công ty đang tụt lại phía sau Google và Amazon trong nỗ lực xây dựng chip nội bộ của riêng mình, một nguồn tin am hiểu về vấn đề này nói với The Information.

Ngoài ra, Microsoft được cho đang tìm kiếm các giải pháp thay thế rẻ hơn (các mô hình AI của họ hiện chạy trên bộ xử lý đồ họa Nvidia) và quyết định xây dựng một chip ít tốn kém hơn.

Gần 4 năm sau, hơn 300 nhân viên Microsoft đang làm việc trên chip này, The Information đưa tin. Athena có thể được phát hành để sử dụng nội bộ bởi Microsoft và OpenAI vào đầu năm tới, hai nguồn tin quen thuộc với vấn đề này nói với The Information.

Microsoft từ chối bình luận khi được trang Insider liên hệ.

OpenAI có thể tốn hơn 700.000 USD/ngày để vận hành ChatGPT

Việc rất nhiều người trên thế giới sử dụng ChatGPT có thể làm OpenAI tiêu tốn hơn 700.000 USD mỗi ngày do cơ sở hạ tầng công nghệ đắt tiền mà chatbot AI này chạy trên đó, theo Dylan Patel, chuyên gia phân tích tại công ty nghiên cứu bán dẫn SemiAnalysis. Lý do vì ChatGPT yêu cầu sức mạnh tính toán khổng lồ để phản hồi yêu cầu của người dùng.

"Hầu hết chi phí này dựa trên các máy chủ đắt tiền mà OpenAI cần", Dylan Patel nói với trang The Information.

Trong cuộc gọi điện thoại với trang Insider, Dylan Patel cho biết việc OpenAI vận hành ChatGPT bây giờ thậm chí còn tốn kém hơn, vì ước tính ban đầu của ông dựa trên mô hình GPT-3.

GPT-4, mô hình mới nhất của OpenAI, thậm chí còn hao tốn tiền bạc hơn để chạy, Dylan Patel nói.

Dylan Patel và Afzal Ahmad, nhà phân tích khác tại SemiAnalysis, cho biết: “Việc đào tạo các mô hình ngôn ngữ lớn của OpenAI có thể tiêu tốn hàng chục triệu USD. Song, chi phí vận hành hoặc chi phí suy luận vượt xa chi phí đào tạo khi triển khai một mô hình ngôn ngữ lớn ở bất kỳ quy mô hợp lý nào".

"Trên thực tế, chi phí suy luận của ChatGPT vượt quá chi phí đào tạo hàng tuần", họ nhấn mạnh.