Mô hình ngôn ngữ lớn Baidu và Zhipu AI đứng đầu Trung Quốc, nhưng kém OpenAI về khả năng tổng thể

Báo cáo đánh giá SuperBench của Đại học Thanh Hoa đã kiểm tra 14 mô hình ngôn ngữ lớn, công nghệ làm nền tảng cho chatbot trí tuệ nhân tạo (AI) tạo sinh. Kết quả cho thấy các mô hình ngôn ngữ lớn nước ngoài, chẳng hạn như GPT-4 của OpenAI và Claude-3 của Anthropic, đã dẫn đầu về nhiều khả năng, gồm cả hiểu ngữ nghĩa, tạo mã lập trình và sự liên kết với các lệnh của con người.

Các nhà nghiên cứu phát hiện ra "sự chênh lệch rõ ràng" về khả năng tạo mã lập trình và vận hành trong môi trường thực tế giữa các mô hình ngôn ngữ lớn nội địa với mô hình nước ngoài hàng đầu.

Báo cáo này nhằm mục đích “cung cấp các tiêu chí đánh giá khách quan và khoa học” để kiểm tra số lượng mô hình ngôn ngữ lớn ngày càng tăng gần đây, theo một bài đăng trên WeChat của Trung tâm Nghiên cứu Mô hình Cơ bản thuộc Đại học Thanh Hoa, nơi tiến hành đánh giá cùng Phòng thí nghiệm Trung Quan Thôn do chính phủ Trung Quốc hậu thuẫn.

Các gã khổng lồ công nghệ và công ty khởi nghiệp Trung Quốc đã chạy đua để phát triển mô hình ngôn ngữ lớn riêng kể từ khi OpenAI tung ra một số công cụ AI tạo sinh gây tiếng vang, gồm cả chabot ChatGPT và mô hình chuyển văn bản thành video Sora. OpenAI là công ty khởi nghiệp Mỹ được Microsoft đầu tư hơn 10 tỉ USD.

Theo số liệu từ chính phủ Trung Quốc, khoảng 200 mô hình ngôn ngữ lớn đã được giới thiệu ở nước này, nơi các dịch vụ của OpenAI không có sẵn.

Báo cáo của Đại học Thanh Hoa tương đồng nhận xét gần đây từ Thái Sùng Tín, đồng sáng lập và Chủ tịch Alibaba. Ông cho biết các hãng công nghệ Trung Quốc đi sau khoảng 2 năm so với các công ty hàng đầu Mỹ trong cuộc đua AI toàn cầu, với lý do OpenAI đã vượt qua phần còn lại của ngành công nghệ trong đổi mới AI.

Bản cập nhật các biện pháp kiểm soát xuất khẩu của Mỹ, có hiệu lực từ ngày 4.4, khiến Trung Quốc gặp khó khăn hơn trong việc tiếp cận các chip AI tiên tiến và thiết bị sản xuất chất bán dẫn. Thái Sùng Tín nói rằng các hãng công nghệ Trung Quốc đang tiếp tục tìm cách giảm thiểu tác động của những hạn chế này, gồm tìm nguồn cung ứng chip lý tiên tiến từ các nhà cung cấp khác và tích trữ chip hiện có sẵn trên thị trường. Ví dụ, gã khổng lồ tìm kiếm Baidu năm ngoái đã đặt mua chip AI từ Huawei, theo trang SCMP.

Thái Sùng Tín nhận định: “Tôi nghĩ trong năm tới hoặc 18 tháng tới, việc đào tạo về các mô hình ngôn ngữ lớn vẫn có thể được tiến hành, dựa trên lượng dữ liệu mà mọi người có sẵn”.

“Việc đào tạo mô hình ngôn ngữ lớn đòi hỏi tính toán hiệu suất cao hơn, trái ngược với các ứng dụng mà nhiều người gọi là suy luận. Vì vậy, về mặt suy luận thì có nhiều lựa chọn. Bạn không cần phải có chip mạnh và cao cấp như phiên bản mới nhất của Nvidia”, ông lý giải.

Chủ tịch Alibaba dự đoán rằng trong dài hạn, Trung Quốc sẽ phát triển khả năng của riêng mình để tạo ra những chip AI cao cấp này.

Bất chấp những thách thức mà các nhà phát triển mô hình ngôn ngữ lớn Trung Quốc phải đối mặt, báo cáo của Đại học Thanh Hoa cho thấy Ernie 4.0 của Baidu và GLM-4 từ Zhipu AI (công ty khởi nghiệp được thành lập bởi một sinh viên Đại học Thanh Hoa) đã dần thu hẹp khoảng cách với những mô hình ngôn ngữ lớn tốt nhất thế giới về thành tích tổng thể.

Thử nghiệm cho thấy một lĩnh vực mà mô hình ngôn ngữ lớn Trung Quốc hoạt động tốt hơn là các tác vụ bằng ngôn ngữ văn bản tiếng Trung. Kimi của công ty khởi nghiệp Moonshot AI, Tongyi Qianwen 2.1 của Alibaba, GLM-4 và Ernie 4.0 được xếp hạng trong top 4 ở hạng mục đó, dù GPT-4 vẫn đứng đầu về lý luận ngôn ngữ văn bản tiếng Trung.

Moonshot AI, Zhipu AI cùng với Baichuan và MiniMax được người dân địa phương gọi là “bốn con hổ AI mới” của Trung Quốc vì là những công ty khởi nghiệp về AI có khả năng sáng tạo hứa hẹn nhất đất nước.

Được thành lập vào năm 2019 và có trụ sở tại Bắc Kinh, Zhipu AI đã huy động được 2,5 tỉ nhân dân tệ (347 triệu USD) kể từ năm ngoái, từ các nhà đầu tư liên kết với nhà nước, công ty đầu tư mạo hiểm và các hãng công nghệ lớn như Tencent Holdings, Ant Group, Meituan, Xiaomi và Alibaba.

Moonshot AI (cũng có trụ sở tại Bắc Kinh) đã huy động được 1 tỉ USD trong vòng tài trợ vào tháng 2, theo nhiều phương tiện truyền thông Trung Quốc.

“Trung Quốc không thể bắt kịp những tiến bộ của Mỹ về AI do gặp thách thức về lý thuyết và công nghệ”

Trung Quốc không thể bắt kịp Mỹ trong những tiến bộ về AI do "gặp phải nhiều thách thức về lý thuyết và công nghệ", theo một bản thuyết trình gần đây trước Thủ tướng Lý Cường.

Những khó khăn đó được trình bày trước Thủ tướng Trung Quốc - Lý Cường trong chuyến thị sát vào tháng trước của ông tới Học viện Trí tuệ nhân tạo Bắc Kinh (BAAI), tổ chức phi lợi nhuận tư nhân được thành lập vào năm 2018, tham gia nghiên cứu và phát triển AI, đài truyền hình trung ương CCTV đưa tin.

Theo bài thuyết trình tại BAAI, rào cản lớn mà các sáng kiến ​​AI tạo sinh của Trung Quốc phải đối mặt là sự phụ thuộc quá mức vào Llama, mô hình ngôn ngữ được Meta Platforms (Mỹ) phát hành vào tháng 2.2023.

Có “sự thiếu tự chủ nghiêm trọng” trong lĩnh vực phát triển AI của Trung Quốc vì hầu hết mô hình ngôn ngữ lớn trong nước đều được xây dựng dựa trên Llama, theo bài thuyết trình. Meta Platforms (công ty mẹ Facebook) vào tháng 7.2023 đã cung cấp mô hình ngôn ngữ lớn mã nguồn mở Llama 2 miễn phí cho nghiên cứu và sử dụng thương mại. Hôm 18.4, Meta Platforms đã ra mắt phiên bản đầu tiên của phiên bản Llama 3.

Nhược điểm về mô hình ngôn ngữ lớn làm gia tăng mối lo rằng Trung Quốc đang đối mặt với khoảng cách ngày càng mở rộng so với Mỹ về đổi mới AI, điều này đã được nhấn mạnh trong buổi thảo luận tại cuộc họp lưỡng hội đầu tháng 3 ở Bắc Kinh.

Trong khi các cơ quan nhà nước đang hợp tác song song với các hãng công nghệ tư nhân Trung Quốc để đổi mới AI, họ vẫn phải đối mặt với các vấn đề liên quan đến cơ sở hạ tầng điện toán để đào tạo mô hình ngôn ngữ lớn.

“Hàng tá chip được phát triển trong nước khác nhau về dòng và hệ sinh thái, khiến quá trình đào tạo 100 tỉ tham số cho mô hình ngôn ngữ lớn Trung Quốc trở nên rất không ổn định”, trích nội dung bài thuyết trình. Các lệnh trừng phạt công nghệ từ chính quyền Biden đã hạn chế khả năng tiếp cận của Trung Quốc với các chất bán dẫn tiên tiến được sản xuất bằng công nghệ Mỹ, cho các dự án phát triển AI trong nước.

Khả năng của mô hình ngôn ngữ lớn một phần phụ thuộc vào số lượng tham số, thước đo mức độ phức tạp cho mô hình. Ví dụ, mô hình ngôn ngữ lớn GPT-4 của OpenAI được đào tạo với 1.000 tỉ tham số. Trong khi hầu hết mô hình ngôn ngữ lớn nguồn mở của Trung Quốc trên thị trường chỉ có từ 6 tỉ đến 13 tỉ tham số.

Số lượng mô hình ngôn ngữ lớn được chính phủ Trung Quốc phê duyệt hiện có tổng cộng hơn 40.

Theo bài thuyết trình tại BAAI, một vấn đề lớn khác liên quan đến việc kiểm soát nội dung do AI tạo ra. Cụ thể hơn, thách thức lớn mà mô hình ngôn ngữ lớn ở Trung Quốc phải đối mặt là tạo ra “nội dung chất lượng phù hợp với thực tế”, đồng thời cũng phải xem xét tư tưởng chính trị và các cảm xúc khác nhau.

Các chatbot AI, gồm cả ChatGPT và Gemini của Google, đôi khi trả lời sai nhưng y như thật, được gọi là ảo giác.

Dù CCTV không xác định tác giả bài thuyết trình BAAI, các slide được phát sóng có logo của Zhipu AI. Đại diện của Zhipu AI hôm 14.3 xác nhận rằng công ty đã có mặt trong chuyến thị sát của Thủ tướng Trung Quốc tại BAAI một ngày trước đó.

Là một phần của hệ sinh thái hợp tác mà BAAI đang nuôi dưỡng, Zhipu AI cho biết đã xây dựng mô hình ngôn ngữ lớn với quy mô 100 tỉ tham số.

Trong cuộc họp bên lề hôm 5.3 của Ủy ban Chính Hiệp Toàn quốc (CPPCC) - cơ quan cố vấn chính trị hàng đầu Trung Quốc, Zeng Yi (đại biểu đứng đầu China Electronics Corporation) cho biết công ty của ông còn “một chặng đường dài” để bắt kịp Mỹ. China Electronics Corporation là công ty chip lớn thuộc sở hữu nhà nước Trung Quốc có trụ sở ở thành phố Thâm Quyến.

“Nói một cách khách quan, bất chấp những nỗ lực to lớn mà chúng ta đã và đang thực hiện, sự khác biệt của chúng ta với Mỹ vẫn rất lớn”, Zeng Yi phát biểu trước đám đông đại diện của cộng đồng khoa học và công nghệ.

Zeng Yi lãnh đạo một công ty phát triển công nghệ an ninh thông tin và mạng quốc gia, nghiên cứu và thiết kế chip, thiết bị bán dẫn, quy trình sản xuất tiên tiến và hệ điều hành.