Meta: Mô hình Llama 3 lớn nhất miễn phí nhưng không kém GPT-4o và Claude 3.5 Sonnet

Phiên bản Llama 3 lớn nhất có thể trò chuyện bằng 8 ngôn ngữ, viết mã máy tính chất lượng cao hơn và giải quyết các bài toán phức tạp hơn so với các phiên bản trước đó. Meta Platforms (công ty mẹ của Facebook) cho biết thông tin này trong các bài đăng trên blog và một bài báo nghiên cứu công bố việc phát hành bản Llama 3 mới nhất.

Với 405 tỉ tham số (các biến mà thuật toán xem xét để tạo phản hồi cho các truy vấn của người dùng), Llama 3 phiên bản mới vượt xa phiên bản trước được phát hành năm ngoái nhưng vẫn nhỏ hơn so với mô hình AI hàng đầu do các đối thủ cung cấp. GPT-4 của OpenAI được cho có 1.000 tỉ tham số và Amazon đang đầu tư vào một mô hình AI có 2.000 tỉ tham số.

Việc Meta Platforms phát hành phiên bản Llama 3 lớn nhất diễn ra khi các hãng công nghệ đang chạy đua để chứng minh rằng danh mục ngày càng phát triển của họ về mô hình ngôn ngữ lớn (đòi hỏi nhiều tài nguyên) có thể mang lại những lợi ích đáng kể trong các lĩnh vực đã biết, chẳng hạn lập luận nâng cao, để biện minh cho những khoản tiền khổng lồ được đầu tư vào chúng.

Ngoài mô hình AI hàng đầu với 405 tỉ tham số, Meta Platforms cũng phát hành các phiên bản cập nhật phiên bản Llama 3 nhẹ hơn với 8 tỉ và 70 tỉ tham số, từng được giới thiệu vào mùa xuân. Cả ba mô hình AI mới đều đa ngôn ngữ và có thể xử lý các yêu cầu của người dùng lớn hơn thông qua "cửa sổ ngữ cảnh" mở rộng, mà Ahmad Al-Dahle (trưởng bộ phận AI tạo sinh của Meta Platforms) cho biết sẽ cải thiện trải nghiệm tạo mã máy tính đặc biệt.

"Đó là phản hồi hàng đầu mà chúng tôi nhận được từ cộng đồng", Al-Dahle nói với Reuters trong một cuộc phỏng vấn, lưu ý rằng các cửa sổ ngữ cảnh lớn hơn cung cấp cho các mô hình cái gì đó giống như bộ nhớ dài hơn giúp xử lý các yêu cầu nhiều bước.

Meta Platforms phát hành các mô hình Llama của mình chủ yếu miễn phí để sử dụng cho các nhà phát triển. Đây là chiến lược mà Giám đốc điều hành Meta Platforms - Mark Zuckerberg cho biết sẽ được đền đáp bằng các sản phẩm sáng tạo và mức độ tương tác cao hơn trên các mạng xã hội cốt lõi của công ty. Tuy nhiên, một số nhà đầu tư đã nghi ngờ sẽ có các chi phí liên quan.

Meta Platforms cũng có thể thu được lợi ích nếu các nhà phát triển chọn sử dụng các mô hình AI miễn phí của mình thay vì mô hình trả phí. Lý do vì điều này sẽ làm suy yếu mô hình AI của các đối thủ. Trong thông báo mới nhất, Meta Platforms quảng cáo những lợi ích về các bài kiểm tra toán học và kiến ​​thức chính có thể khiến triển vọng đó hấp dẫn hơn.

Dù tiến độ phát triển AI rất khó đo lường nhưng kết quả kiểm tra do Meta Platforms cung cấp dường như cho thấy mô hình Llama 3 lớn nhất gần ngang bằng và trong một số trường hợp trội hơn so với Claude 3.5 Sonnet của Anthropic lẫn GPT-4o của OpenAI. Claude 3.5 Sonnet và GPT-4o được coi là hai mô hình AI tiên tiến mạnh nhất trên thị trường hiện nay.

Ví dụ, trên điểm chuẩn MATH của các bài toán đố bằng lời ở cấp độ thi đấu, phiên bản Llama 3 lớn nhất đạt 73,8 điểm, so với 76,6 của GPT-4o và 71,1 của Claude 3.5 Sonnet.

Phiên bản Llama 3 lớn nhất đạt được 88,6 điểm trên MMLU (điểm chuẩn bao gồm hàng chục môn về toán học, khoa học và nhân văn), trong khi GPT-4o được 88,7 điểm và Claude 3.5 Sonnet được 88,3 điểm.

Trong bài viết của mình, các nhà nghiên cứu Meta Platforms cũng giới thiệu các phiên bản "đa phương thức" sắp tới cho các mô hình AI dự kiến ​​ra mắt cuối năm nay, bổ sung khả năng hình ảnh, video và giọng nói cho mô hình Llama 3 cốt lõi. Họ nói những thử nghiệm ban đầu cho thấy các mô hình AI đó có khả năng cạnh tranh với mô hình đa phương thức khác như Gemini 1.5 của Google và Claude 3.5 Sonnet của Anthropic.

Mới đây, Reuters đưa tin OpenAI đang phát triển phương pháp suy luận mới cho các mô hình AI của mình trong dự án có tên mã Strawberry, theo một người quen thuộc với vấn đề và tài liệu nội bộ.

Dự án này đến vào lúc công ty khởi nghiệp được Microsoft hậu thuẫn đang chạy đua để chứng minh rằng các loại mô hình AI của mình có khả năng cung cấp khả năng suy luận tiên tiến.

Các nhóm bên trong OpenAI đang làm việc trên Strawberry, theo một bản sao của tài liệu nội bộ gần đây của OpenAI mà Reuters thấy vào tháng 5. Tài liệu này nêu chi tiết kế hoạch về cách OpenAI dự định sử dụng Strawberry để thực hiện nghiên cứu. Nguồn tin của Reuters mô tả kế hoạch này là việc được đang tiến hành. Thế nhưng, Reuters không thể xác định Strawberry sắp ra mắt công chúng hay chưa.

Cách hoạt động với Strawberry là bí mật, được giữ kín ngay cả trong OpenAI, nguồn tin của Reuters cho biết. Theo Reuters, tài liệu mô tả một dự án sử dụng các mô hình Strawberry với mục đích giúp AI của công ty không chỉ trả lời câu hỏi từ truy vấn của người dùng mà còn lên kế hoạch đủ để điều hướng internet một cách tự động và đáng tin cậy nhằm thực hiện cái mà OpenAI gọi là "nghiên cứu sâu". Đây là điều mà các mô hình AI hiện tại chưa đạt được, theo các cuộc phỏng vấn của Reuters với hơn 12 nhà nghiên cứu AI.

Dự án Strawberry trước đây được biết đến với tên gọi Q*, là một bước đột phá trong OpenAI mà Reuters từng đưa tin. Hai nguồn tin của Reuters cho biết đã xem các bản demo Q* vào đầu năm nay, có khả năng trả lời những câu hỏi khoa học và toán học phức tạp mà nhiều mô hình hiện AI tại chưa thể làm được.

Tại cuộc họp gần đây, OpenAI đã trình diễn một dự án nghiên cứu mà họ tuyên bố có kỹ năng suy luận mới giống con người, theo hãng tin Bloomberg. Một phát ngôn viên của OpenAI xác nhận có cuộc họp nhưng từ chối cung cấp chi tiết về nội dung. Reuters chưa thể xác định liệu dự án được trình diễn hôm 9.7 có phải là Strawberry hay không.

OpenAI hy vọng sự đổi mới này sẽ cải thiện đáng kể khả năng suy luận cho các mô hình AI của mình. Một người quen thuộc với dự án nói rằng Strawberry bao gồm cả cách xử lý chuyên biệt một mô hình AI sau khi nó đã được đào tạo dựa trên các tập dữ liệu rất lớn.

Các nhà nghiên cứu mà Reuters phỏng vấn cho biết suy luận là chìa khóa để AI đạt được trí thông minh ngang bằng hoặc vượt trội con người. Trong khi các mô hình ngôn ngữ lớn hiện tại thể tóm tắt các văn bản dày đặc và viết văn xuôi thanh lịch nhanh hơn bất kỳ người nào, công nghệ này thường không đạt được ở những vấn đề thông thường mà con người giải quyết một cách trực quan, như lỗi sai trong lập luận và chơi cờ caro.

Khi gặp phải những vấn đề này, mô hình AI thường bị ảo giác và đưa ra thông tin sai lệch. Nhìn chung, các nhà nghiên cứu AI mà Reuters phỏng vấn đồng ý rằng suy luận, trong bối cảnh AI, liên quan đến việc hình thành mô hình cho phép AI lên kế hoạch trước, phản ánh cách thế giới vật lý hoạt động và giải quyết các vấn đề phức tạp nhiều bước một cách đáng tin cậy.

Cải thiện khả năng suy luận được coi là chìa khóa để mở ra khả năng cho các mô hình AI trong việc thực hiện mọi thứ, từ việc phát hiện các khám phá khoa học lớn đến lập kế hoạch và xây dựng ứng dụng phần mềm mới.

Sam Altman, Giám đốc điều hành OpenAI, nói đầu năm nay rằng “các lĩnh vực tiến bộ quan trọng nhất trong AI sẽ xoay quanh khả năng suy luận”.

Một số công ty khác như Google, Meta Platforms và Microsoft cũng đang thử nghiệm các kỹ thuật khác nhau để cải thiện khả năng suy luận trong mô hình AI, giống hầu hết phòng thí nghiệm học thuật thực hiện nghiên cứu về AI.

Các nhà nghiên cứu có quan điểm khác nhau về việc liệu mô hình ngôn ngữ lớn có khả năng đưa những ý tưởng và kế hoạch dài hạn vào cách chúng thực hiện dự đoán hay không.

Yann LeCun, Giám đốc Khoa học AI tại Meta Platforms (một trong những người tiên phong về AI), đã thường xuyên nói rằng các mô hình ngôn ngữ lớn không có khả năng suy luận giống con người.