OpenAI phát triển công nghệ suy luận giống con người cho mô hình AI dù giám đốc Meta từng nói bất khả thi

Dự án này, chi tiết chưa từng được báo cáo trước đây, đến vào lúc công ty khởi nghiệp được Microsoft hậu thuẫn đang chạy đua để chứng minh rằng các loại mô hình AI của mình có khả năng cung cấp khả năng suy luận tiên tiến.

Các nhóm bên trong OpenAI đang làm việc trên Strawberry, theo một bản sao của tài liệu nội bộ gần đây của OpenAI mà Reuters thấy vào tháng 5. Tài liệu này nêu chi tiết kế hoạch về cách OpenAI dự định sử dụng Strawberry để thực hiện nghiên cứu. Nguồn tin của Reuters mô tả kế hoạch này là việc được đang tiến hành. Thế nhưng, Reuters không thể xác định Strawberry sắp ra mắt công chúng hay chưa.

Cách hoạt động với Strawberry là bí mật, được giữ kín ngay cả trong OpenAI, nguồn tin của Reuters cho biết. Theo Reuters, tài liệu mô tả một dự án sử dụng các mô hình Strawberry với mục đích giúp AI của công ty không chỉ trả lời câu hỏi từ truy vấn của người dùng mà còn lên kế hoạch đủ để điều hướng internet một cách tự động và đáng tin cậy nhằm thực hiện cái mà OpenAI gọi là "nghiên cứu sâu". Đây là điều mà các mô hình AI hiện tại chưa đạt được, theo các cuộc phỏng vấn của Reuters với hơn 12 nhà nghiên cứu AI.

Dự án Strawberry trước đây được biết đến với tên gọi Q*, là một bước đột phá trong OpenAI mà Reuters từng đưa tin. Hai nguồn tin của Reuters cho biết đã xem các bản demo Q* vào đầu năm nay, có khả năng trả lời những câu hỏi khoa học và toán học phức tạp mà nhiều mô hình hiện AI tại chưa thể làm được.

Tại cuộc họp hôm 9.7, OpenAI đã trình diễn một dự án nghiên cứu mà họ tuyên bố có kỹ năng suy luận mới giống con người, theo hãng tin Bloomberg. Một phát ngôn viên của OpenAI xác nhận có cuộc họp nhưng từ chối cung cấp chi tiết về nội dung. Reuters chưa thể xác định liệu dự án được trình diễn hôm 9.7 có phải là Strawberry hay không.

OpenAI hy vọng sự đổi mới này sẽ cải thiện đáng kể khả năng suy luận cho các mô hình AI của mình. Một người quen thuộc với dự án nói rằng Strawberry bao gồm cả cách xử lý chuyên biệt một mô hình AI sau khi nó đã được đào tạo dựa trên các tập dữ liệu rất lớn.

Các nhà nghiên cứu mà Reuters phỏng vấn cho biết suy luận là chìa khóa để AI đạt được trí thông minh ngang bằng hoặc vượt trội con người. Trong khi các mô hình ngôn ngữ lớn hiện tại thể tóm tắt các văn bản dày đặc và viết văn xuôi thanh lịch nhanh hơn bất kỳ người nào, công nghệ này thường không đạt được ở những vấn đề thông thường mà con người giải quyết một cách trực quan, như lỗi sai trong lập luận và chơi cờ caro.

Khi gặp phải những vấn đề này, mô hình AI thường bị ảo giác và đưa ra thông tin sai lệch. Nhìn chung, các nhà nghiên cứu AI mà Reuters phỏng vấn đồng ý rằng suy luận, trong bối cảnh AI, liên quan đến việc hình thành mô hình cho phép AI lên kế hoạch trước, phản ánh cách thế giới vật lý hoạt động và giải quyết các vấn đề phức tạp nhiều bước một cách đáng tin cậy.

Cải thiện khả năng suy luận được coi là chìa khóa để mở ra khả năng cho các mô hình AI trong việc thực hiện mọi thứ, từ việc phát hiện các khám phá khoa học lớn đến lập kế hoạch và xây dựng ứng dụng phần mềm mới.

Sam Altman, Giám đốc điều hành OpenAI, nói đầu năm nay rằng “các lĩnh vực tiến bộ quan trọng nhất trong AI sẽ xoay quanh khả năng suy luận”.

Một số công ty khác như Google, Meta Platforms và Microsoft cũng đang thử nghiệm các kỹ thuật khác nhau để cải thiện khả năng suy luận trong mô hình AI, giống hầu hết phòng thí nghiệm học thuật thực hiện nghiên cứu về AI.

Các nhà nghiên cứu có quan điểm khác nhau về việc liệu mô hình ngôn ngữ lớn có khả năng đưa những ý tưởng và kế hoạch dài hạn vào cách chúng thực hiện dự đoán hay không.

Yann LeCun, Giám đốc Khoa học AI tại Meta Platforms (một trong những người tiên phong về AI), đã thường xuyên nói rằng các mô hình ngôn ngữ lớn không có khả năng suy luận giống con người.

Thách thức với AI

Strawberry là một thành phần quan trọng trong kế hoạch của OpenAI để vượt qua những thách thức đó, nguồn tin quen thuộc với vấn đề cho biết. Tài liệu mà Reuters đã thấy mô tả mục tiêu mà Strawberry hướng tới, nhưng không nói về cách thức hoạt động.

Những tháng gần đây, OpenAI đã âm thầm thông báo cho các nhà phát triển và bên ngoài rằng sắp phát hành công nghệ với khả năng suy luận tiên tiến hơn đáng kể, theo 4 người đã nghe các bài thuyết trình của công ty. Họ từ chối tiết lộ danh tính vì không được phép nói về những vấn đề riêng tư.

Một trong những nguồn tin cho biết Strawberry chứa cả cách thức chuyên biệt gọi là "đào tạo sau" các mô hình AI của OpenAI, hoặc điều chỉnh các mô hình cơ bản để cải thiện hiệu suất theo những cách cụ thể sau khi chúng đã được đào tạo trên vô số dữ liệu đa dạng.

Giai đoạn đào tạo sau của việc phát triển mô hình bao AI gồm cả phương pháp như “tinh chỉnh”, một quy trình được sử dụng trên hầu hết mô hình ngôn ngữ hiện nay với nhiều hình thức khác nhau, chẳng hạn để con người đưa ra phản hồi cho mô hình dựa trên phản hồi của nó và cung cấp cho nó các ví dụ về câu trả lời đúng và sai.

Strawberry có sự tương đồng với một phương pháp được phát triển tại Đại học Stanford (Mỹ) năm 2022 gọi là Self-Taught Reasoner (StaR), theo một trong những nguồn tin có kiến thức về vấn đề này.

STaR cho phép các mô hình AI “tự nâng tầm” lên các mức trí thông minh cao hơn thông qua việc tự tạo ra dữ liệu đào tạo của chính mình và về lý thuyết có thể được sử dụng để giúp các mô hình ngôn ngữ vượt qua trí thông minh con người. Một trong những người sáng tạo ra STaR, Giáo sư Noah Goodman của Đại học Stanford, chia sẻ điều này với Reuters.

“Tôi nghĩ đó là điều vừa thú vị vừa đáng sợ… Nếu mọi thứ tiếp tục đi theo hướng đó, chúng ta cần phải suy nghĩ nghiêm túc về một số vấn đề”, Noah Goodman nói.

Noah Goodman không có mối quan hệ với OpenAI và không quen thuộc với Strawberry. Các khả năng mà OpenAI đang hướng đến với Strawberry là thực hiện các nhiệm vụ dài hạn (LHT), đề cập đến các nhiệm vụ phức tạp yêu cầu một mô hình AI phải lên kế hoạch trước và thực hiện hàng loạt hành động trong khoảng thời gian dài, nguồn tin đầu tiên của Reuters giải thích.

Để làm được điều đó, OpenAI đang tạo ra, đào tạo và đánh giá các mô hình AI dựa trên cái gọi là bộ dữ liệu “nghiên cứu sâu”, theo tài liệu nội bộ của công ty.

Reuters không thể xác định những gì có trong bộ dữ liệu đó hoặc thời gian dài sẽ là bao lâu.

OpenAI đặc biệt muốn các mô hình AI của mình dùng những khả năng này để tiến hành nghiên cứu bằng cách duyệt web tự động với sự trợ giúp của Computer Using Agent (tác nhân sử dụng máy tính), có thể thực hiện các hành động dựa trên những gì nó tìm thấy, theo tài liệu và một trong những nguồn tin Reuters.

Ngoài ra, OpenAI cũng có kế hoạch kiểm tra khả năng của mô hình AI trong việc thực hiện công việc giống các kỹ sư phần mềm và học máy.

Làm việc ba năm với tư cách là thành viên đội ngũ kỹ thuật trong bộ phận superalignment của OpenAI, William Saunders cho biết: “Tôi thực sự không muốn làm việc cho Titanic của AI. Đó là lý do tại sao tôi nghỉ việc”. Anh chia sẻ điều này trên podcast của YouTuber công nghệ Alex Kantrowitz.

"Trong ba năm làm việc tại OpenAI, đôi khi tôi tự hỏi mình một câu: Con đường mà OpenAI đang đi giống chương trình Apollo hay tàu Titanic hơn?", Saunders nói.

Mối lo ngại trong kỹ sư phần mềm này phần lớn xuất phát từ kế hoạch của OpenAI nhằm đạt được AGI (AI tổng quát) và ra mắt các sản phẩm trả phí. AGI là AI siêu thông minh, tiên tiến đến mức có thể làm được nhiều việc ngang bằng hoặc tốt hơn con người.

Saunders nói: “Họ đang trên quỹ đạo thay đổi thế giới, song khi phát hành mọi thứ, ưu tiên của họ lại giống một công ty sản phẩm hơn. Tôi nghĩ đó là điều đáng lo ngại nhất”.

Saunders nói rằng "thảm họa Titanic" với AI có thể biểu hiện ở một mô hình ngôn ngữ lớn có thể phát động cuộc tấn công mạng quy mô lớn, thuyết phục đông đảo người tham gia một chiến dịch hoặc giúp chế tạo vũ khí sinh học.

Trong thời gian tới, OpenAI nên đầu tư vào các "xuồng cứu sinh" bổ sung, như trì hoãn việc phát hành các mô hình ngôn ngữ lớn mới để các nhóm có thể nghiên cứu các tác hại tiềm ẩn, anh cho hay.

Khi còn ở trong bộ phận Superalignment, Saunders đã lãnh đạo một nhóm gồm 4 nhân viên chuyên tìm hiểu cách hoạt động của các mô hình ngôn ngữ lớn, điều mà anh cho rằng con người chưa biết đầy đủ.

Saunders lý giải: “Nếu trong tương lai, chúng ta xây dựng các hệ thống AI thông minh bằng hoặc hơn hầu hết con người thì sẽ cần các kỹ thuật để có thể biết liệu chúng có đang che giấu khả năng hay động cơ hay không”.

Trong cuộc phỏng vấn với Alex Kantrowitz, Saunders nói thêm rằng nhân viên OpenAI thường thảo luận các lý thuyết về việc AI có thể trở thành lực lượng "có khả năng biến đổi mạnh mẽ" chỉ sau vài năm nữa.

Anh nói: “Tôi nghĩ khi công ty nói về điều này, họ có nhiệm vụ phải chuẩn bị cho điều đó”.

Đến nay, Saunders vẫn thất vọng với hành động của OpenAI.

Trong email gửi tới Insider, Saunders viết: “Dù có những nhân viên tại OpenAI đang làm tốt công việc hiểu biết và ngăn ngừa rủi ro, nhưng tôi không thấy có đủ mức độ ưu tiên cho việc này”.

Saunders rời OpenAI vào tháng 2. Công ty đã giải thể bộ phận Superalignment vào tháng 5, chỉ vài ngày sau khi công bố mô hình ngôn ngữ lớn đa phương thức GPT-4o.