Gửi bình luận
Ba nhà nghiên cứu của Google vừa đưa ra một bài kiểm tra thực tế quan trọng về tham vọng của các giám đốc điều hành trong việc đạt được mục tiêu tối thượng trong lĩnh vực trí tuệ nhân tạo (AI).
Trong một bài báo vừa được gửi tới kho lưu trữ truy cập mở ArXiv, ba nhà nghiên cứu của Google đã phát hiện ra rằng transformer - công nghệ thúc đẩy các mô hình ngôn ngữ lớn hỗ trợ ChatGPT và các công cụ AI khác - không tốt lắm ở việc khái quát hóa.
Transformer là một kiến trúc mạng nơ-ron cơ bản được giới thiệu bởi Vaswani và các đồng nghiệp của mình vào năm 2017. Transformer được sử dụng rộng rãi trong các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên và thị giác máy tính.
Kiến trúc transformer nổi tiếng nhất có thể kể đến là GPT (Generative Pre-trained Transformer), với một loạt các mô hình ngôn ngữ lớn được đào tạo để thực hiện nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên, bao gồm việc tạo ra văn bản tự động và trả lời câu hỏi. GPT-3 là một phiên bản nổi tiếng của dự án GPT, có khả năng tạo ra văn bản với chất lượng và độ tự nhiên cao.
Transformer sử dụng cơ chế tập trung vào việc xử lý thông tin trong dạng chuỗi, nơi thông tin từ các vị trí xa nhau trong chuỗi có thể tương tác một cách hiệu quả. Điều này đã giúp transformer trở thành một kiến trúc quan trọng cho nhiều ứng dụng AI liên quan đến xử lý ngôn ngữ và thị giác máy tính.
Ba nhà nghiên cứu Steve Yadlowsky, Lyric Doshi và Nilesh Tripuraneni của Google viết: “Khi được trình bày các nhiệm vụ hoặc chức năng nằm ngoài phạm vi dữ liệu đào tạo trước của chúng, chúng tôi chứng minh các dạng lỗi khác nhau ở transformer và sự suy giảm mức độ khái quát hóa của nó với ngay cả các nhiệm vụ ngoại suy đơn giản”.
Theo bài báo, transformer giỏi thực hiện các nhiệm vụ liên quan đến dữ liệu đã được đào tạo, nhưng không thể xử lý tốt những nhiệm vụ vượt xa khỏi lĩnh vực đó.
Đó là một vấn đề với những người hy vọng sẽ đạt được trí tuệ nhân tạo tổng quát (AGI), một thuật ngữ mà các nhà công nghệ sử dụng để mô tả AI giả định có thể làm bất cứ điều gì con người làm. Như hiện tại, AI khá giỏi trong các nhiệm vụ cụ thể nhưng kém hơn trong việc chuyển đổi kỹ năng giữa các lĩnh vực như con người.
“Điều đó có nghĩa là chúng ta không nên quá lo lắng về AGI tại thời điểm này”, Pedro Domingos, giáo sư danh dự về khoa học và kỹ thuật máy tính tại Đại học Washington, nói với trang Insider.
AGI đã được coi là mục tiêu cuối cùng của lĩnh vực AI vì về mặt lý thuyết, đại diện cho thời điểm khi loài người tạo ra thứ gì đó thông minh bằng hoặc hơn chính mình.
Dù thế nào, rất nhiều nhà đầu tư và kỹ thuật viên đang dành thời gian và công sức nghiêm túc để cố đạt được điều đó.
Chẳng hạn, khi đứng trên sân khấu với Satya Nadella (Giám đốc điều hành Microsoft) rạng sáng nay trong hội nghị nhà phát triển đầu tiên của OpenAI, Sam Altman (Giám đốc điều hành OpenAI) đã nhắc lại mong muốn của ông là "cùng nhau xây dựng AGI".
Để đạt được điều đó đồng nghĩa AI phải thực hiện nhiều nhiệm vụ khái quát hóa mà bộ não con người có thể thực hiện dù đó là thích nghi với các tình huống không quen thuộc, tạo ra các phép tương đồng, xử lý thông tin mới, hoặc suy tưởng một cách trừu tượng.
Thế nhưng, nếu công nghệ gặp khó khăn với ngay cả “các nhiệm vụ ngoại suy đơn giản”, như ba nhà nghiên cứu Google lưu ý, thì rõ ràng chúng ta vẫn chưa đạt được mục tiêu.
Giáo sư khoa học máy tính Arvind Narayanan của Đại học Princeton (Mỹ) viết trên X: “Bài báo này thậm chí không phải về mô hình ngôn ngữ lớn nhưng dường như là giọt nước cuối cùng làm vỡ bong bóng niềm tin tập thể và khiến nhiều người chấp nhận các giới hạn của mô hình ngôn ngữ lớn”.
Jin Fan, nhà khoa học AI cấp cao tại Nvidia, đặt câu hỏi tại sao những phát hiện của bài báo lại khiến mọi người ngạc nhiên, lý do vì “transformer không phải là thần dược”.
Nghiên cứu nhấn mạnh rằng "rất nhiều người đã rất bối rối" về tiềm năng của một công nghệ được quảng cáo là con đường hướng tới AGI, giáo sư Pedro Domingos cho biết. Ông nói thêm: “Bài báo này vừa mới xuất bản, thật thú vị là nó gây ngạc nhiên cho ai và không gây ngạc nhiên cho ai”.
Dù Pedro Domingos thừa nhận transformer là một công nghệ tiên tiến nhưng tin rằng nhiều người nghĩ rằng chúng mạnh hơn rất nhiều so với thực tế.
Ông nói: “Vấn đề là mạng lưới thần kinh cực kỳ không rõ ràng và những mô hình ngôn ngữ lớn này cũng đã được đào tạo bằng lượng dữ liệu lớn không thể tưởng tượng được, khiến nhiều người rất bối rối về những gì chúng có thể và không thể làm. Họ bắt đầu nghĩ rằng chúng có thể làm được điều kỳ diệu".
Các mô hình AI tiên tiến hơn có thể thực hiện công việc khái quát hóa tốt hơn. Ba nhà nghiên cứu của Google đã sử dụng mô hình ngôn ngữ lớn GPT-2 thay vì GPT-4 hiện đại hơn. Tất nhiên GPT-4 có thể có khả năng khái quát hóa tốt hơn so với GPT-2 trong việc giải quyết các nhiệm vụ phức tạp.
Sharon Zhou, Giám đốc điều hành của hãng Lamini AI, nói với Insider rằng bà không ngạc nhiên khi transformer có thể gặp khó khăn trong việc khái quát hóa.
Bà nói: “Đó là lý do tại sao tôi thành lập một công ty đào tạo mô hình AI chứ không chỉ truy vấn nó để có thể học hỏi những điều mới. Transformer vẫn có thể rất hữu ích, cần được định hướng và điều chỉnh".
