OpenAI nêu cách khắc phục lỗi GPT-5 và Gemini 2.5 Pro bịa chuyện

Hiện tượng ảo giác (bịa chuyện) xảy ra khi một mô hình ngôn ngữ lớn tạo ra thông tin không chính xác nhưng lại trình bày như thể đó là sự thật. Điều này xảy ra ở các mô hình ngôn ngữ lớn phổ biến, từ GPT-5 của OpenAI, Claude Opus 4.1 của Anthropic đến Google Gemini 2.5 Pro.

Mô hình ngôn ngữ lớn là loại mô hình trí tuệ nhân tạo (AI) được thiết kế để hiểu và tạo ra ngôn ngữ tự nhiên giống con người. Mô hình ngôn ngữ lớn được huấn luyện trên lượng dữ liệu văn bản khổng lồ, có thể lên đến hàng tỉ tham số, cho phép chúng thực hiện nhiều tác vụ như trả lời câu hỏi, tóm tắt văn bản, dịch ngôn ngữ, tạo nội dung sáng tạo và nhiều ứng dụng khác trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP).

Mô hình ngôn ngữ lớn chính là công nghệ nền tảng cho các ứng dụng AI tạo sinh, chẳng hạn chatbot AI như ChatGPT, Claude, Gemini, Meta AI.

Phát hiện cơ bản từ OpenAI là các mô hình ngôn ngữ lớn ảo giác vì phương pháp huấn luyện chúng khuyến khích việc đoán mò nhiều hơn là thừa nhận sự không chắc chắn.

Nói cách khác, các mô hình ngôn ngữ lớn được dạy để “giả vờ cho đến khi trả lời thành công”. Tuy nhiên, một số mô hình làm việc tốt hơn những cái khác.

Trong một bài đăng trên blog, OpenAI cho biết các mô hình Claude “nhận thức rõ hơn về sự không chắc chắn của chúng và thường tránh đưa ra phản hồi không chính xác”. OpenAI cũng lưu ý rằng việc Claude có tỷ lệ từ chối cao có thể hạn chế tính hữu dụng của mô hình ngôn ngữ lớn do Anthropic phát triển.

“Các mô hình ngôn ngữ lớn có xu hướng ảo giác vì trong quá trình huấn luyện, chúng được khuyến khích đoán câu trả lời ngay cả khi không chắc chắn. Lý do vì điều này giúp cải thiện điểm số trong các bài kiểm tra mà nhà nghiên cứu dùng để đánh giá chúng”, OpenAI cho hay.

Các mô hình ngôn ngữ lớn về cơ bản luôn trong “chế độ làm bài kiểm tra”, trả lời câu hỏi như thể mọi thứ trong cuộc sống đều là nhị phân - đúng hoặc sai, trắng hoặc đen.

Ở nhiều khía cạnh, mô hình ngôn ngữ lớn không được trang bị để ứng phó với thực tế cuộc sống, nơi mà sự không chắc chắn thường phổ biến hơn chắc chắn và độ chính xác thực sự không phải lúc nào cũng được đảm bảo.

“Con người học cách chấp nhận và thể hiện sự không chắc chắn qua những trải nghiệm thực tế trong cuộc sống. Ngược lại, các mô hình ngôn ngữ lớn được huấn luyện để luôn phải đưa ra câu trả lời, vì nếu nói 'không biết' sẽ bị coi là thất bại”, những nhà nghiên cứu OpenAI viết.

Giải pháp khắc phục vấn đề mô hình ngôn ngữ lớn bịa chuyện

Tin tốt là có một giải pháp và liên quan đến việc thiết kế lại các chỉ số đánh giá.

Nhóm nhà nghiên cứu OpenAI viết: "Vấn đề gốc rễ là sự tràn lan của các bài đánh giá không đồng bộ. Các bài đánh giá chính phải được điều chỉnh để ngừng trừng phạt mô hình ngôn ngữ lớn (trừ điểm) nếu từ chối trả lời khi không chắc chắn".

Trong một bài đăng trên blog, OpenAI giải thích chi tiết hơn về loại điều chỉnh này: “Các bài đánh giá dựa trên độ chính xác, vốn được sử dụng rộng rãi, cần cập nhật để cách chấm điểm không khuyến khích việc đoán mò. Nếu bảng xếp hạng tiếp tục thưởng cho những dự đoán mang tính may rủi, các mô hình sẽ tiếp tục học cách đoán mò thay vì đưa ra câu trả lời chính xác hay thừa nhận khi không chắc chắn”.

6 cách giảm hiện tượng ảo giác

Để giảm thiểu hiện tượng ảo giác trong các mô hình ngôn ngữ lớn, các hãng AI hàng đầu như OpenAI, Anthropic và Google đang áp dụng nhiều phương pháp kết hợp. Dưới đây là những cách hiệu quả nhất hiện nay:

1. Tạo sinh có tăng cường truy xuất (RAG)

Phương pháp này tích hợp khả năng truy vấn dữ liệu từ nguồn bên ngoài vào quá trình tạo văn bản. Bằng cách này, mô hình AI có thể truy cập thông tin xác thực và cụ thể từ cơ sở dữ liệu hoặc tài liệu đã được xác minh, giúp giảm thiểu khả năng tạo ra thông tin sai lệch. RAG đã được chứng minh là một trong những phương pháp hiệu quả nhất để giảm ảo giác trong mô hình ngôn ngữ lớn.

Cách đây vài ngày, DeepSeek hé lộ bí kíp thu thập và lọc dữ liệu huấn luyện mô hình AI. Trong đó, công ty khởi nghiệp Trung Quốc cho biết cam kết giảm thiểu “ảo giác” cho các mô hình AI thông qua nghiên cứu và kỹ thuật như tạo sinh có tăng cường truy xuất, nhưng cũng thừa nhận rằng đây vẫn là một vấn đề “không thể tránh khỏi”.

“AI vẫn đang trong giai đoạn đầu và công nghệ vẫn còn non trẻ ở giai đoạn này. Chúng tôi không thể đảm bảo rằng các mô hình AI của mình sẽ không tạo ra ảo giác”, DeepSeek thông báo, đồng thời nhắc nhở người dùng tìm kiếm lời khuyên chuyên nghiệp khi cần thiết.

DeepSeek nhấn mạnh rằng các mô hình AI của họ dự đoán chứ không phải truy xuất câu trả lời dựa trên yêu cầu từ người dùng.

2. Kích thích suy nghĩ theo chuỗi

Kỹ thuật này khuyến khích mô hình ngôn ngữ lớn thực hiện các bước suy luận trung gian trước khi đưa ra câu trả lời cuối cùng. Điều này giúp mô hình kiểm tra và điều chỉnh quá trình suy nghĩ của mình, từ đó giảm khả năng tạo ra thông tin sai lệch. Đây là kỹ thuật đã được chứng minh là cải thiện đáng kể khả năng suy luận của mô hình, đặc biệt trong các tác vụ yêu cầu suy luận phức tạp.

3. Tinh chỉnh mô hình ngôn ngữ lớn

Việc tinh chỉnh mô hình ngôn ngữ lớn trên các bộ dữ liệu cụ thể có thể giúp nó học cách phản hồi chính xác hơn trong từng ngữ cảnh chuyên biệt. Ví dụ, một mô hình được tinh chỉnh trên dữ liệu y tế hoặc pháp lý sẽ ít có khả năng tạo ra thông tin sai lệch trong các lĩnh vực này.

4. Học củng cố từ phản hồi của con người

Phương pháp trên sử dụng phản hồi từ người dùng hoặc người đánh giá để điều chỉnh và cải thiện hành vi của mô hình ngôn ngữ lớn. Bằng cách này, mô hình ngôn ngữ lớn có thể học cách ưu tiên độ chính xác và tính liên quan, thay vì tạo ra câu trả lời có vẻ hợp lý nhưng không chính xác.

5. Cập nhật phương pháp đánh giá

Nhiều mô hình ngôn ngữ lớn hiện nay được huấn luyện để tối ưu hóa điểm số trong các bài kiểm tra. Điều này đôi khi khuyến khích mô hình dự đoán nếu không chắc chắn. Để giảm thiểu ảo giác, cần cập nhật các phương pháp đánh giá sao cho không thưởng cho việc đoán mò, mà thay vào đó khuyến khích mô hình từ chối khi không chắc chắn.

6. Sử dụng phản hồi nội bộ và tự đánh giá

Một số nghiên cứu gần đây đề xuất việc tích hợp cơ chế phản hồi nội bộ, nơi mô hình ngôn ngữ lớn tự kiểm tra và điều chỉnh các bước suy luận của mình trong quá trình tạo ra câu trả lời. Điều này giúp mô hình nhận ra và sửa chữa các sai sót trước khi đưa ra kết quả cuối cùng, từ đó giảm thiểu khả năng tạo ra thông tin sai lệch.