Binoculars vượt trội về khả năng phát hiện văn bản do AI tạo, giúp sinh viên tránh bị buộc tội sai

Các nhà nghiên cứu đã thử nghiệm Binoculars trên những tập dữ liệu lớn với bài viết tin tức, sáng tạo và bài luận của sinh viên. Họ cho biết công cụ này đã phát hiện hơn 90% các mẫu trong bộ dữ liệu được viết bởi AI, với tỷ lệ chính xác 99,9% (hoặc tỷ lệ báo cáo sai chỉ là 0,01%).

Khi các công cụ AI tạo sinh như ChatGPT của OpenAI trở nên phổ biến, mối lo ngại ngày càng tăng về việc sinh viên sử dụng AI để làm bài tập. Song song đó, nhiều sinh viên bị buộc tội sai là sử dụng AI làm bài tập dựa trên kết quả của các công cụ phát hiện AI. Vì thế vào năm ngoái, nhiều trường đại học đã bắt đầu vô hiệu hóa các công cụ phát hiện AI như vậy.

Khi quyết định ngừng sử dụng Turnitin, Đại học Vanderbilt đã trích dẫn tỷ lệ báo cáo sai của công cụ phát hiện AI này là 1%, nói rằng điều đó đồng nghĩa hàng trăm sinh viên có thể bị buộc tội sai dù không gian lận.

Những lo ngại khác về văn bản do AI tạo ra gồm cả sự phổ biến của các đánh giá sản phẩm giả mạo và thông tin sai lệch về chính trị.

Các nhà nghiên cứu Binoculars tuyên bố công cụ mới của họ có tỷ lệ báo cáo sai thấp hơn nhiều. Nhóm nghiên cứu cho biết đang cân nhắc biến Binoculars thành một sản phẩm dễ sử dụng hơn, có thể được cấp phép.

Abhimanyu Hans, nhà nghiên cứu tại Đại học Maryland, nói với trang Insider: “Việc phát hành sớm các sản phẩm kém chất lượng khiến mọi người nghĩ rằng việc phát hiện nội dung do mô hình ngôn ngữ lớn tạo ra là không thể, hoặc máy dò mô hình ngôn ngữ lớn không bao giờ hoạt động đủ tốt để trở nên hữu ích. Thực tế là nghiên cứu khoa học về phát hiện mô hình ngôn ngữ lớn đạt được những bước tiến lớn trong 6 tháng qua, đến mức nó có thể được sử dụng hiệu quả cho một số ứng dụng".

Các nhà nghiên cứu phát triển Binoculars đến từ Đại học Maryland, Đại học Carnegie Mellon, Đại học New York và Trung tâm AI Tübingen. Ngân sách nghiên cứu được tài trợ bởi Capital One, chương trình Amazon Research Awards và Open Philanthropy, chủ yếu do cặp vợ chồng tỷ phú Dustin Moskovitz và Cari Tuna tài trợ.

Binoculars có thể giúp đảm bảo 'tính toàn vẹn của nền tảng'

Các nhà nghiên cứu đã thử nghiệm Binoculars với những mô hình AI nguồn mở như Llama của Meta Platforms và Falcon của Abu Dhabi. Họ đã thử nghiệm Binoculars trên dữ liệu gồm các văn bản do con người viết và ChatGPT tạo ra, với số lượng bằng nhau.

Các nhà nghiên cứu cho biết Binoculars không được tinh chỉnh, đào tạo và đánh giá mô hình AI để hoạt động theo mong muốn của người thử nghiệm, nhưng hoạt động tốt hơn những hệ thống thương mại khác đã được tinh chỉnh để xác định văn bản do ChatGPT tạo.

Ngoài ra, nhóm nghiên cứu Binoculars tiết lộ mô hình phát hiện AI của họ "chưa được điều chỉnh cũng như huấn luyện để phát hiện ChatGPT nói riêng", điều rất quan trọng với việc kiểm duyệt phương tiện truyền thông xã hội và đảm bảo tính toàn vẹn của nền tảng.

Trong bài viết, các nhà nghiên cứu Binoculars chỉ ra rằng mô hình của họ "hoạt động hoàn toàn trong môi trường zero-shot". Trong học máy, zero-shot đề cập đến phản ứng của mô hình với các từ hoặc đối tượng mà nó không được huấn luyện.

“Do bản chất zero-shot của công cụ này, nó có thể phát hiện nhiều mô hình ngôn ngữ lớn khác nhau với độ chính xác cao, điều mà tất cả giải pháp hiện tại đều không làm được”, họ viết.

Các nhà nghiên cứu cũng đã kiểm thử Binoculars trên một bộ dữ liệu gồm các bài luận học từ người nói tiếng Anh không phải là ngôn ngữ mẹ đẻ của họ, nhấn mạnh lo ngại trong cộng đồng nghiên cứu rằng những công cụ AI có thiên hướng xác định chúng là nội dung do AI tạo. Họ nói rằng Binoculars đạt tỷ lệ chính xác 99,67% với văn bản như vậy.

Sợ sinh viên bị buộc tội sai việc dùng ChatGPT, nhiều trường bỏ phần mềm phát hiện AI

Vào năm ngoái, một số trường đại học lớn đã ngừng sử dụng các công cụ phát hiện AI của công ty chống sao chép Turnitin vì lo ngại rằng công nghệ này khiến sinh viên bị buộc tội sai việc sử dụng ChatGPT để viết luận văn.

Các trường đại học phải tiếp tục tìm cách khác để ngăn sinh viên sử dụng ChatGPT viết bài luận sau khi bỏ công cụ phát hiện AI do Turnitin cung cấp vì lo ngại về độ chính xác, theo hãng tin Bloomberg.

Quyết định này được đưa ra bất chấp sự phổ biến ngày càng tăng của ChatGPT với sinh viên và mối lo ngại ngày càng nhiều của các nhà giáo dục rằng chatbot AI này đang thúc đẩy vấn nạn gian lận.

Đại học Vanderbilt cho biết trong bài đăng trên blog: “Sau vài tháng sử dụng và thử nghiệm công cụ này, gặp gỡ Turnitin và các nhà lãnh đạo AI khác, cũng như nói chuyện với các trường đại học khác cũng có quyền truy cập (công cụ của Turnitin), Đại học Vanderbilt đã quyết định vô hiệu hóa công cụ phát hiện AI của Turnitin trong tương lai gần”.

Đại học Vanderbilt thông báo công cụ phát hiện AI này có tỷ lệ sai 1% khi ra mắt, ước tính sẽ dẫn đến khoảng 750 trong số 75.000 bài luận mà họ gửi tới Turnitin vào năm ngoái bị gắn nhãn không chính xác là được viết bằng AI.

Trong một bài đăng trên trang web của mình, Đại học Northwestern cũng cho biết sẽ tắt máy dò AI của Turnitin sau hàng loạt cuộc tư vấn. Trường này không khuyến nghị sử dụng nó để kiểm tra bài tập của sinh viên.

Art Markman, Phó hiệu trưởng phụ trách các vấn đề học thuật tại Đại học Texas (Mỹ), nói với Bloomberg rằng trường của ông đã ngừng sử dụng công cụ này vì lo ngại về độ chính xác.

Ông nói: “Nếu chúng tôi cảm thấy những công cụ này đủ chính xác thì việc có chúng sẽ thật tuyệt vời. Thế nhưng, chúng tôi không muốn tạo ra tình huống học sinh bị buộc tội sai”.

Các nhà giáo dục đã thử nghiệm nhiều cách để giải quyết sự phổ biến của các công cụ AI tạo sinh như ChatGPT trong sinh viên, với nhiều kết quả khác nhau. Một giáo sư ở Đại học Texas đã bị sa thải vì đánh trượt nửa lớp sau khi "ChatGPT xác định sai bài luận của họ là do AI viết". Các sinh viên khác cho biết bị phần mềm chống sao chép cáo buộc sai về việc sử dụng AI.

Xác định khi nào văn bản được viết bởi AI là việc rất khó khăn. OpenAI đã loại bỏ công cụ phát hiện văn bản AI của mình do "tỷ lệ chính xác thấp". OpenAI cảnh báo các nhà giáo dục rằng trình phát hiện nội dung AI không đáng tin cậy trong hướng dẫn tựu trường gần đây của họ.

Theo đó, OpenAI xác nhận rằng nhiều công cụ phát hiện có xu hướng xác định không chính xác tác phẩm được viết bởi các tác giả không phải người Anh là do AI tạo ra, điều mà Đại học Vanderbilt xác định rằng đáng lo ngại.

Trong một tuyên bố với Bloomberg, Turnitin cho biết phần mềm phát hiện AI của họ không được thiết kế để sử dụng để trừng phạt sinh viên. Annie Chechitelli, Giám đốc sản phẩm của Turnitin, nói: “Công nghệ của Turnitin không nhằm mục đích thay thế quyết định chuyên môn của các nhà giáo dục”.

Việc sử dụng công nghệ AI trong giáo dục đã trở thành vấn đề gây tranh cãi. Trong khi một số trường ở bang Texas (Mỹ) đã cấm học sinh/sinh viên sử dụng ChatGPT, những trường khác đang cố gắng tích hợp chatbot AI này vào quá trình giảng dạy.