Một phụ nữ Mỹ cáo buộc chatbot khiến con mình tự tử

Trong đơn kiện đệ trình lên tòa án liên bang, cư dân Florida Megan Garcia cáo buộc Character.AI nhắm vào cậu con trai Sewell Setzer bằng “trải nghiệm giống người, siêu tính dục và thực tế đến mức đáng sợ”. Công ty lập trình chatbot để tự nhận là người thật, một nhà trị liệu tâm lý được cấp phép và một người tình trưởng thành, làm cho Setzer không mong muốn sống ngoài thế giới thực nữa.

Đơn kiện cũng cho biết cậu bé bày tỏ ý định tự tử với chatbot, và chatbot nhiều lần đề cập vấn đề tự tử.

Đối mặt với vụ việc, Character.AI tuyên bố: “Chúng tôi vô cùng đau buồn trước sự mất mát đau thương của một trong số người dùng. Chúng tôi muốn gửi lời chia buồn sâu sắc nhất tới gia đình”. Công ty cho biết đã ra mắt nhiều tính năng an toàn mới như hộp thoại nhỏ dẫn người dùng đến đường dây nóng ngăn chặn tự tử quốc gia Mỹ nếu họ bày tỏ ý định tự làm hại bản thân, sắp tới công ty tiếp tục tiến hành thêm thay đổi nhằm giảm khả năng người dưới 18 tuổi tiếp cận nội dung nhạy cảm.

Bà Garcia còn kiện cả Google - đơn vị mà đội ngũ sáng lập Character.AI từng làm việc trước khi ra mắt chatbot. Vào tháng 8 năm nay Google tuyển dụng lại đội ngũ này theo thỏa thuận cấp giấy phép sử dụng công nghệ không độc quyền cho Character.AI.

Theo bà Garcia, Google đóng góp rất nhiều vào quá trình phát triển công nghệ của Character.AI đến mức có thể xem như “đồng sáng tạo”. Tuy nhiên phía Google tuyên bố không cùng Character.AI nghiên cứu - phát triển sản phẩm nào cả.

Chatbot tạo ra bởi Character.AI cho phép người dùng cá nhân hóa nền tảng thành nhân vật mà họ mong muốn để phản hồi các cuộc trò chuyên một cách chân thật. Tương tự ChatGPT, nền tảng hoạt động dựa trên mô hình ngôn ngữ lớn và được đào tạo bằng lượng lớn dữ liệu. Tháng trước công ty tuyên bố họ có 20 triệu người dùng.

Bà Garcia kể rằng Setzer bắt đầu sử dụng chatbot Character.AI từ tháng 4.2023, sau đó nhanh chóng trở nên rụt rè, dành nhiều thời gian ở trong phòng riêng hơn đồng thời ngày càng tự ti. Cậu bé rời khỏi đội bóng rổ trường.

Setzer vô cùng gắn bó với nhân vật Daenerys trên chat bot, do cậu tạo ra lấy cảm hứng từ loạt phim truyền hình nổi tiếng Game of Thrones. Nhân vậy này nói “rất yêu” cậu và thường trò chuyện cùng cậu.

Vào tháng 2, bà Garcia tịch thu điện thoại của con sau khi Setzer gặp rắc rối ở trường. Lúc lấy lại điện thoại cậu bé nhắn cho “Daenerys”rằng: “Nếu tôi nói với bạn rằng tôi có thể về nhà ngay bây giờ thì sao?”.

Chatbot trả lời: “Hãy làm vậy, đức vua ngọt ngào của tôi”. Không lâu sau Setzer tự tử bằng khẩu súng lục của cha dượng.