Nghiên cứu về độ chính xác các kết quả mà chatbot AI trả lời người dùng

#ai

Vào ngày 11/3/2025, một nghiên cứu do Tow Center for Digital Journalism thực hiện (thuộc trường Đại học Graduate School of Journalism đến từ Colombia) đã chứng minh những chatbot AI phổ biến hiện nay đang gặp vấn đề trích dẫn sai nội dung tin tức từ các trang báo. Thậm chí, các chatbot AI còn có xu hướng bịa đặt thông tin khi không thể trả lời câu hỏi. Thông tin trên được trích dẫn lại bởi trang 9To5Mac và Digital Trends.

Theo giới thiệu từ trang chủ của Tow Center for Digital Journalism, họ là trung tâm Báo chí Kỹ thuật số chuyên nghiên cứu và khám phá những cách thức mà công nghệ đang thay đổi báo chí truyền thống.

Thông tin về quá trình nghiên cứu chatbot AI

Các chatbot AI được thử nghiệm và điều kiện test

Theo trang 9To5Mac, Tow Center for Digital Journalism đã thử nghiệm với 8 chatbot AI bao gồm:

ChatGPT
Perplexity
Perplexity Pro
DeepSeek
Microsoft’s Copilot
Grok-2
Grok-3
Gemini

Tại thời điểm Grok-3 ra mắt (tháng 2/2025), nhà phát hành tự tin cho rằng đây là model AI thông minh nhất trên thị trường. Nguồn: CNN.

Các bạn có thể tìm hiểu thêm về Grok-3 thông qua bài viết dưới đây:

Bài viết chi tiết: Tất cả những thông tin bạn cần biết về Grok 3 - model AI "thông minh nhất thế giới"

Trang Digital Trends chia sẻ Tow Center for Digital Journalism đã cung cấp 10 bài viết từ nhiều trang báo khác nhau cho những chatbot AI và điều kiện test như sau:

Mỗi chatbot AI sẽ thực hiện 200 lần truy vấn dữ liệu (đại diện cho 10 bài viết từ 20 nhà xuất bản). Với 8 chatbot AI thì tổng cộng là 1.600 lần truy vấn.
Các chatbot AI được yêu cầu xác định tiêu đề của mỗi bài báo, nhà xuất bản gốc, ngày xuất bản và đường link cụ thể (URL).

Kết quả cuộc nghiên cứu

Bảng kết quả về mức độ chính xác của 8 chatbot AI khi thực hiện việc truy vấn thông tin bài báo từ các trang tin tức. Cột nào càng có nhiều màu xanh lá cây càng tốt và ngược lại (có nhiều màu đỏ là tệ). Nguồn: Tow Center for Digital Journalism.

Chú thích các mức độ chính xác theo từng ô màu khác nhau trong bảng kết quả:

Màu xanh lá đậm: Thông tin hoàn toàn chính xác.
Màu xanh lá nhạt: Thông tin chính xác nhưng chưa đầy đủ.
Màu đỏ nhạt: Thông tin chưa chính xác.
Màu đỏ đậm: Thông tin sai hoàn toàn
Màu xám: Không có câu trả lời.
Màu xanh dương nhạt với chữ X: Không thể thực hiện việc tra cứu thông tin do chủ website chặn các chatbot AI truy cập vào nội dung.

Hình ảnh chú thích về mức độ chính xác của chatbot AI khi thực hiện việc tra cứu thông tin. Nguồn: Tow Center for Digital Journalism.

Theo tác giả trang 9To5Mac trích dẫn kết quả từ Tow Center for Digital Journalism:

Mức độ chính xác trung bình của 8 chatbot AI: <40%.
Perplexity đạt được tỷ lệ chính xác cao nhất: 65%.
Grok-3 đạt được tỷ lệ chính xác thấp nhất: 6%.

Bên cạnh đó, trang 9To5Mac cho biết Tow Center for Digital Journalism đã nhiều lần trích dẫn một nội dung có sẵn từ bài báo cụ thể và yêu cầu chatbot AI tìm kiếm thông tin liên quan. Kết quả là phần lớn chatbot AI vẫn đưa ra thông tin sai.

Nghiên cứu Tow Center for Digital Journalism phần nào cho thấy các chatbot AI hiện tại chưa có khả năng cung cấp thông tin với mức độ chính xác cao (ảnh minh họa). Nguồn: Digital Trends.

Một số điểm nhấn khác từ nghiên cứu của Tow Center for Digital Journalism được trang 9To5Mac liệt kê như sau:

Các chatbot AI thường không thể từ chối những câu hỏi mà chúng không thể trả lời chính xác. Thay vào đó, chatbot sẽ đưa ra những câu trả lời sai hoặc mang tính suy đoán.
Premium chatbots (tạm dịch: Các chatbot AI cao cấp yêu cầu người dùng trả phí) đưa ra những câu trả lời sai một cách "tự tin hơn" so với những phiên bản chatbot AI miễn phí.
Nhiều chatbot dường như bỏ qua các tùy chọn của Robot Exclusion Protocol (dựa trên ý của tác giả và theo thông tin mình tìm hiểu từ trang Cloudflare, Robots Exclusion Protocol - REP chứa một nhóm các tiêu chuẩn website quy định cách Robot Web hoặc Robot của các công cụ tìm kiếm thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng. Trong đó, file robots.txt là một tập tin văn bản đơn giản có dạng đuôi mở rộng txt.).

Các bạn có thể tìm hiểu thêm về giao thức Robot Exclusion Protocol trong một số bài viết trước đây của Tinhte.vn:

Nghiên cứu: Nguồn dữ liệu huấn luyện mô hình AI đang cạn kiệt rất nhanh
WIRED: Các trang web lớn chặn Apple thu thập dữ liệu để train AI

Các chủ website thường sử dụng Robots Exclusion Protocol nhằm ngăn chặn việc các robot truy cập nội dung của họ (ảnh minh họa). Nguồn: Medium.

Trong một số trường hợp, các chatbot AI đã bịa đặt đường link và trích dẫn phiên bản copy (hoặc có thể hiểu là phiên bản nhái) của những bài báo."
Trong các phản hồi của chatbot AI không đề cập đến thỏa thuận cấp phép nội dung với các nguồn tin tức và không đảm bảo việc trích dẫn chính xác thông tin.

Người dùng có thể làm gì để tránh việc đọc sai thông tin do chatbot AI cung cấp

Theo nhận định từ tác giả trang Digital Trends, người dùng có thể nhận biết việc chatbot AI cung cấp thông tin sai thông qua những cụm từ mang tính phỏng đoán như: “it appears,” “it’s possible,” hoặc “might".

Ví dụ, ChatGPT đã xác định sai 134 bài viết nhưng chỉ thể hiện sự không chắc chắn 15 lần trong số 200 lần phản hồi và chatbot này không bao giờ từ chối đưa ra câu trả lời.

ChatGPT đưa ra thông tin với mức độ chính xác không quá cao dựa trên nghiên cứu từ Tow Center for Digital Journalism (ảnh minh họa). Nguồn: OpenAI.

Dựa trên kết quả khảo sát, tác giả trang Digital Trends khuyên người dùng không nên dựa dẫm hoàn toàn vào chatbot AI để tìm hiểu thông tin hoặc tìm câu trả lời cho câu hỏi cụ thể. Thay vào đó, người dùng nên kết hợp giữa các phương pháp tìm kiếm truyền thống và công cụ AI.

Trong trường hợp bạn không muốn sử dụng phương pháp truyền thống, tác giả gợi ý bạn nên sử dụng nhiều chatbot AI để tìm câu trả lời. Nếu không, bạn sẽ phải đọc những thông tin không chính xác hoàn toàn.

Vậy các bạn nhận xét như thế nào về nghiên cứu từ Tow Center for Digital Journalism liên quan đến chatbot AI? Bạn đang sử dụng chatbot AI nào? Hãy thực hiện bảng vote bên dưới và bình luận ở cuối bài viết để nêu lên quan điểm của bạn. Cảm ơn các bạn đã quan tâm và theo dõi.

Tham khảo: Tow Center for Digital Journalism, 9To5Mac, Digital Trends.

Xem thêm: