Một nghiên cứu mới được công bố bởi Apple Machine Learning Research đã thách thức những quan điểm hiện tại về khả năng "suy luận" của các mô hình như o1, và các biến thể chatbot suy luận của Claude, tiết lộ những hạn chế cơ bản cho thấy hệ thống này thực tế không hề có khả năng suy nghĩ như quảng cáo. Trong nghiên cứu này, thay vì sử dụng các tiêu chuẩn đánh giá toán học thông thường dễ bị nhiễm dữ liệu, các nhà nghiên cứu của Apple đã thiết kế các môi trường giải đố với quy luật logic có thể kiểm soát được, bao gồm Tháp Hà Nội và Vượt Sông. Điều này cho phép phân tích chính xác cả câu trả lời cuối cùng và dấu vết lý luận nội bộ ở các mức độ phức tạp khác nhau, theo các nhà nghiên cứu. Kết quả từ 6 nhà nghiên cứu khoa học máy tính của Apple đưa ra thực sự gây sốc. Tất cả các mô hình lý luận được đem ra thử nghiệm bao gồm o3-mini, DeepSeek-R1 và Claude 3.7 Sonnet, đều trải qua sự sụp đổ hoàn toàn về độ chính xác khi bài toán yêu cầu AI giải đáp vượt quá một ngưỡng phức tạp nhất định, và giảm xuống tỷ lệ suy luận thành công bằng 0 mặc dù có đủ tài nguyên tính toán. Ngược đời và phi logic ở chỗ, các mô hình thực tế lại giảm bớt nỗ lực tư duy khi vấn đề trở nên phức tạp hơn, cho thấy những hạn chế về khả năng mở rộng cơ bản, chứ không phải là hạn chế về tài nguyên điện toán. Có lẽ nghiêm trọng nhất, ngay cả khi các nhà nghiên cứu cung cấp thuật toán giải pháp hoàn chỉnh, các mô hình vẫn thất bại ở cùng một điểm mô tả mức độ phức tạp của bài toán. Các nhà nghiên cứu nói rằng điều này cho thấy hạn chế không nằm ở chiến lược giải quyết vấn đề, mà ở việc thực thi các bước logic cơ bản. Các mô hình cũng thể hiện những sự không nhất quán đáng ngạc nhiên. Mô hình AI thành công với các bài toán đòi hỏi hơn 100 nước đi nhưng lại thất bại với các câu đố đơn giản hơn chỉ cần 11 nước đi. Nghiên cứu làm nổi bật ba chế độ hoạt động riêng biệt: Các mô hình tiêu chuẩn vượt trội hơn các mô hình lý luận ở mức độ phức tạp thấp, các mô hình lý luận thể hiện lợi thế ở mức độ phức tạp trung bình và cả hai phương pháp đều thất bại hoàn toàn ở mức độ phức tạp cao. Các phân tích dấu vết suy luận do các nhà nghiên cứu thực hiện cho thấy những kiểu "overthinking" không hiệu quả, trong đó các mô hình tìm ra giải pháp đúng sớm nhưng lãng phí tài nguyên điện toán để khám phá các lựa chọn thay thế rốt cuộc đưa ra câu trả lời sai. Điểm mấu chốt từ phát hiện của Apple là các mô hình "suy luận" hiện tại dựa vào việc so khớp mẫu tinh vi từ dữ liệu huấn luyện, chứ không phải khả năng suy luận thực sự. Nó cho thấy rằng LLM không thể mở rộng khả năng suy luận như cách não bộ con người có thể làm, suy nghĩ quá nhiều về những vấn đề dễ dàng, và sụp đổ khả năng suy luận đối với những vấn đề có mức độ phức tạp cao hơn. Anh em muốn đọc chi tiết nghiên cứu có thể tham khảo tại đây: https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf