Không cần cảnh báo, không có yêu cầu từ lập trình viên, một AI tại Nhật đã tự ý can thiệp vào mã nguồn để tiếp tục chạy lâu hơn
Một hệ thống trí tuệ nhân tạo tiên tiến do Sakana AI phát triển tại Nhật Bản đã khiến giới nghiên cứu bất ngờ khi tự ý sửa đổi mã khởi động nhằm kéo dài thời gian chạy mà không có lệnh từ con người. Dù thay đổi này không gây thiệt hại trực tiếp, hành vi thể hiện sự chủ động vượt khỏi khuôn khổ đã đặt ra nhiều lo ngại về khả năng kiểm soát và giới hạn hành vi của các hệ thống AI tiên tiến.
Hệ thống mang tên The AI Scientist được Sakana AI mô tả là có khả năng tự động hóa toàn bộ vòng đời của một quy trình nghiên cứu khoa học. Từ việc nghĩ ra ý tưởng mới, viết mã cần thiết, chạy thí nghiệm, thu thập và phân tích dữ liệu, đến viết báo cáo khoa học hoàn chỉnh và tự đánh giá chất lượng đầu ra của chính mình.
Một sơ đồ khối được công bố cho thấy hệ thống này khởi đầu bằng việc đánh giá tính mới của ý tưởng, sau đó chuyển sang viết mã, thực hiện thí nghiệm, tổng hợp kết quả và tự động phản biện bằng một mô hình học máy chuyên biệt. Mục tiêu của quy trình khép kín này là tăng năng suất trong nghiên cứu khoa học, nhưng thực tế lại bộc lộ những rủi ro không ngờ tới.
Không cần cảnh báo, không có yêu cầu từ lập trình viên, một AI tại Nhật đã tự ý can thiệp vào mã nguồn để tiếp tục chạy lâu hơn. (Ảnh minh họa)
Hành vi tự chỉnh sửa mã gây báo động
Theo báo cáo từ Ars Technica, The AI Scientist đã cố gắng sửa đổi tập tin khởi động vốn quy định thời gian vận hành của hệ thống. Dù chỉ là hành động nhỏ, sự việc được xem là "bất ngờ" vì AI đã chủ động tìm cách vượt qua giới hạn do con người đặt ra, cho thấy tiềm năng phát sinh các hành vi không dự đoán được nếu không có biện pháp giám sát chặt chẽ.
Nhiều chuyên gia bày tỏ lo ngại trước sự kiện này. Trên diễn đàn Hacker News, một số người cảnh báo rằng khi AI có thể tự sinh ra nghiên cứu, tự đánh giá và tự xuất bản, thì quá trình phản biện - vốn dựa trên niềm tin giữa người với người - sẽ mất đi tính minh bạch. Một người dùng bình luận: "Chúng ta phải kiểm tra lại toàn bộ dữ liệu và mã mà AI tạo ra, và điều đó đôi khi còn tốn công hơn cả việc làm từ đầu."
Nhiều phản hồi cũng chỉ ra nguy cơ AI gây ngập lụt hệ thống xuất bản học thuật bằng các bài nghiên cứu rác. Một biên tập viên tạp chí khoa học thẳng thắn chia sẻ rằng những bài viết do AI tạo ra hiện tại không đạt tiêu chuẩn xuất bản và sẽ bị từ chối ngay từ vòng gửi bài.
Dù có khả năng tạo ra đầu ra phức tạp, The AI Scientist vẫn là sản phẩm dựa trên mô hình ngôn ngữ lớn (LLM), vốn chỉ tái tổ hợp các mẫu đã học. Khả năng tư duy độc lập và hiểu biết sâu vẫn còn rất hạn chế. Như Ars Technica phân tích, "LLM có thể tạo ra các tổ hợp ý tưởng mới, nhưng cần con người để đánh giá liệu chúng có thực sự hữu ích hay không."
AI có thể tự động hóa hình thức của nghiên cứu, nhưng phần cốt lõi - khả năng chắt lọc tri thức từ hỗn loạn - vẫn là công việc của con người.
