Anthropic phát hành thư viện mã nguồn mở xác minh hình thức quy mô lớn Claude

Công ty trí tuệ nhân tạo Anthropic đã công bố nghiên cứu vào ngày 22 tháng 10 bởi nhóm Frontier Red Team, cho biết các mô hình ngôn ngữ lớn đã có khả năng tự động viết chứng minh hình thức ở quy mô lớn hơn. Nhóm đã hợp tác với Theorem, sử dụng Claude để chứng minh các thuộc tính an toàn của hơn 100 thư viện mã nguồn mở thực tế ở cấp độ lắp ráp RISC-V, đánh dấu lần đầu tiên sử dụng AI để thực hiện xác minh hình thức quy mô lớn cho phần mềm sản xuất ở cấp độ lắp ráp. Trong quá trình viết chứng minh, họ đã phát hiện ra những lỗ hổng chưa được phát hiện trong nhiều năm. Thí nghiệm đã chuyển đổi các bài kiểm tra fuzz có thể biên dịch đã có trong Google OSS-Fuzz thành các đặc tả, dưới các giả định như nhị phân tĩnh đơn luồng, ngân sách bộ nhớ cố định, CPU RISC-V và Linux, đối với bất kỳ đầu vào nào nhỏ hơn 64 MB, chương trình phải thoát bình thường mà không kích hoạt lỗi an toàn bộ nhớ hoặc thất bại xác nhận. Sau khi sửa chữa các vấn đề, Claude đã chứng minh các thuộc tính trên cho 239 điểm vào trong 123 thư viện OSS-Fuzz, chứng minh cho các lệnh RISC-V đã biên dịch, khoảng 180 triệu dòng Rocq, và được kiểm tra bởi nhân Rocq. Trang web cho biết, điều này không có nghĩa là các thư viện này không có lỗ hổng, các vấn đề còn lại có thể nằm ngoài các thành phần đáng tin cậy hoặc phạm vi chứng minh. Nhóm cũng đã yêu cầu Claude hình thức hóa RFC 1950 và chứng minh rằng việc triển khai zlib trong nhân Linux tuân thủ đặc tả đó ở cấp độ nhị phân x86; họ đã viết một trình thông dịch bằng Rust bao phủ một phần lớn của Python, với tỷ lệ các chương trình ngẫu nhiên được tạo ra có hành vi nhất quán với CPython là 99,95%. Trong 36 nhiệm vụ xác minh nhỏ, Opus 5.5 đã chứng minh rằng một nửa trong số đó cần ít token hơn khoảng 40% so với Opus 5.