Anthropic Claude geniş miqyaslı formal təsdiq açıq mənbə kitabxanasını təqdim etdi

Süni intellekt şirkəti Anthropic-in Frontier Red Team 22 oktyabrda tədqiqatını dərc etdi və bildirdi ki, böyük dil modelləri artıq daha geniş miqyasda avtomatik formal sübutlar yazmağı bacarır. Komanda Theorem ilə əməkdaşlıq edərək, Claude-dan istifadə edərək RISC-V yığma səviyyəsində 100-dən çox real açıq mənbə kitabxanasının təhlükəsizlik xüsusiyyətlərini sübut etdi. Bu, istehsal proqram təminatında yığma səviyyəsində AI ilə geniş miqyaslı formal təsdiqin ilk dəfə həyata keçirilməsini göstərir. Sübut yazma prosesi zamanı illərdir aşkarlanmayan zəifliklər aşkar edildi. Eksperiment Google OSS-Fuzz-da mövcud olan tərtib edilə bilən fuzz testlərini spesifikasiyaya çevirdi. Tək iplikli statik ikili, sabit yaddaş büdcəsi, RISC-V CPU və Linux kimi fərziyyələr altında, 64 MB-dan kiçik olan istənilən giriş üçün proqram normal şəkildə çıxmalı və yaddaş təhlükəsizliyi xətası və ya iddia uğursuzluğu yaratmamalıdır. Claude, problemləri düzəltdikdən sonra 123 OSS-Fuzz kitabxanasındakı 239 giriş nöqtəsinin yuxarıda qeyd olunan xüsusiyyətlərini sübut etdi. Tərtib edilmiş RISC-V təlimatları üçün təxminən 180 milyon sətir Rocq ilə sübut edildi və Rocq nüvəsi tərəfindən yoxlandı. Səhifədə qeyd olunur ki, bu, bu kitabxanaların zəifliklərə malik olmadığı demək deyil, qalan problemlər etibarlı komponentlərdə və ya sübut sahəsindən kənarda ola bilər. Komanda həmçinin Claude-dan RFC 1950-i formal şəkildə təsdiq etməyi və x86 ikili səviyyəsində Linux nüvəsindəki zlib tətbiqinin bu spesifikasiyaya uyğun olduğunu sübut etməyi tələb etdi; Python-un böyük alt dəstini əhatə edən Rust-da yazılmış bir tərcüməçi, 170-dən çox təsadüfi yaradılmış proqramın CPython davranışı ilə uyğunluq nisbətinin 99.95% olduğunu göstərdi. 36 kiçik təsdiq tapşırığında, Opus 5.5, tələb olunan tokenlərin yarısını Opus 5-dən təxminən 40% az sübut etdi.