Claude Fable 5 не був знижений. Роутер просто параноїдальний

By: decrypt.co|2026/07/03 21:06:03
0
Поширити
copy
Оцінити в GoogleОцінити в Google

Claude Fable 5 знову з'явився в мережі 1 липня, і вирок у соціальних мережах був не надто приємним: зламаний, знижений, лоботомізований, недостатньо продуктивний, не той самий модель.

Критика з боку користувачів була гучною. Потім два бенчмарки — BridgeBench AI та Arena AI — опублікували дані в той же день і дійшли протилежних висновків. Один виявив серйозне зниження якості виходу, інший виявив різниці настільки незначні, що їх, можливо, не помітити.

Обидва, у своєму роді, мають рацію.

Коротка версія: Модель не стала дурнішою. Охоронець перед нею став набагато агресивнішим. Це розрізнення має велике значення залежно від того, для чого ви використовуєте Fable.

Що насправді вимірював BridgeBench

BridgeMind — платформа оцінки AI — повторно запустила свій повний набір тестів кодування проти версії Fable 5 від 1 липня в день її повернення.

BridgeBench тестує реальні завдання кодування в різних категоріях, включаючи налагодження, рефакторинг та опір галюцинаціям, оцінюючи від 0 до 100, наскільки добре модель виконує кожну категорію. Результати були сумними на папері: Налагодження впало з 86.2 до 25.9, Рефакторинг з 73.6 до 38.4, а Опір галюцинаціям з 75.9 до 61.7.

Проблема в методології. З 12 завдань налагодження TypeScript лише три насправді дійшли до Fable 5. Решта дев'ять були перехоплені новим класіфікатором безпеки Anthropic і перенаправлені до Claude Opus 4.8 — і BridgeBench оцінює кожен запасний варіант як нуль, оскільки модель, яка відповіла, не була тією, що оцінювалася.

Класіфікатор, введений як умова відновлення Fable, був навчений блокувати техніку jailbreak, про яку повідомляло Amazon — ту, що змусила Fable 5 ідентифікувати та демонструвати вразливості програмного забезпечення. Це працює. Це також ловить багато речей, які не повинні. Налагодження TypeScript виглядає достатньо схожим на "роботу з безпекою" для класіфікатора, що запасний варіант спрацьовує постійно.

Що насправді вимірював Arena.AI

Arena.AI, платформа бенчмаркінгу та порівняння LLM, запустила те ж питання через іншу призму. Платформа збирає тисячі сліпих голосів людських уподобань у кількох категоріях — текст, зображення, документи, код та агент — і ранжує моделі, використовуючи систему оцінювання Elo, похідну від шахів, яка коригує статистичну невизначеність у тисячах прямих зіткнень. Коли дві моделі змагаються анонімно, а люди обирають переможця, оцінка відображає фактичну сприйняту якість, а не маршрутизацію інфраструктури.

Порівняння до і після показало, що Fable 5 в основному зберігає свої позиції. Оцінка фронтенд-коду впала з 1650 до 1623 Elo — різниця, яку Arena зазначила, знаходиться в межах довірчого інтервалу, оскільки дані продовжують накопичуватися. Продуктивність документів покращилася на 34 бали. Експертний текст зріс на 25. Креативне письмо трохи піднялося на 9. Категорії, які знизилися: Кодування на -18, важкі запити на -3 — це саме ті місця, де класіфікатор найімовірніше перехоплює запит перед тим, як Fable зможе відповісти.

Іншими словами, коли Fable 5 насправді виконує завдання, він все ще працює як Fable 5. Розчарування на X не пов'язане з гіршою моделлю, а більше з тим, що ви платите за модель, яка часто не є тією, що відповідає.

Хто постраждав, а хто ні

Звичайні користувачі, які займаються креативним письмом, аналізом документів, дослідженнями та запитами на експертному рівні, ймовірно, не помітять жодної різниці. Це ті категорії, де Arena.AI показує стабільну або покращену продуктивність. Якщо є деяке покращення, воно може бути занадто малим, щоб помітити, особливо в суб'єктивних, якісних завданнях, таких як креативне письмо, де важко повністю виміряти результати.

Отже, в основному, письменники, дослідники та аналітики отримають Fable 5, якого вони очікували. Розробники — це інша історія.

Будь-хто, хто працює в території, пов'язаній з безпекою — кодування управління пам'яттю, все, що стосується слів, таких як "вразливість", "експлуатація", "гак" або навіть "виправлення" — буде регулярно стикатися з запасним варіантом.

Різниця між колапсом BridgeBench і стабільністю Arena зводиться до типу завдання. BridgeBench завантажує свій набір саме тими запитами на виправлення коду та налагодження, які активують новий класіфікатор. Людські голоси Arena запитують набагато ширшу суміш речей, і більшість з них не виглядають як код експлуатації для шару безпеки.

Anthropic заявив, що класіфікатори покращаться з часом, визнаючи, що вони наразі накладають занадто широкий нет. Первісна заборона була введена після того, як дослідники Amazon виявили техніку, яка дозволила Fable ідентифікувати та демонструвати вразливості програмного забезпечення — і уряд США розглянув це як загрозу національній безпеці. Виправлення полягало в тому, щоб зробити класіфікатор достатньо консервативним, щоб ловити це та все навколо, а потім налаштувати його пізніше.

Anthropic не вказав цільову дату, коли це станеться.

Ціна --

--
--
--

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.

Вам також може сподобатися

Вміст

Найновіші статті

Більше

Нещодавні лістинги монет на WEEX

iconiconiconiconiconicon
Підтримка клієнтів:@weikecs
Співпраця:@weikecs
Кількісна торгівля та маркетмейкінг:[email protected]
VIP-програма:[email protected]