Claude Fable 5 не був знижений. Роутер просто параноїдальний
Claude Fable 5 знову з'явився в мережі 1 липня, і вирок у соціальних мережах був не надто приємним: зламаний, знижений, лоботомізований, недостатньо продуктивний, не той самий модель.
Критика з боку користувачів була гучною. Потім два бенчмарки — BridgeBench AI та Arena AI — опублікували дані в той же день і дійшли протилежних висновків. Один виявив серйозне зниження якості виходу, інший виявив різниці настільки незначні, що їх, можливо, не помітити.
Обидва, у своєму роді, мають рацію.
Коротка версія: Модель не стала дурнішою. Охоронець перед нею став набагато агресивнішим. Це розрізнення має велике значення залежно від того, для чого ви використовуєте Fable.
Що насправді вимірював BridgeBench
BridgeMind — платформа оцінки AI — повторно запустила свій повний набір тестів кодування проти версії Fable 5 від 1 липня в день її повернення.
BridgeBench тестує реальні завдання кодування в різних категоріях, включаючи налагодження, рефакторинг та опір галюцинаціям, оцінюючи від 0 до 100, наскільки добре модель виконує кожну категорію. Результати були сумними на папері: Налагодження впало з 86.2 до 25.9, Рефакторинг з 73.6 до 38.4, а Опір галюцинаціям з 75.9 до 61.7.
Проблема в методології. З 12 завдань налагодження TypeScript лише три насправді дійшли до Fable 5. Решта дев'ять були перехоплені новим класіфікатором безпеки Anthropic і перенаправлені до Claude Opus 4.8 — і BridgeBench оцінює кожен запасний варіант як нуль, оскільки модель, яка відповіла, не була тією, що оцінювалася.
Класіфікатор, введений як умова відновлення Fable, був навчений блокувати техніку jailbreak, про яку повідомляло Amazon — ту, що змусила Fable 5 ідентифікувати та демонструвати вразливості програмного забезпечення. Це працює. Це також ловить багато речей, які не повинні. Налагодження TypeScript виглядає достатньо схожим на "роботу з безпекою" для класіфікатора, що запасний варіант спрацьовує постійно.
Що насправді вимірював Arena.AI
Arena.AI, платформа бенчмаркінгу та порівняння LLM, запустила те ж питання через іншу призму. Платформа збирає тисячі сліпих голосів людських уподобань у кількох категоріях — текст, зображення, документи, код та агент — і ранжує моделі, використовуючи систему оцінювання Elo, похідну від шахів, яка коригує статистичну невизначеність у тисячах прямих зіткнень. Коли дві моделі змагаються анонімно, а люди обирають переможця, оцінка відображає фактичну сприйняту якість, а не маршрутизацію інфраструктури.
Порівняння до і після показало, що Fable 5 в основному зберігає свої позиції. Оцінка фронтенд-коду впала з 1650 до 1623 Elo — різниця, яку Arena зазначила, знаходиться в межах довірчого інтервалу, оскільки дані продовжують накопичуватися. Продуктивність документів покращилася на 34 бали. Експертний текст зріс на 25. Креативне письмо трохи піднялося на 9. Категорії, які знизилися: Кодування на -18, важкі запити на -3 — це саме ті місця, де класіфікатор найімовірніше перехоплює запит перед тим, як Fable зможе відповісти.
Іншими словами, коли Fable 5 насправді виконує завдання, він все ще працює як Fable 5. Розчарування на X не пов'язане з гіршою моделлю, а більше з тим, що ви платите за модель, яка часто не є тією, що відповідає.
Хто постраждав, а хто ні
Звичайні користувачі, які займаються креативним письмом, аналізом документів, дослідженнями та запитами на експертному рівні, ймовірно, не помітять жодної різниці. Це ті категорії, де Arena.AI показує стабільну або покращену продуктивність. Якщо є деяке покращення, воно може бути занадто малим, щоб помітити, особливо в суб'єктивних, якісних завданнях, таких як креативне письмо, де важко повністю виміряти результати.
Отже, в основному, письменники, дослідники та аналітики отримають Fable 5, якого вони очікували. Розробники — це інша історія.
Будь-хто, хто працює в території, пов'язаній з безпекою — кодування управління пам'яттю, все, що стосується слів, таких як "вразливість", "експлуатація", "гак" або навіть "виправлення" — буде регулярно стикатися з запасним варіантом.
Різниця між колапсом BridgeBench і стабільністю Arena зводиться до типу завдання. BridgeBench завантажує свій набір саме тими запитами на виправлення коду та налагодження, які активують новий класіфікатор. Людські голоси Arena запитують набагато ширшу суміш речей, і більшість з них не виглядають як код експлуатації для шару безпеки.
Anthropic заявив, що класіфікатори покращаться з часом, визнаючи, що вони наразі накладають занадто широкий нет. Первісна заборона була введена після того, як дослідники Amazon виявили техніку, яка дозволила Fable ідентифікувати та демонструвати вразливості програмного забезпечення — і уряд США розглянув це як загрозу національній безпеці. Виправлення полягало в тому, щоб зробити класіфікатор достатньо консервативним, щоб ловити це та все навколо, а потім налаштувати його пізніше.
Anthropic не вказав цільову дату, коли це станеться.
Ціна --
Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.
Вам також може сподобатися

DGrid AI: реконструкція механізму довіри до інфраструктури AI за допомогою PoQ та верифікаційних вузлів

200 AI торгових продуктів абсолютно неефективні? Колишній співзасновник Foresight Ventures зробив щось інакше

NVIDIA Qwen3.8-Flash-Next досягає понад 16 тисяч токенів на секунду на платформі GB300 NVL72

Qualcomm випустила IMSDK 2.0 для розвитку додатків на основі AI на краю

Чому ваше письмо звучить як AI? Редактори a16z навчають вас, як повернути «людський дотик»

Apple представила Mac mini з чіпом M6, початкова ціна 899 доларів

CFTC розглядає доцільність перпетуальних ф'ючерсів на GPU обчислення【Останні новини】

Thomson Reuters розробила юридичну AI модель 'Thomson' за 40 мільйонів доларів

Google та AMD співпрацюють у розробці 10-го покоління TPU, інтегруючи ядра CPU для задоволення потреб у обчисленнях AI

Хоскінсон представив відкритий проект для обробки маркерів AI

SanDisk оголосила про прогнози попиту на NAND обсягом 75-100EB до 2027 року

Toss Securities відкриває OpenAPI для всіх клієнтів

Конкуренція агентів ШІ: перехід від продуктивності моделей до корпоративних систем

Північнокорейська хакерська група розробляє та впроваджує AI-інструменти для кібератак на криптовалютні компанії

IOSG: За спиною Hermes — шлях розвитку команди Web3

Vitalik заявив, що Minimax H3 перевершує HunyuanVideo 1.5

Алекс Карп та війна за суверенітет у сфері ШІ в компаніях

Qualcomm співпрацює з Multiverse Computing для оптимізації AI-моделей

Університет народної поліції Китаю розробив AI для виявлення незаконних транзакцій з біткоїнами з точністю 89,4%

Чи варто брати участь у програмі лояльності Axis Robotics після залучення 12 мільйонів доларів у раунді seed?

Чому акції гірничодобувних компаній зросли, незважаючи на падіння BTC на 46%?

Відтворення "DeepSeek моменту"? Уолл-стріт стверджує: Kimi K3 навпаки підвищує попит на обчислювальні потужності

Акції гірничодобувних компаній все далі від криптовалют

Останні новини All-In: IPO Anthropic проти OpenAI, розкриття реального ROI AI, обмеження експорту китайських моделей та загальнонаціональне володіння акціями

Аналіз внутрішнього листа Zhiyu AI: Велика хвиля вже тут, після виходу на біржу не намагатимемося отримати прибуток, а зосередимося на наукових дослідженнях, ставлячи на найвитратніший шлях AGI

Кількість користувачів Bai B.AI перевищила 2 мільйони

Serenity: Потоки фінансів на китайському первинному ринку спрямовуються на фізичний ШІ та світові моделі

Ключові тези: повний текст виступу головного науковця Google Шенахана

Агентні шаблони проектування: книга, яка змусила мене переосмислити питання: «Що саме таке Агент?»





