Віталік Бутерін запропонував механізм протидії для забезпечення безпеки ШІ

Віталік Бутерін зазначив, що теорія дизайну механізмів протидії може відігравати важливу роль у забезпеченні безпеки штучного інтелекту (ШІ). ШІ та традиційне управління стикаються з подібними проблемами: суб'єкти з меншими можливостями повинні отримувати бажані результати від агентів з більшими можливостями. У традиційному управлінні суб'єктами є статичні алгоритми, а агенти — люди; тоді як у безпеці ШІ суб'єктами є люди та менш потужні LLM, а агентами — більш потужні LLM. Обмеження рівня змови між агентами може покращити результати системи, і цей висновок також застосовується до безпеки ШІ. У майбутньому обмеження для ШІ можуть більше нагадувати створення інституційної системи, що включає правила, повноваження, арбітраж та механізми запису, а не просто налаштування технічних "пісочниць".