محدودیت ۳ سلام، محدودیت کد کلود شما کجا رفت؟ یک اشکال در حافظه پنهان ۲۸ روزه، و یک پاسخ رسمی که شما را به «استفاده‌ی کم از آن» تشویق می‌کند.

۴-۱۷٪. این نرخ بازدید از حافظه پنهان سریع برای کلود کد در ماه گذشته است. سطح طبیعی ۹۷-۹۹٪ است.

این یعنی وقتی شما یک جلسه قبلی را از سر می‌گیرید، کلود کد از متن پردازش‌شده قبلی دوباره استفاده نمی‌کند، بلکه هر بار همه چیز را از ابتدا پردازش می‌کند و با سرعتی ۱۰ تا ۲۰ برابر بیشتر از حالت عادی، اعتبار مصرف می‌کند. ممکن است فکر کنید که در حال ادامه دادن به یک مکالمه هستید، اما در واقع، هر بار یک مکالمه کاملاً جدید و پرهزینه را شروع می‌کنید.

این داده‌ها از مانیتورینگ پروکسی توسط توسعه‌دهنده مستقل ArkNill گرفته شده است. او با راه‌اندازی یک پروکسی شفاف، هر درخواست بین کلود کد و رابط برنامه‌نویسی کاربردی آنتروپیک را ثبت کرد و حداقل دو اشکال ذخیره‌سازی سمت کلاینت را کشف کرد که باعث می‌شد سرور رابط برنامه‌نویسی کاربردی نتواند پیشوندهای مکالمه ذخیره‌سازی‌شده را مطابقت دهد و در هر دور مجبور به بازسازی کامل توکن شود.

نمودار بالا مقایسه‌ای از نرخ موفقیت حافظه پنهان را در سه مرحله نشان می‌دهد. در طول نسخه‌های v2.1.69 تا v2.1.89 (دوره بروز این اشکال)، نرخ موفقیت در کش نسخه مستقل تنها ۴ تا ۱۷ درصد بود. پس از رفع یک اشکال بحرانی در نسخه v2.1.90، میزان موفقیت در شروع سرد (cold start) به 47-99.7٪ بازگشت. در نسخه ۲.۱.۹۱، نرخ موفقیت در کش پایدار به ۹۷ تا ۹۹ درصد بهبود یافت.

یک نکته قابل توجه در نمودار: محدوده تغییرات در نسخه ۲.۱.۹۰ بسیار گسترده است (۴۷٪ تا ۹۹.۷٪) زیرا حافظه پنهان (cache) هنوز نیاز به "گرم شدن" دارد، زمانی که یک جلسه تازه از سر گرفته می‌شود، که منجر به نرخ ضربه پایین در چند دور اول می‌شود، اما به سرعت به حالت عادی برمی‌گردد. در نسخه دارای باگ، این گرم شدن هرگز رخ نمی‌دهد - نرخ ضربه به حافظه پنهان همیشه در ۱۴۵۰۰ توکن از اعلان سیستم باقی می‌ماند، و هر بار کل تاریخچه مکالمه به طور کامل محاسبه می‌شود.

۲۸ روز، ۲۰ نسخه

این اشکال از آن نوعی نیست که در یک به‌روزرسانی معرفی و در به‌روزرسانی بعدی برطرف شود. طبق سوابق انتشار رجیستری npm، نسخه v2.1.69 که این اشکال را معرفی کرده بود، در ۴ مارس و نسخه v2.1.90 که این اشکال را برطرف کرده بود، در ۱ آوریل منتشر شد. ۲۸ روز بین این دو فاصله بود که شامل ۲۰ نسخه می‌شد.

جدول زمانی جزئیات وسوسه‌انگیزی را آشکار کرد. پس از اینکه این اشکال در ۴ مارس معرفی شد، کاربران بلافاصله در مقیاس بزرگ شکایت نکردند. تقریباً سه هفته بعد، در ۲۳ مارس بود که شکایات به طور گسترده فوران کرد. دلیلش این است که طبق تحلیل شماره ۴۱۹۳۰ گیت‌هاب، از ۱۳ تا ۲۸ مارس، آنتروپیک به صورت زنده سهمیه‌اش را دو برابر می‌کرد (دو برابر شدن در ساعات غیر اوج مصرف)، که به طور عینی تأثیر این اشکال را پنهان می‌کرد. پس از پایان طرح تشویقی، میزان مصرف ناشی از اشکال حافظه پنهان به حالت عادی برگشت و سهمیه کاربران فوراً "تبخیر" شد.

پاسخ آنتروپیک سریع نبود. در ۲۶ مارس، سه روز پس از اوج گرفتن شکایات کاربران، مهندس طاهر شیهیپار در حساب شخصی X خود اعلام کرد که محدودیت ساعات اوج مصرف (روزهای هفته ۵ صبح تا ۱۱ صبح به وقت PT) تشدید شده است. در تاریخ ۳۰ مارس، شرکت آنتروپیک در ردیت اعتراف کرد که «میزان دسترسی کاربران به سهمیه تعیین‌شده بسیار فراتر از انتظارات بوده است» و آن را به عنوان اولویت اصلی تیم خود ذکر کرد. تا اول آوریل طول کشید تا لیدیا هالی، یکی از اعضای تیم، یافته‌های رسمی تحقیقات را منتشر کند.

در طول این فرآیند، آنتروپیک هیچ پست وبلاگی منتشر نکرد، ایمیل اطلاع‌رسانی نفرستاد، یا صفحه وضعیت را به‌روزرسانی نکرد. تمام ارتباطات رسمی صرفاً از طریق پست‌های شخصی مهندسان در شبکه‌های اجتماعی و چند کامنت در ردیت انجام می‌شد.

چقدر هزینه کردید و تا چه مدت می‌توانید از آن استفاده کنید؟

شماره گیت‌هاب شماره ۴۱۹۳۰ صدها گزارش از کاربران جمع‌آوری کرده است. شدیدترین مورد، یک کاربر اشتراک Max 20x (200 دلار در ماه) بود که پنجره‌ی زمانی ۵ ساعته‌اش به‌طور کامل در ۱۹ دقیقه مصرف شد. کاربران حداکثر ۵x (۱۰۰ دلار در ماه) گزارش دادند که فرصت ۵ ساعته آنها در ۹۰ دقیقه تمام شده است. طبق گزارش The Letter Two، برخی از کاربران ادعا کرده‌اند که یک «سلام» ساده ۱۳٪ از سهمیه نشست آنها را مصرف کرده است. یک کاربر حرفه‌ای (۲۰ دلار در ماه) در دیسکورد اشاره کرد که سهمیه‌اش «هر دوشنبه تمام می‌شد و فقط شنبه‌ها دوباره تنظیم می‌شد» و در ۳۰ روز، فقط ۱۲ روز استفاده عادی داشته است.

بر اساس آزمایش بنچمارک ArkNill، در نسخه باگ v2.1.89، سهمیه ۱۰۰٪ طرح Max 20x در حدود ۷۰ دقیقه تمام می‌شود. او همچنین هزینه یک عملیات --resume را برای یک جلسه متن توکن ۵۰۰K محاسبه کرد که تقریباً ۰.۱۵ دلار است، زیرا سیستم کل متن را به طور کامل بازپخش می‌کند.

「داری اشتباه نگهش می‌داری」

تحقیقات لیدیا هالی دو نکته را تأیید کرد: اول اینکه، در واقع محدودیت‌های ساعات اوج مصرف تشدید شده است، و دوم اینکه، افزایش مصرف توکن در چارچوب ۱ میلیون توکن وجود داشته است. او اشاره کرد که تیم برخی از اشکالات را برطرف کرده است، اما تأکید کرد که «هیچ یک از اشکالات منجر به دریافت هزینه بیش از حد نشده است.»

او سپس چهار توصیه برای صرفه‌جویی ارائه داد:
۱. به جای Opus از Sonnet 4.6 استفاده کنید (Opus تقریباً دو برابر مصرف می‌کند)؛

۲. وقتی به استدلال عمیق نیازی نیست، عمق استدلال را کاهش دهید یا تفکر گسترده را خاموش کنید.

۳. جلسات طولانی و بدون استفاده بیش از یک ساعت را از سر نگیرید؛ در عوض، جلسات جدیدی را شروع کنید.

۴. متغیر محیطی CLAUDE_CODE_AUTO_COMPACT_WINDOW=200000 را برای محدود کردن اندازه پنجره زمینه تنظیم کنید.

هیچ اشاره‌ای به هیچ شکلی از تنظیم مجدد سهمیه یا جبران خسارت نشده است.

الکس ولکوف، مجری پادکست هوش مصنوعی، این پاسخ را با عبارت «اشتباه برداشت می‌کنید» خلاصه کرد و خاطرنشان کرد که خود شرکت آنتروپیک، زمینه ۱ میلیون توکن را به عنوان پیش‌فرض تعیین کرده، اوپوس را به عنوان مدل پرچمدار تبلیغ کرده و تفکر توسعه‌یافته را به عنوان یک نقطه قوت برجسته کرده است، اما اکنون به کاربران پولی توصیه می‌کند که از این ویژگی‌ها استفاده نکنند.

ادعای «عدم دریافت هزینه اضافی» همچنین باعث ایجاد تنش با تاریخچه به‌روزرسانی‌های خود کلود کد می‌شود. درست یک روز قبل از پاسخ لیدیا، نسخه ۲.۱.۹۰ یک اشکال رگرسیون حافظه پنهان را که از نسخه ۲.۱.۶۹ وجود داشت، برطرف کرد: هنگام استفاده از --resume برای از سرگیری یک جلسه، درخواست‌هایی که باید به حافظه پنهان می‌رسیدند، باعث از دست رفتن کامل حافظه پنهان می‌شدند و در نتیجه صورتحساب کامل صادر می‌شد. پاسخ لیدیا به این ناهنجاری تایید شده در صورتحساب اشاره‌ای نکرد.

برای مقایسه، Codex از OpenAI قبلاً مشکلات مصرف سهمیه غیرعادی مشابهی را تجربه کرده بود. رویکرد OpenAI این بود که سهمیه کاربران را مجدداً تنظیم کند، اعتبار را بازپرداخت کند و حذف سقف استفاده در Codex را در ماه مارس اعلام کند. رویکرد آنتروپیک این است که به کاربران توصیه کند مدل‌ها را به نسخه پایین‌تری ارتقا دهند، ویژگی‌ها را غیرفعال کنند، زمینه را محدود کنند و مسئولیت را به استفاده کاربر نسبت دهند.

شرکت آنتروپیک اشتراکی با عنوان «قوی‌ترین مدل + حداکثر زمینه + بالاترین قابلیت‌های استدلال» می‌فروشد که هزینه‌ای بین ۲۰ تا ۲۰۰ دلار در ماه دریافت می‌کند. یک اشکال در ذخیره‌سازی ۲۸ روزه باعث شد سهمیه کاربران پولی با سرعت ۱۰ تا ۲۰ برابر سریع‌تر تمام شود، و واکنش رسمی این بود که از آن به طور محدود استفاده شود.