TypeSafe AI و OpenRouter، روتر هوشمند Jev را برای افزایش کارایی فراخوانی LLM معرفی کردند

TypeSafe AI اعلام کرد که OpenRouter قابلیت مسیریابی Jev را به تمام فراخوانی‌های LLM اضافه کرده است. با استفاده از typesafe/jev-router، سیستم در هر درخواست به‌طور دینامیک بهترین مدل و شدت استدلال را انتخاب می‌کند و مسیریابی مدل "cache-aware" را پیاده‌سازی می‌کند که کیفیت، سرعت و هزینه را متوازن می‌سازد. این روتر می‌تواند با توجه به زمینه، کش را مورد استفاده قرار دهد، از محاسبات تکراری جلوگیری کند و مصرف توکن‌های غیرضروری را کاهش دهد و عملکرد جریان کار پیچیده‌ی عامل‌ها را بهینه‌سازی کند. برخی از توسعه‌دهندگان در وظایف ارزیابی نمونه‌های واقعی در مقیاس بزرگ به دقت نزدیک به 100% دست یافته‌اند، اما همچنین نشان داده‌اند که با افزایش استفاده، زمان پاسخ‌دهی افزایش یافته است.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.