Spectro Cloud presenta una reducción de costos de tokens de hasta el 70%

Spectro Cloud ha lanzado la plataforma de inferencia PaletteAI Inference Launchpad, priorizando la inferencia local, y ha declarado que las empresas pueden reducir los costos de tokens en hasta un 70% al operar inferencias de modelos de lenguaje de gran tamaño (LLM) en su propio hardware. Este producto ofrece vLLM, Kubernetes, autenticación, control de acceso basado en roles (RBAC) y capacidades de monitoreo, y es compatible con GPUs de AMD y NVIDIA. Spectro Cloud ha ampliado el soporte para GPUs de AMD, operadores de GPU, el entorno de ejecución ROCm y la pila de referencia de IA empresarial de AMD. También se ha habilitado la integración con herramientas de codificación de IA, permitiendo la conexión con OpenAI Codex CLI. Las empresas están considerando la inferencia local debido a problemas de costos y control de datos, ya que el aumento en el uso de servicios de IA en la nube puede resultar en mayores cargos por tokens y la posibilidad de que información sensible sea enviada al exterior. Spectro Cloud explicó que la inferencia local permite mantener los datos internamente y convertir los costos de infraestructura en algo predecible. AMD ha evaluado que el soporte de infraestructura de Spectro Cloud acelerará el despliegue de servicios de las empresas en un entorno de IA abierto. Este anuncio no está relacionado con criptomonedas o redes blockchain, pero puede representar un desafío importante en términos de costos y seguridad para organizaciones que manejan código e información sensible.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.