La startup francesa Kog apuesta por acelerar la inferencia de GPU a través del software

La competencia por acelerar la inferencia de IA está en aumento. La startup francesa Kog ha optado por no desarrollar sus propios chips, sino que apuesta por optimizar el software subyacente para liberar aún más la capacidad de inferencia de las GPU en los centros de datos existentes de las empresas.

Enfocándose primero en escenarios empresariales de alta latencia

La empresa llamó la atención en mayo de este año con una vista previa técnica. Kog mostró que, utilizando GPUs estándar de centros de datos como AMD MI300X y Nvidia H200, se puede lograr una velocidad de decodificación de solicitud única extremadamente rápida. La compañía afirmó que esta demostración generó alrededor de 200 pistas comerciales claras.

Kog actualmente se centra en flujos de trabajo profesionales que requieren alta velocidad de respuesta, especialmente en escenarios de ingeniería de software. Según la empresa, algunos usuarios de generación de código intensivo pueden esperar resultados durante horas, y la latencia de inferencia se ha convertido en un problema importante que afecta la experiencia del usuario y los costos.

La compañía también está avanzando en la implementación de aplicaciones con algunos socios de diseño. Este tipo de clientes permite a los usuarios generar juegos o aplicaciones a través de palabras clave; si se mejora la velocidad de inferencia, generalmente significa una mayor eficiencia de conversión y espacio de ingresos.

Modelos pequeños han alcanzado 3000 TPS

Kog había propuesto anteriormente el objetivo de "acelerar la inferencia de grandes modelos 30 veces", pero las demostraciones públicas hasta ahora se han basado principalmente en modelos pequeños. La demostración utilizó un modelo Laneformer 2B de aproximadamente 2 mil millones de parámetros, alcanzando una velocidad de inferencia de solicitud única de 3000 tokens por segundo. Este modelo ya está disponible como código abierto.

Sin embargo, la demanda del mercado no se ha quedado en la afinación de modelos pequeños. Kog indica que los clientes potenciales no están dispuestos a centrarse en modelos pequeños, por lo que desde la publicación de la demostración, la empresa ha dirigido su atención principal al desarrollo acelerado de modelos más grandes para satisfacer la demanda real.

Verificación de la capacidad de grandes modelos alrededor de septiembre

Kog cree que el potencial de las GPU en la decodificación de inferencia aún no se ha liberado por completo. El CEO de la compañía, Gaël Delalleau, afirma que, a medida que el ancho de banda de memoria de la nueva generación de GPUs sigue mejorando, aún hay un gran espacio para la optimización a nivel de software.

El costo de este enfoque es un ciclo de desarrollo más largo. Kog indica que, para adaptar una nueva GPU, el equipo a menudo necesita invertir varias semanas o incluso meses en investigación a nivel de hardware. Con el actual equipo de 11 personas, la cantidad de chips que la empresa puede soportar a corto plazo sigue siendo limitada.

Kog planea integrar gradualmente este método en los procesos de desarrollo basados en agentes para soportar más chips y modelos en el futuro. El punto clave en este momento es demostrar que esta línea de trabajo puede ser efectiva en grandes modelos. Delalleau espera que la empresa complete la implementación de una aceleración de aproximadamente 10 veces en su primer modelo principal alrededor de septiembre, y con ello mostrar el progreso a los clientes, impulsando la posterior ronda de financiación Serie A.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.