DDN Infinia integra dados de inferência da NVIDIA

A DDN integrou sua plataforma de armazenamento Infinia ao sistema de transmissão de dados de inferência da NVIDIA. Esta colaboração tem como foco reduzir o tempo que as GPUs aguardam pelos dados em serviços de modelos de linguagem de grande porte. A DDN anunciou em seu blog técnico em 23 de julho que o plug-in Infinia NIXL foi incluído na versão 1.3 do NIXL da NVIDIA e no contêiner de inferência Dynamo. O NIXL é uma biblioteca que gerencia a movimentação de dados entre GPUs, CPUs, SSDs e armazenamento de objetos em ambientes de inferência distribuída. A integração se concentra na movimentação do cache KV que ocorre durante o processo de inferência de IA, sendo que o cache KV é um dado intermediário armazenado pelo LLM para reutilizar o contexto. A documentação da NVIDIA Dynamo explica que o cache KV pode ser transferido para a memória da GPU, memória da CPU, SSD e armazenamento conectado à rede, reduzindo o recálculo e diminuindo a latência de resposta. A partir do NIXL 1.3, o plug-in Infinia é incluído no pacote padrão, bastando adicionar apenas o pacote do cliente DDN. A DDN afirmou que é possível ativar a funcionalidade de aceleração do cache KV apenas com configurações, sem a necessidade de modificar o código do aplicativo. Sven Oume, CTO da DDN, explicou que o Infinia fornece diretamente os dados de contexto para a GPU. Esta colaboração está relacionada ao fluxo de resposta a gargalos de armazenamento e transmissão em data centers de IA, e a DDN e a NVIDIA estão melhorando o caminho para transferir os dados de contexto armazenados para a GPU durante o processo de inferência.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.