アリペイグループとvLLMが共同でHumming量子推論カーネルをオープンソース化

アリペイグループとvLLMコミュニティは、高性能な量子推論オペレーターライブラリであるHummingを共同でオープンソース化しました。Hummingは、さまざまなGPUやCUDAプログラミングに対応したデバイスを含む広範なデバイスをサポートしています。このライブラリは、豊富な量子サポートを提供し、統一されたアーキテクチャを通じてDenseおよびMoEのさまざまな重みと活性化フォーマットの組み合わせをサポートし、さまざまな整数および浮動小数点タイプ、ビット幅、スケーリング方式をカバーしています。Hummingは、vLLM Marlin、FlashInfer、DeepGEMMなどの既存の実装に比べて、さまざまな典型的な負荷において顕著に優れた性能を発揮します。

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。