Ant Group ร่วมกับ vLLM เปิดตัว Humming แกนการอนุมานเชิงปริมาณแบบโอเพนซอร์ส

Ant Group ร่วมกับชุมชน vLLM เปิดตัว Humming ซึ่งเป็นห้องสมุดโอเพนซอร์สสำหรับการอนุมานเชิงปริมาณที่มีประสิทธิภาพสูง Humming รองรับอุปกรณ์ที่หลากหลาย รวมถึง GPU หลายประเภทและอุปกรณ์ที่เข้ากันได้กับการเขียนโปรแกรม CUDA ห้องสมุดนี้มีการสนับสนุนการอนุมานเชิงปริมาณอย่างหลากหลาย โดยสนับสนุนการรวมกันของน้ำหนักและรูปแบบการกระตุ้นที่หลากหลายใน Dense และ MoE ผ่านสถาปัตยกรรมที่เป็นเอกภาพ ครอบคลุมประเภทจำนวนเต็มและจำนวนจริงหลายประเภท ความกว้างของบิต และวิธีการปรับขนาด Humming แสดงประสิทธิภาพที่ดีกว่าการดำเนินการที่มีอยู่ในหลายภาระงานที่เป็นที่นิยม เช่น vLLM Marlin, FlashInfer และ DeepGEMM เป็นต้น

เนื้อหานี้จัดทำขึ้นเพื่อวัตถุประสงค์ด้านการให้ข้อมูลทั่วไปเท่านั้น และไม่ถือเป็นคำแนะนำด้านการเงิน การลงทุน กฎหมาย หรือภาษี อีเวนต์ รีวอร์ด โปรโมชันออนไลน์ หรือข้อมูลที่เกี่ยวข้องใดๆ ที่กล่าวถึงในที่นี้ ไม่ควรถือเป็นคำแนะนำ การชักชวน หรือคำเชิญชวนให้ซื้อ ขาย เทรด หรือดำเนินการอื่นใดเกี่ยวกับสินทรัพย์คริปโต สินทรัพย์คริปโตมีความผันผวนสูงและอาจส่งผลให้เกิดการขาดทุน ความพร้อมให้บริการของบริการ ผลิตภัณฑ์ และอีเวนต์ที่เกี่ยวข้องของ WEEX อาจแตกต่างกันไปตามภูมิภาค คุณมีหน้าที่ตรวจสอบให้แน่ใจว่าการเข้าร่วมของคุณเป็นไปตามกฎหมายและข้อบังคับท้องถิ่นที่ใช้บังคับ