AMD phát hành mô hình MoE mã nguồn mở hoàn toàn Instella-MoE với quy mô tham số đạt 16 tỷ

AMD đã ra mắt mô hình hỗn hợp chuyên gia mã nguồn mở hoàn toàn Instella-MoE vào ngày 25 tháng 7, với tổng số tham số lên tới 16 tỷ, mỗi Token kích hoạt 2,8 tỷ tham số, mang lại hiệu suất vượt trội. Mô hình này được xây dựng dựa trên GPU AMD Instinct MI300X và MI325X, cùng với phần mềm ROCm, được huấn luyện từ đầu, sử dụng các đổi mới kiến trúc như Gated Multi-head Latent Attention và FarSkip-Collective để nâng cao hiệu quả huấn luyện và suy diễn. Các bài kiểm tra hiệu suất cho thấy, mô hình cơ bản Instella-MoE-16B-A3B đạt điểm trung bình 76,7, đứng đầu trong số các mô hình mã nguồn mở, vượt qua các mô hình như SmolLM3-3B, OLMo-3-7B, và cạnh tranh với các mô hình quy mô lớn hơn chỉ với 2,8 tỷ tham số được kích hoạt. Mô hình này hỗ trợ xử lý ngữ cảnh dài 64K Token, hoàn thành quy trình huấn luyện đầy đủ bao gồm huấn luyện trước, huấn luyện trung gian, mở rộng ngữ cảnh dài, tinh chỉnh giám sát, tối ưu hóa sở thích trực tiếp và học tăng cường. AMD cũng công khai tất cả trọng số mô hình Instella-MoE, cấu hình huấn luyện, tỷ lệ dữ liệu, điểm kiểm tra trung gian và mã suy diễn, thúc đẩy nghiên cứu và tái hiện mô hình AI mở. AMD cho biết, Instella-MoE đã chứng minh khả năng huấn luyện mô hình MoE quy mô lớn dựa trên phần cứng AMD và hệ sinh thái phần mềm mở, và trong tương lai sẽ tiếp tục thúc đẩy phát triển các mô hình ngôn ngữ mã nguồn mở với quy mô lớn hơn, khả năng suy diễn mạnh mẽ hơn và hiệu suất cao hơn.

Tuyên bố miễn trừ trách nhiệm: Nội dung này chỉ được cung cấp nhằm mục đích xây dựng thương hiệu và cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, sự kiện trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto hay sử dụng bất kỳ dịch vụ nào. Tài sản crypto có mức biến động cao và có thể dẫn đến thua lỗ. Dịch vụ và các sự kiện trực tuyến của WEEX có thể không khả dụng tại tất cả khu vực và phải tuân theo các luật, quy định và điều kiện đủ điều kiện hiện hành. Bạn có trách nhiệm bảo đảm việc sử dụng các dịch vụ của WEEX tuân thủ luật pháp địa phương và tự đánh giá cẩn thận các rủi ro trước khi tham gia bất kỳ hoạt động nào liên quan đến crypto.