Pokee выпустила модель на 10 миллионов токенов, близкую к пределу основных моделей в 10 раз

Компания Pokee AI, занимающаяся разработкой AI-агентов, представила модель Pokee-Isaac 28B с общим количеством параметров 28 миллиардов и контекстным окном, достигающим 10 миллионов токенов, что в 10 раз превышает пределы основных моделей. В ходе самопроверки Isaac показал результаты около 95 баллов в тесте RULER на длинных текстах, начиная с 256000 до 4000000 токенов, а после достижения 10 миллионов токенов его оценка составила 93.3, в то время как другие пять контрольных моделей не смогли предоставить доступные результаты, начиная с 2000000 токенов. Pokee связывает свою способность работать с очень длинным контекстом с разработанной внутренне архитектурой «не чистого декодера», однако технический отчет не раскрывает конкретную архитектуру и механизмы, что не позволяет внешним наблюдателям оценить способ реализации. Pokee AI была основана в 2024 году бывшим руководителем по усиленному обучению в Meta Чжу Чэ Цинем и получила 12 миллионов долларов в рамках посевного раунда, возглавляемого Point72 Ventures, с участием Qualcomm Ventures и Samsung NEXT.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.