$AMD выпустила передовую, полностью открытую модель, обученную полностью на GPU MI300X и MI325X с использованием ROCm

Instella-MoE — это модель типа mixture-of-experts с 16 миллиардами параметров, которая активирует только 2,8 миллиарда параметров на токен, снижая расходы на инференс при сохранении конкурентоспособности с плотными и MoE-моделями с сопоставимым или большим числом активных параметров
Она поддерживает контекстное окно 64K и была обучена в шесть этапов — от предобучения до обучения с подкреплением
AMD также представила две новые техники повышения эффективности:
- Gated Multi-head Latent Attention, которая фильтрует низкозначимые выходы внимания.
- FarSkip-Collective, которая перекрывает коммуникацию и вычисления, ускоряя предобучение на 12,7% и сокращая время до первого токена до 39,2%.