Новости для разработчиков без шума — My Dev News в Telegram.
Тег
Все статьи блога с этим тегом.
Почему модели со смесью экспертов требуют много памяти при малом числе активных параметров, как работают квантование и выгрузка слоёв, и почему 64 ГБ RAM плюс 16 ГБ VRAM — серьёзный старт для домашнего локального ИИ.
Кейс с Habr: большая модель на NPU через FastFlowLM, ловушки с памятью, очередью и отменой запросов, окупаемость против облака.
MoE на CMP 90HX терпимо, dense — нет: карта ограничена по типам вычислений. Модификация драйвера через V67 даёт почти ×2, но не снимает все ограничения.
