AMD добавляет динамическое переключение LoRA в Ryzen ИИ Software 1.9

AMD заявляет, что теперь Ryzen ИИ Software позволяет разработчикам скомпилировать базовую модель один раз и динамически переключать LoRA адаптеры в момент вывода на NPU — изменение, которое, по словам компании, может сократить дублирование при развертывании нескольких специализированных моделей на ИИ ПК. В технической статье AMD, опубликованной 2026-11-02году, компания сообщила, что эта функция доступна в версии Ryzen ИИ Software 1.9 и поддерживается для выбранных текстовых моделей, включая Qwen2.5-3B, Qwen3-4B и Qwen3.5-4B.

Доказательства и контекст

LoRA, или Low-Rank Adaptation, тонко настраивает большую языковую модель, обучая малые веса адаптеров, при этом сохраняя базовую модель замороженной. AMD заявила, что ранее поддерживаемый метод развертывания в Ryzen ИИ был статическим слиянием, когда веса LoRA складываются в базовую модель перед компиляцией. Компания заявила, что этот подход работает для одного адаптера, но становится неэффективным, когда требуется несколько специализированных адаптеров, поскольку каждая объединённая модель дублирует одинаковые базовые веса.

В динамической LoRA AMD отметила, что квантизированная базовая модель один остаётся резидентной на NPU, а маленькие адаптеры компилируются как отдельные артефакты и активируются по названию. В статье говорилось, что это позволяет приложению переключаться от один специалиста к другому, например, модели, ориентированной на SQL, на медицинскую один, без перезагрузки базовой модели.

AMD также предупредила, что адаптеры необходимо обучать по уже квантизированной базовой модели. В статье компания отметила, что база NPU квантуется на INT4 в её примере, и что обучение адаптера LoRA на модели с полной точностью перед применением к квантованной базе может снизить пользу адаптера на устройстве.

Компания описала процесс из четыре шагов: квантовать базовую модель один раз с помощью AMD Quark с помощью INT4 AWQ; тонко настроить каждый адаптер LoRA с этой замороженной квантизированной базой и сохранить её без слияния; скомпилировать базу и каждый адаптер для NPU с одним вызовом model_generate для каждого адаптера; и выполнять это, загрузив базу один раз и переключая адаптеры во время выполнения.

AMD заявила, что в её примере использовалась база Qwen3-4B INT4 с два адаптерами: адаптер с текстом в SQL, обученный на Spider, и медицинский адаптер с выбором выбора, обученный на MedMCQA. На Ryzen ИИ NPU AMD сообщила, что точность выполнения Spider выросла с 47.5% до 63.0%, что на 15.5 процентных пунктов — на процентных пунктов, а точное совпадение MedMCQA выросло с 42.0% до 53.0%, что на 11.0 пункта прибавило. В статье говорится, что оба результата основаны на n=200 примерах.

AMD заявила, что исполняемый пример доступен в их репозитории примеров Ryzen ИИ Software, а также что выпуск Ryzen ИИ Software 1.9 также вводит поддержку длинного контекста, импорт INT4-квантизированных моделей, созданных с учётом квантования, а также поддержку дополнительных моделей. В статье не раскрывается более широкий список моделей, выходящий за рамки три названных текстовых моделей, и не приводится независимые сравнения бенчмарков вне указанного примера.