Обновить

Комментарии 10

Цены и дата начала продаж пока не объявлены
Какие новинки показались интересными? Делитесь в комментариях

Приблизительно ни одна. Давно заглядываюсь на AMD AI 395, в качестве замены своей RTX 4060 Ti 16gb для инференса, чтобы бОльшие модели гонять или не настолько сильно квантованные, но пока это добро до ретейла дойдёт...

А софт уже завезли? Помнится хотел потрогать tensorflow под rocm и карточку от амуде. Потрогал. Не скажу, что доволен от танцев с бубном в попытках все подружить.

насчёт tensorflow не скажу, не сталкивался. но прочие игрушки включая например llama с rocm вполне себе нормально работают и легко дружат без танцев с бубуном. единственный неприятный момент это необходимость ставить драйвер через богомерзкий dkms.

Rocm под этот чип недавно доделали, работает отлично

Ryzen AI Max+ 395 (Strix Halo) уже давно на озонах продается по 180-190к на 128гб. Но смысл в такой скорости памяти (256 Гб/с теоретическая, 210 Гб/с реальная) за такую сумму как-то теряется. Да и 128гб (из которых доступны под инференс 96гб под виндой или 111гб под линуксом, через GTT), это мало, даже новый MiniMax-M2 уже будет трудно запустить, не говоря уже о DeepSeek R1/V3.1.

Сейчас большие модели запускают по другому, на небольшом объеме быстрой VRAM и большом объеме RAM. Например, для запуска GPT-OSS-120B с нормальным контекстом хватит 8 Гб GPU (чем больше VRAM, тем больше ускорение) и 64 Гб DDR4, но лучше DDR5. AMD карточки тоже подойдут, всё работает и через Vulkan тоже.

4090 + DDR5-4800
4090 + DDR5-4800

Вот тут подробнее: Запускаем GPT-OSS-120B на 6 Гб GPU и ускоряем до 30 t/s. Вам нужна RAM, а не VRAM. Параметр -cmoe для ускорения MoE LLM

Уже полгода владею gmktec evo-x2, но ROCm для этого чипа доделали только недавно, до этого модели работали только на CPU и достаточно медленно, сейчас отлично, рекомендую.

Qwen3 30b выдает до 70 токенов в секунду.

А смысл 30b гонять, когда 32b есть? или вы неквантованные гоняете?

oculink сознательно упущен или уже стал аутсайдером ?

Oculink у меня реализован как пассивный переходник с М2. Если есть свободный М2 на плате то вот вам и oculink.

Кстати MINIX ER939-AI использует ОЕМ плату от Sixunited AXB35.

Запускаю openai/gpt-oss-120b на минипк с такой платой. FEVM FA-EX9.

Вот тут https://strixhalo.wiki/ собрана полезная информация по китайским платам с процессором AMD Ryzen AI Max+ 395. Уважаемый deseven устранил единственную проблему этих плат от сиксюнитэд адекватной режим работы вентиляторов охлаждения https://github.com/deseven/ec-su_axb35-win

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Информация

Сайт
slc.tl
Дата регистрации
Дата основания
Численность
1 001–5 000 человек
Местоположение
Россия
Представитель
Александр Шилов