AMD оцінила міні-ПК Ryzen AI Halo з процесором Ryzen AI Max+ 395 та 128 ГБ ОЗП у $3999

[Fulkrum]

По швидкодії в LLM краще за Apple та ігрові відеокарти.

Дуже сумніваюсь про швидкодію, єдине що там краще за ігрові карти - більший розмір моделі та контексту який можна завантажити. А так в кращому випадку буде на рівні 9060ХТ. Ганяти 100б + моделі память все одно буде повільніша ніж на умовний 3090 і швидкодія буде у рази нижча.

[SergiusTheBest]

Дуже сумніваюсь про швидкодію, єдине що там краще за ігрові карти - більший розмір моделі та контексту який можна завантажити. А так в кращому випадку буде на рівні 9060ХТ. Ганяти 100б + моделі память все одно буде повільніша ніж на умовний 3090 і швидкодія буде у рази нижча.

Теж так думав, але:

Код: Выделить всё

120B models:
Hardware		Price (USD)	tok/s
RTX 5090		2500–3500	5–15
RTX 4090		1500–2500	3–12
RX 7900 XTX		800–1200	3–10
Mac M4 Pro		1600–2500	5–15
Ryzen AI Max+ 395	1800–3000	5–18

70B models:
Hardware		Price (USD)	tok/s
RTX 5090		2500–3500	10–25
RTX 4090		1500–2500	8–20
RX 7900 XTX		800–1200	6–18
Mac M4 Pro		1600–2500	10–25
Ryzen AI Max+ 395	1800–3000	10–25

[Denvys5]

SergiusTheBest
70B models
120B models
RTX 5090

Моделі які ну ніяк не лізуть в ту 5090 порівнюєм з системами де вони лізуть повністю в локальну пам'ять

Порівняти з 7-14B моделями ту ж 4090/5090, результат буде драматично відрізнятись

[SergiusTheBest]

Моделі які ну ніяк не лізуть в ту 5090 порівнюєм з системами де вони лізуть повністю в локальну пам'ять

Порівняти з 7-14B моделями ту ж 4090/5090, результат буде драматично відрізнятись

Звісно. Але чим більша модель, тим вона розумніша.

[Fulkrum]

Теж так думав, але:

Так в тому і фішка що ти можеш за ціну цієї коробки мати 3-4 3090 з сумарно 72-96 гб супер швидкої рами і чіпами у рази швидшими.
Для домашнього використання світспот це 27-30б моделі, для них однієї карти високого рівня достатньо і вона буде видавати 50+ токенів.

[lw_007]

Але от мені цкаво що б ви могли мені зібрати в корпусі обємом до 10л, наприклад, із TDP 120w

Дуже вузька ринкова ніша - Аі miniПК. Так то варіків непоганих повно як просто для дому взяти. Навіть Asrock Deskmini та Deskmeet. А саме для штучного інтелекту нашо робити комп маленьким? Тоді вже простіше його у хмарі крутити.
От бюджетний варік біля 5-6к баксів з чотирма 3090 можна зібрати https://youtu.be/WRi0jApo9NM?is=jSuXft_7dAsPQymU

1. У мене є конкретні задачі. Пк має бути достатньо продуктивним, але при цьому маленьким.

2. Про нейронки я нічого не казав. Хоча для серйозної роботи з ними подібні пк підійдуть тільки за наявності thunderbolt/occulink із дискреткою

3. 3090 далеко не найкращий вибір для нейронок, так не працює. Той самий "AI" міні пк потягне те що 3090 навіть не снилося. Не можна просто так взяти і розрізати модель на куски і покласти в різні відеокарти.

[Denvys5]

Звісно. Але чим більша модель, тим вона розумніша.

Звісно
І під це збирається сетап з відповідним обє'мом пам'яті (агрегованої), бо інакше порівняння перформансу безтолкове
Для 70Б моделі 4х 3090 або 1хRTX 6000 Pro будуть набагато веселіше за той макміні чи стрікс хало

за ціну цієї коробки мати 3-4 3090 з сумарно 72-96 гб супер швидкої рами і чіпами у рази швидшими.

^


Як альтернативний спосіб порівняння, можна взяти MoE моделі. Gemma 4 MoE в мене на 9070ХТ видає ~35 т/с, і це типу 26B модель (4B експерти), чи може strix halo чи макміні видавати схожий рівень перформансу? Аналогічно буде 4090/5090 і більші MoE моделі, на кшталт того ж DeepSeek R1

[Fulkrum]

1. У мене є конкретні задачі. Пк має бути достатньо продуктивним, але при цьому маленьким

Asrock Deskmini (4L), Deskmeet (8L) - один для проца з вбудованою графікою, інший з дискреткою. Ціна питання 200-300 євро плюс проц (300-500 євро), память (1200 євро), СіСіДі (500 євро). Ітого 2200-2500.

подібні пк підійдуть тільки за наявності thunderbolt/occulink із дискреткою

Емм, шо? А нашо тандерболт?

так не працює

Саме так і працює. Відос же я скидував на попередній сторінці, там хлопак збирає системи під локальний Аі.

[lw_007]

спойлер

1. У мене є конкретні задачі. Пк має бути достатньо продуктивним, але при цьому маленьким

Asrock Deskmini (4L), Deskmeet (8L) - один для проца з вбудованою графікою, інший з дискреткою. Ціна питання 200-300 євро плюс проц (300-500 євро), память (1200 євро), СіСіДі (500 євро). Ітого 2200-2500.

подібні пк підійдуть тільки за наявності thunderbolt/occulink із дискреткою

Емм, шо? А нашо тандерболт?

так не працює

Саме так і працює. Відос же я скидував на попередній сторінці, там хлопак збирає системи під локальний Аі.

Власне я зверху й писав що 4к це ту мач. Особисто я вже давно вирішив для себе що корпус і компоновку охолодження з менеджментом повітряних потоків цікавіше самому зробити.
Тим паче всі можливості є)
А коментив я тому що у нас тут "експерти" які безапеляційно все знають, вони сказали що неттопи нікому не потрібні, значить так і є



Тандерболт і оккулінк дають можливість юзати eGPU.
Хоча особисто мені цікавіші варіанти типу зібрати щось на microATX/miniITX.
Все ж PCI-e це дуже приємно і дає багато можливостей)
Правда живлення без громоздких БП це окрема тема, 150W ізі, а от для 600 треба вже попаритися.

Але сценарії в мене специфічні, готуюсь збирати невеличку СЕС і АКБ для будиночку, відповідно у мене розрахунок не на 230В AC а на 48В DC.


По темі нарізки моделей.
не знаю, мб вже щось і змінилося, та поки крутив (пару років тому) то з дифузорами так не виходило. Нема там тензорного паралелізму.

Ну і LLM я не навчаю, у мене свої задачі та інтереси, і там десятки гігів памяті треба не для навчання а для генерації (та й то якщо справа піде і воно мені треба буде)


Так що комусь ферми з 3090, хай навчають і радіють перебоям електропостачання.
А мені цікаві компактність продуктивність та енергоефективність в одному флаконі і нейронки для мене не критичні)

[Fulkrum]

не для навчання а для генерації

Так ми про інференцію і говоримо. Різні слої (леєрс) завантажуються на різні відухи от і весь паралелізм. Додасться трохи лагу при обробці але не критично, у рази швидше ніж вивантажувати зайве у системну память.
Для домашніх задач, виклику тулз, 7-9б моделі з головою. Квен 3.6 9б за хвилину може ігри простенькі писати у html на сучасному процессорі без відухи.

[lw_007]

не для навчання а для генерації

Так ми про інференцію і говоримо. Різні слої (леєрс) завантажуються на різні відухи от і весь паралелізм. Додасться трохи лагу при обробці але не критично, у рази швидше ніж вивантажувати зайве у системну память.
Для домашніх задач, виклику тулз, 7-9б моделі з головою. Квен 3.6 9б за хвилину може ігри простенькі писати у html на сучасному процессорі без відухи.

Кхм, ок, ще раз, мб я щось сильно пропустив за півтора року.

от є Flux 1.D (fp16) разом з LoRA, ControlNet ітд не завжди в 30Gb вміщається.
Що там може бути з умовним Flux 1.Kontext навіть пробувати не хотілося.

А зараз, коли вийшов Flux 2 то там взагалі вимоги не для простих смертних.

Так як мені їх розкидати на декілька GPU, щоб воно не утикалось в спільну память яку дає оперативка?


Ps. і це мова навіть не про генерацію відео)
Psps. Ок, погуглив, можна перекинути VAE на іншу карту і виграти 4-5 Гб.
проте для важких задач цього недостатньо

[Buldozer.]

Тобто у нас якщо і можна буде купити - то від 6000$, наші "бариги" не втратять такої можливості щоб заробити!

капец. странные барыги какие-то. Заработать хотят

п.с. так и выжу очередь из барыг, которые это по 180 тыс покупают на перепродажу

[Fulkrum]

Ps. і це мова навіть не про генерацію відео)

Тут весь чат був про текстову генерацію. Девайс у новині занадто дохлий для комфортного фото/відео. 3090 одна буде швидша у рази і дешевша теж.

[freezers]

Дуже вузька ринкова ніша - Аі miniПК. Так то варіків непоганих повно як просто для дому взяти. Навіть Asrock Deskmini та Deskmeet. А саме для штучного інтелекту нашо робити комп маленьким? Тоді вже простіше його у хмарі крутити.

Щоб була власна AI хмара в маленькій коробочці. По швидкодії в LLM краще за Apple та ігрові відеокарти.

По швидкодії LLM - гірше ніж ігрові відеокарти. Тут 250GB/s пропускна здатність відеопам'яті

Отправлено спустя 5 минут 25 секунд:
А, вже сказали)

[SergiusTheBest]

По швидкодії LLM - гірше ніж ігрові відеокарти. Тут 250GB/s пропускна здатність відеопам'яті

Ігрові мають мало пам'яті, тому сильно просідають на великих моделях.