AMD випустила міні-ПК Ryzen AI Halo з процесором Ryzen AI Max+ Pro 495 та 192 ГБ пам’яті

[alex_sul]

Пропоную обговорити AMD випустила міні-ПК Ryzen AI Halo з процесором Ryzen AI Max+ Pro 495 та 192 ГБ пам’яті

Ну якщо платить контора - терпимо. Якщо сам купляєш - велика проблема втрати вартості через застарівання... І нема шо додати

Партнерці дали hp ноут для віддаленої праці. А там точно така батарея як у її персональному HP Pavilion Gaming 15-ec2000ua (48V92EA).. І вона свіженька
Я кажу: давай свопнем!!! А вона заливає: нізззяяяяя!!!! Я кажу: ....Nobody’s gonna know.... How would they know?
Я б з цим шматком щастя амдешним точно так і зробив би

[1nsane]

Мне вот всегда было интересно посмотреть на перформанс локальных моделей на встройках, пусть даже уровня gorgon halo.
Суть:
Для запуска больших моделей требуется много видеопамяти. И чем больше модель, тем сложнее ее вычисления. То есть закидать большую модель памятью тоже не вариант - она тогда будет вычисляться невыносимо долго.
Например:
У меня сейчас две радеон про на 32 гб каждая, запускаю квен 3.8 Q8. Инференс от 20 до 40 токенов в секунду - и это вроде бы ок, но хотелось бы побыстрее.

Такую же модель можно запустить и на gorgon halo, но там оно будет еще медленнее, раза в два - имхо это уже на грани неюзабельности.

Но это не все - на таких девайсах есть еще больше памяти, чтобы запускать чуть ли не kimi 3.5 в каком-нибудь бомж-квнате типа Q2. Но ведь там перформанс будет еще хуже!

На что рассчитан этот девайс? Не забывайте, что для щапуска локальной модели точно так же рекомендуется достаточно самой системной памяти, чтобы хранить чекпоинты kv-кеша, контекста, и так далее. Да, можно все выкрутить в ноль, но тогда ты будешь перечитывать контекст после каждой операции.

Короче, много вопросов о том, как оно работает в реальных кейсах.

[Zakarul]

Уж слишком дорого. За адекватную стоимость можно было бы и купить, почему нет. Но не за столько.

[yariksom]

Уж слишком дорого. За адекватную стоимость можно было бы и купить, почему нет. Но не за столько.

Вартість повністю адекватна сьогоднішнім цінам, це просто реальність стала якоюсь неадекватною

[Extra]

Мне вот всегда было интересно посмотреть на перформанс локальных моделей на встройках, пусть даже уровня gorgon halo.
Суть:
Для запуска больших моделей требуется много видеопамяти. И чем больше модель, тем сложнее ее вычисления. То есть закидать большую модель памятью тоже не вариант - она тогда будет вычисляться невыносимо долго.
Например:
У меня сейчас две радеон про на 32 гб каждая, запускаю квен 3.8 Q8. Инференс от 20 до 40 токенов в секунду - и это вроде бы ок, но хотелось бы побыстрее.

Такую же модель можно запустить и на gorgon halo, но там оно будет еще медленнее, раза в два - имхо это уже на грани неюзабельности.

Но это не все - на таких девайсах есть еще больше памяти, чтобы запускать чуть ли не kimi 3.5 в каком-нибудь бомж-квнате типа Q2. Но ведь там перформанс будет еще хуже!

На что рассчитан этот девайс? Не забывайте, что для щапуска локальной модели точно так же рекомендуется достаточно самой системной памяти, чтобы хранить чекпоинты kv-кеша, контекста, и так далее. Да, можно все выкрутить в ноль, но тогда ты будешь перечитывать контекст после каждой операции.

Короче, много вопросов о том, как оно работает в реальных кейсах.

"две радеон про на 32 гб каждая" - це 64 Гб відеорами. На AI Max+ 395, якщо виділити стільки ж под відео, залишиться 64 Гб системної - і це, прямо скажемо, дуже і дуже впритул, якщо мова йде про нормальний (> 100К) контекст та kv-кеш с норм квантизацією. Так що новий девайс, як мінімум, буде не такий придушений хоча б по пам'яті.

[Smok]

На что рассчитан этот девайс?

це девайс не для чатіка, а скоріш для інтеграції в ентерпрайз, аналізу працінвиків/клієнтів їх взаємодії та покращення роботи, наприклад створення більш персоналізованих пропозиній клієнтам
такі девайси беруть для роботи з сенсетивними даними
я б теж такий хотів би собі, але ціна непідйомна

[3-14]

Такую же модель можно запустить и на gorgon halo, но там оно будет еще медленнее, раза в два - имхо это уже на грани неюзабельности.

Якщо мова йде про густу 3.8, то вона буде повільною на Хало. Для MoE моделей с 10-15 активних мільярдів буде вже норм.

[Denvys5]

Як би це парадоксально не звучало, а з'являється сенс у хало апу + повноцінна гпу. KV cache оффлоад та/або частину слоїв на велику гпу і все інше рахувати на апу.

[lw_007]

Мне вот всегда было интересно посмотреть на перформанс локальных моделей на встройках, пусть даже уровня gorgon halo.
Суть:

спойлер

Для запуска больших моделей требуется много видеопамяти. И чем больше модель, тем сложнее ее вычисления. То есть закидать большую модель памятью тоже не вариант - она тогда будет вычисляться невыносимо долго.
Например:
У меня сейчас две радеон про на 32 гб каждая, запускаю квен 3.8 Q8. Инференс от 20 до 40 токенов в секунду - и это вроде бы ок, но хотелось бы побыстрее.

Такую же модель можно запустить и на gorgon halo, но там оно будет еще медленнее, раза в два - имхо это уже на грани неюзабельности.

Но это не все - на таких девайсах есть еще больше памяти, чтобы запускать чуть ли не kimi 3.5 в каком-нибудь бомж-квнате типа Q2. Но ведь там перформанс будет еще хуже!

На что рассчитан этот девайс? Не забывайте, что для щапуска локальной модели точно так же рекомендуется достаточно самой системной памяти, чтобы хранить чекпоинты kv-кеша, контекста, и так далее. Да, можно все выкрутить в ноль, но тогда ты будешь перечитывать контекст после каждой операции.

Короче, много вопросов о том, как оно работает в реальных кейсах.

На радіках нормально працює? в сторону зелених вже не дивлюсь, не потягну такий хоумлаб
KV кеш в кванті?
Було б цікаво дізнатись як воно на локалках загалом працює, і що може)

Відправлено через 2 хвилини 47 секунд:

Як би це парадоксально не звучало, а з'являється сенс у хало апу + повноцінна гпу. KV cache оффлоад та/або частину слоїв на велику гпу і все інше рахувати на апу.

Аби працювало нормально)

Я, з нинішніми цінами, вже думаю, мб, щось спробувати на х99 якомусь зібрати і пробувати в пайплайн паралеліз

Відправлено через 2 хвилини 29 секунд:

"две радеон про на 32 гб каждая" - це 64 Гб відеорами. На AI Max+ 395, якщо виділити стільки ж под відео, залишиться 64 Гб системної - і це, прямо скажемо, дуже і дуже впритул, якщо мова йде про нормальний (> 100К) контекст та kv-кеш с норм квантизацією. Так що новий девайс, як мінімум, буде не такий придушений хоча б по пам'яті.

Там unified memory, воно, ніби, трохи не так працює.
Хоча не знаю, сам то не пробував, і не скоро зможу

[1nsane]

На радіках нормально працює? в сторону зелених вже не дивлюсь, не потягну такий хоумлаб
KV кеш в кванті?
Було б цікаво дізнатись як воно на локалках загалом працює, і що може)

Хорошо работает, поддерживаются драйверы и rocm, и вулкан (вендор-агностик).
На двух 32-гиговых гоняю qwen 3.8 квант q8 контекст 320k. И остается еще по полтора-два гига на каждой, чтобы агент гонял другие нейросети (кастомщина на torch).

"две радеон про на 32 гб каждая" - це 64 Гб відеорами. На AI Max+ 395, якщо виділити стільки ж под відео, залишиться 64 Гб системної - і це, прямо скажемо, дуже і дуже впритул, якщо мова йде про нормальний (> 100К) контекст та kv-кеш с норм квантизацією. Так що новий девайс, як мінімум, буде не такий придушений хоча б по пам'яті.

Там unified memory, воно, ніби, трохи не так працює.
Хоча не знаю, сам то не пробував, і не скоро зможу

Да не, он все правильно говорит - эта ж память и системно шарится, как ты сам заметил. Туда-сюда раскидали на контекст, kv, кеши, чекпоинты - да вот и кончилось.
Так что походу действительно такой девайс вот как раз на такие небольшие модели и расчитан.

Но не за 7к

[lw_007]

На радіках нормально працює? в сторону зелених вже не дивлюсь, не потягну такий хоумлаб
KV кеш в кванті?
Було б цікаво дізнатись як воно на локалках загалом працює, і що може)

Хорошо работает, поддерживаются драйверы и rocm, и вулкан (вендор-агностик).
На двух 32-гиговых гоняю qwen 3.8 квант q8 контекст 320k. И остается еще по полтора-два гига на каждой, чтобы агент гонял другие нейросети (кастомщина на torch).

о, дякую.
qwen для розробки юзаєте, якщо не секрет? Цікаво от, на що реально вистачає такого контексту.
Я, поки, уявляв собі приблизно послідовний конвеєр агентів з відносно невеликим контекстом
Поки цілюся в 2х24гб на червоних, але не знаю як там буде. Треба ще підзаробити на те задоволення)

[1nsane]

о, дякую.
qwen для розробки юзаєте, якщо не секрет? Цікаво от, на що реально вистачає такого контексту.
Я, поки, уявляв собі приблизно послідовний конвеєр агентів з відносно невеликим контекстом
Поки цілюся в 2х24гб на червоних, але не знаю як там буде. Треба ще підзаробити на те задоволення)

Ага, уже вроде писал где-то - сразу извиняюсь за тавтологию:
- Сначала сидел на qwen 3.6 a3b (который MoE) - прекрасная штука для не самых мощных девайсов. Пользовался на радеоне 7600M XT с 8 гигами видеопамяти. Скорость умеренная, код пишется, но нужно ОЧЕНЬ много контроля и перепроверок. Один проект на Go писал как полностью black box - то есть даже не заглядывал в код, он сам фиксил свои ошибки по запросу. Второй более важный проект на чистом C писал как assisted AI - человеческий код с... хм... "гуглом с контекстом" через ИИ) Очень сносно.
- Потом докупил себе radeon w7800 на 32 гига - qwen 3.6 a3b стал летать 120-130 токенов в секунду, это капец быстро. Но учитывая кол-во брака и перепроверок решил перейти на dense модель - qwen 3.6, который dense. Инференс упал до 40 т/с, зато качество выросло в разы. Ошибки все еще были, на капитально реже.
- Потом докупил вторую карту - R9700. Перешел на qwen 3.8 - тут вообще легко стало. Модель очень хорошо разбирается в глобальных планах, хорошо держит контекст, но ее "раздумья" чиатть НЕЛЬЗЯ! Там такая ахинея, что страшно. Оказалось, так и надо - она может по 5 раз себе повторять одно и тоже разными фразами, чтобы оно у нее отложилось в контексте - прерывать ее НЕ НАДО (а я так поначалу делал). Скорость на ней 20-40 т/с. Код пишется чистый. Даже на C.

[Denvys5]

Оказалось, так и надо - она может по 5 раз себе повторять одно и тоже разными фразами, чтобы оно у нее отложилось в контексте

Код пишется чистый. Даже на C.

харнесс роляє
якщо харнесс шлак як github copilot, то ніяка модель нормально робити не буде

QwenCode оригінальний, чи впаяли до клода? Чи OpenCode змогли налаштувати до нормального стану?

[1nsane]

Оказалось, так и надо - она может по 5 раз себе повторять одно и тоже разными фразами, чтобы оно у нее отложилось в контексте

Код пишется чистый. Даже на C.

харнесс роляє
якщо харнесс шлак як github copilot, то ніяка модель нормально робити не буде

QwenCode оригінальний, чи впаяли до клода? Чи OpenCode змогли налаштувати до нормального стану?

Люто плюсую, харнесс безумно важен.

Использую opencode, работает хорошо (хоть и я недоволен их последними изменениями)