Відеокарти Radeon AI PRO R9700 із 32 гігабайтами GDDR6 надходять до перших власників

[_nevermind]

Предлагаю обсудить Відеокарти Radeon AI PRO R9700 із 32 гігабайтами GDDR6 надходять до перших власників

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

спойлер

[Earanak]

Ну так это для профессионалов А 5080 для игрунов в всякие мерзопакостные фортнайты, фу !
Но вообще тем кому нужно 32гб VRAM, им плевать на все эти обосратые 5070 и 5080 для игрулек.
Или AI в названии не видете ? Это вам не хухры мухры а серьезное дело, кто сиськи то будет генерить на WAN2.2 ?

[Gelonyrum]

Radeon

для профессионалов

Адекдот дня)

[yariksom]

Предлагаю обсудить Відеокарти Radeon AI PRO R9700 із 32 гігабайтами GDDR6 надходять до перших власників

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

спойлер

EpnN1Y5W4AA3xWv.jpg

Залежно для чого тобі потрібна карта, якщо погратися - бери 5080/5070ті

[1234waltz]

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

Дядя, це AI Pro з 32 GB VRAM. Хуангокарти з 24 ГБ можуть скільки завгодно бути кращими в багатьох аспектал, але якщо тобі треба працювати "зараз" з моделькою яка жере 28-30 GB VRAM, то 5080/24 йде лісом.

[waryag]

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

Но если надо именно 32ГБ, то из нового есть только 5090 с почти втрое большим ценником или еще более дорогие профкарты.

[Filabatya]

Супер прийде порядок наведе)

[mrigi]

Дядя, це AI Pro з 32 GB VRAM. Хуангокарти з 24 ГБ можуть скільки завгодно бути кращими в багатьох аспектал, але якщо тобі треба працювати "зараз" з моделькою яка жере 28-30 GB VRAM, то 5080/24 йде лісом.

Ті вже замовили framework desktop 128ГБ з перших 11 розпроданих партій.

[DDt]

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

Дядя, це AI Pro з 32 GB VRAM. Хуангокарти з 24 ГБ можуть скільки завгодно бути кращими в багатьох аспектал, але якщо тобі треба працювати "зараз" з моделькою яка жере 28-30 GB VRAM, то 5080/24 йде лісом.

только нюанс в том что АМДшный ROCm сосёт бибу на фоне CUDA
в последнее время АМД спасает только поддержка Vulkan

[mrigi]

только нюанс в том что АМДшный ROCm сосёт бибу на фоне CUDA

розмова про дві карти amd.
тай для llm приблизно однаково rocm чи cuda. таж ollama працює і з тим і з тим.

[MqM]

Ну так это для профессионалов А 5080 для игрунов в всякие мерзопакостные фортнайты, фу !
Но вообще тем кому нужно 32гб VRAM, им плевать на все эти обосратые 5070 и 5080 для игрулек.
Или AI в названии не видете ? Это вам не хухры мухры а серьезное дело, кто сиськи то будет генерить на WAN2.2 ?

Правда знову зясується, що це ефективніше на картах Нвідіа

[item2]

Для AI CUDA не така вже ультимативна. Там і на Vulkan усе працюватиме.

Framework Desktop крутий, але 126 TOPS (CPU+NPU+GPU) не сильно вражають. Могли б затримати на місяць-два, але випустити вже на RDNA 4.

[DDt]

126 TOPS (CPU+NPU+GPU)

у меня вопрос, никак не могу разобраться: какой софт поддерживает стразу вот это всё(а особенно NPU)? из того что я смог найти - майкросовтовский Copilot+, может ещё что-то подскажите?

[Alekss]

Предлагаю обсудить Відеокарти Radeon AI PRO R9700 із 32 гігабайтами GDDR6 надходять до перших власників

Ну не знаю, вроде за 1200 дол можно будет взять 24 гб 5080 / 5070ти в конце года, зачем брать вот это.

спойлер

EpnN1Y5W4AA3xWv.jpg

Radeon

для профессионалов

Адекдот дня)

Дядя, це AI Pro з 32 GB VRAM. Хуангокарти з 24 ГБ можуть скільки завгодно бути кращими в багатьох аспектал, але якщо тобі треба працювати "зараз" з моделькою яка жере 28-30 GB VRAM, то 5080/24 йде лісом.

только нюанс в том что АМДшный ROCm сосёт бибу на фоне CUDA
в последнее время АМД спасает только поддержка Vulkan

GPU Radeon обеспечивают в 2 раза больший прирост производительности для научных расчетов, чем GeForce RTX, благодаря соотношению FP64 1/32 против 1/64 GPU Nvidia. Грубо говоря - все GPU AMD в 2 раза производительней при научных расчетах FP64, чем GPU Nvidia (Geforce). Это не значит, что GPU Nvidia нельзя использовать для научных расчетов с точностью FP64 - это будет происходить в 2 или 2,5 раза дольше. Также есть серия Pro Nvidia, но цена там в 5 раз больше.

Чтобы сравниться в производительности с Ai PRO Radeon 9700 32GB за 1300$ FP64 (double) 1,495.0 GFLOPS (1:32), или AMD Radeon RX 9070 XT за 700$ надо:
NVIDIA GeForce RTX 5090 FP64 (double) 1.637 GFLOPS (1:64) за 1999$ - в 1,85 раза дороже от RX 9070 XT
NVIDIA RTX 6000 48GB Ada Gen FP64 (double) 1,422.8 GFLOPS (1:64) за $6500 - в 8 раз дороже от RX 9070 XT

Приведу пример:
Профессиональные приложения с критичным использованием FP64:

ANSYS Fluent https://www.ansys.com/products/fluids/ansys-fluent
применяется в вычислительной гидродинамике (CFD) для точного моделирования потоков жидкостей и газов, где накопление ошибок на миллиметр может исказить результаты.

Возьмем с потолока данные - есть моделирование расчетов - ANSYS Fluent. И допустим (выдумманый срок), что 1 GPU Ai PRO radeon 9700 32GB за 1300$ (FP64 (double) 1,495.0 GFLOPS (1:32)) будет считать его 24 часа (сложная большая задача, где критически важна точность), то RTX 5070 Ti (FP64 (double) 686.6 GFLOPS (1:64)) будет считать эту задачу 52 часа - из-за в два раза урезаной точности расчетов 1/64. Типа не важно больше суток получить преимущества?

где применяются FP64 расчеты:

- Инженерное моделирование
авиа- и автомобилестроение, кораблестроение, строительство — расчёты прочности, вибраций, аэродинамики и гидродинамики.

- Энергетика и нефтегаз
моделирование течений в скважинах, гидравлический разрыв пласта, тепловые расчёты ТЭС и АЭС.

- Научные и академические расчёты
климатология и метеорология, астрофизика, геофизика — долгосрочные симуляции, чувствительные к накоплению погрешностей.

- Финансовое моделирование
оценка рисков, стохастические методы (MC-симуляции), где FP64-точность снижает дисперсию в длинных временных рядах.

- Фармакология и биоинформатика
виртуальный скрининг, расчет энергии белковых комплексов, требующие точных энергий взаимодействия.

- Оптоэлектроника и фотоника
дизайн лазеров, волноводов, оптических резонаторов, где FP64 обеспечивает корректное разрешение сверхузких резонансных пиков.

[DDt]

Alekss
это прекрасно что GPU Radeon хоть где-то обходит Nvidia, без прикола
главное чтоб это преимущество было не на бумаге, а в реальности, потому как я зашёл на сайт того же ANSYS Fluent и поискал список железа которое поддерживает этот весьма узкоспециализированный софт, и нашёл раздел https://www.ansys.com/it-solutions/platform-support с документами https://www.ansys.com/content/dam/it-so ... lities.pdf и https://www.ansys.com/content/dam/it-so ... lities.pdf
и угадайте какого производителя там 95% адаптеры?

давайте пример софта попроще, а не того к которому есть доступ у инженеров ТЭС и АЭС
например графические редакторы типа фотошопа, монтаж видео, всякие 3Д типа блендера, вобщем всё то что может пощупать простой смертный
возьмём даже игрушки, последний раз когда я натыкался на обсуждения Radeon VS GeForce в среде геймдева были такие:

[Alekss]

Я не утверждаю, что пример идеален я привел его для сравнения - чтобы не возникало вопросов типа: да где это применить. Представьте, что примера нет. Найти применение Gpu AMD в вычислениях FP64 можно, но есть одна проблема! под названием NVIDIA RTX PRO 6000 Blackwell 96GB GDDR7 за $9000.

В чем прикол?
Использовать например 4 GPU AMD Radeon AI PRO R9700 32GB (получив 32+32+32+32 Gb видеопамяти GPU по шине Pci-e) можно. Но это будет не общая память 12GB, а 4x (32+32+32+32) Объединенные софтом в общий пул по шине Pci-e. Там будут потери в скорости, будут доступны не 128, а примерно 80 GB.

Стоит такая система довольно дорого примерно:
Gigabyte MS03-6L0 MS03-CE C741 LGA 4677 - 1340$
Xeon Silver 4410Y - 615$
4 GPu AMD Radeon AI PRO R9700 32GB - $5200 (4х 9700XT не выйдет поставить из-за Triple-slot )

Потреблять будет 1350w - нужен еще блок питания типа QUBE QBF-HP1 1600Wt за $250

В итоге мы получим $7155 и кучу проблем с настройкой, совместимостью, не общей GPU памятью, а 32+32+32+32 итд.

или

Можно взять 1 NVIDIA RTX PRO 6000 Blackwell 96GB GDDR7 - 9000$,
материнскую плату AM5 B850- $300,
Ryzen 9 7900- $300
блок питания 1200wt - 200$

В итоге выйдет $9800 и мы получим все преимущества NVIDIA RTX PRO 6000 Blackwell 96GB GDDR7, а именно 96Gb общей графической памяти, а не 32+32+32+32. Это можно использовать в обучении Ai LLm моделей, или в тех же научных расчетах FP64.

[DDt]

В итоге выйдет $9800 и мы получим все преимущества NVIDIA RTX PRO 6000 Blackwell 96GB GDDR7, а именно 96Gb общей графической памяти, а не 32+32+32+32. Это можно использовать в обучении Ai LLm моделей, или в тех же научных расчетах FP64.

есть ещё зазор где можно сэкономить для запуска Ai LLm моделей - устройства с unified memory, начиная от новых Ai AMD (судя по обзорам в ютубе оно пока со скрипом работает) за 1500-2000уё, там ещё АСУС обещает вот-вот выпустить аналогичное устройство на NVIDIA, там цена будет около 5к, а есть ещё Mac mini ..... вобщем есть где разгуляться
просто в чём тут киллер фича у АМД - лично мне не совсем понятно, с учётом того что поддержка на уровне софта у них всегда хромает

[Alekss]

Alekss
это прекрасно что GPU Radeon хоть где-то обходит Nvidia, без прикола
главное чтоб это преимущество было не на бумаге, а в реальности, потому как я зашёл на сайт того же ANSYS Fluent и поискал список железа которое поддерживает этот весьма узкоспециализированный софт, и нашёл раздел https://www.ansys.com/it-solutions/platform-support с документами https://www.ansys.com/content/dam/it-so ... lities.pdf и https://www.ansys.com/content/dam/it-so ... lities.pdf
и угадайте какого производителя там 95% адаптеры?

давайте пример софта попроще, а не того к которому есть доступ у инженеров ТЭС и АЭС
например графические редакторы типа фотошопа, монтаж видео, всякие 3Д типа блендера, вобщем всё то что может пощупать простой смертный
возьмём даже игрушки, последний раз когда я натыкался на обсуждения Radeon VS GeForce в среде геймдева были такие:
photo_2024-01-04_20-44-33.jpg

Вам нужно внимательно почитать требования и условия успользования - совместимости!
Ansys Fluent
https://github.com/amd/InfinityHub-CI/t ... sys-fluent


https://github.com/amd/InfinityHub-CI/b ... quirements
указана совместимость с
AMD Instinct MI300A/X APU/GPU(s)
AMD Instinct MI200 GPU(s)
AMD Instinct MI100 GPU(s)

https://rocm.docs.amd.com/projects/inst ... orted-gpus

а в документации rocm.docs.amd.com есть, что он совместим с AMD Radeon AI PRO R9700 32GB

Единственное что мы получим, что AMD Radeon AI PRO R9700 32GB официциально не тестировался с Ansys Fluent, а тестировался только

AMD Instinct MI300A/X APU/GPU(s)
AMD Instinct MI200 GPU(s)
AMD Instinct MI100 GPU(s)

[item2]

126 TOPS (CPU+NPU+GPU)

у меня вопрос, никак не могу разобраться: какой софт поддерживает стразу вот это всё(а особенно NPU)? из того что я смог найти - майкросовтовский Copilot+, может ещё что-то подскажите?

Одночасно, щоб навантаження балансувалось на усіх трьох - поки ніхто не підтримує. А сам NPU - вже досить багато (додайте в список LM Studio, Amuse, Stable Diffusion)

спойлер

Microsoft Windows Studio Effects: Voice Focus, Background Blur, Eye Contact, Automatic Framing
Microsoft Photos: Image Creator, Restyle Image
Microsoft Paint: Cocreator
CapCut: Automatic Captions, Text-to-Speech, Background Removal
Blender: NPU-powered rendering for text-to-image AI
Affinity Photo 2: AI Object Selection, AI Subject Selection
Capture One: AI Cropping, AI-assisted color grading
Moises: Real-time instrument and vocal isolation
Cubase: Digital audio processing
Nuendo: Digital audio processing
Topaz Labs Gigapixel: Image upscaling and enhancement
Vegas Pro: AI-powered features like Smart Mask
Camo: Enhanced webcam quality and effects
Cephable: Hands and facial expression control for Windows
Luminar Neo: Photo sharpening and focus enhancement
GIMP: Text-to-Image generation
Visual Studio Code: Code generation