ASUS випускає настільний міні-суперкомп’ютер Ascent GX10 на базі NVIDIA GB10 SuperChip

[nazar-pc]

Пропоную обговорити ASUS випускає настільний міні-суперкомп’ютер Ascent GX10 на базі NVIDIA GB10 SuperChip

Дивий реліз.
Різні виробники буквально використовують одну материнську плату, різниця лишу в трошки інакшому вигляді корпусу.
Не дуже розумію нащо "випускати" буквально ідентичний продукт з іншим шильдиком від іншого "виробника".

[DDt]

Не дуже розумію нащо "випускати" буквально ідентичний продукт з іншим шильдиком від іншого "виробника".

а у конкурента, который AI+ 395 или как там его, по-другому?

[Starsclub1999]

Не дуже розумію нащо "випускати" буквально ідентичний продукт з іншим шильдиком від іншого "виробника".

Більшість ПК комплектуючих та іншого це OEM виконання, материнки (якщо брати з готових ПК) водянки, монітори, відеокарти деякі, та багато чого іншого. Все одно це приносить гроші, компанії купують оптом багато готових виробів, і просто роблять для них кастомний корпус, або просто шильдик свій ставлять.

[ronemun]

Ідеальний спосіб прикриття продажі китайцям (Mediatek) кристалів прискорювачів на багато петафлопс в обхід санкцій
чіп розділений на кристал з ядрами проца + кристал прискорювача, які по одній з сторін мають супершвидкий інтерфейс NVlink на 5 ТБайт/с, в перспективі 10+, великі кристали вже зараз зєднані 14-20).
Просто зєднайте пару таких з чіпом IO: хаб+кеш+контролер HBM/gddr+мережа NVlink/ethernet, який елементарно робиться навіть на древніх техроцесах (бачив спеціфікацію чіпа-контролера PCIe v5 на 45нм). АМД MI300-350 аналогічно робить, а MI450 OPenAI вже замовилa 50 тис. шт.
Ну а коробочки для любителів побавитись дома - чому б не заробити.
Недаремно китайці відкрито виступають проти готових прискорювачів ШІ від Nvidia/AMD - навіщо їм політичний зашморг, якщо так легко це обійти.

[DDt]

Просто зєднайте пару таких з чіпом IO

их и сейчас можно соединять между собой, правда пока только два штуки

[alexeygalas]

Буквально сьогодні попалось відео про нього. Потужна штука
Там в огляді і золотий і не дуже

спойлер

[ronemun]

Просто зєднайте пару таких з чіпом IO

их и сейчас можно соединять между собой, правда пока только два штуки

так через IO-чіп не тільки 4-8 шт кристалів можна зєднати , але й память спільна і кеш, швидкість конекту гігантська, а затримка мінімальна, + залежно від доступної памяті можна IO-чіп зробити з контролерами HBM чи gddr на любий обєм памяті/ширину шини. І головне такий IO-чіп навіть на TSMC можна замовити, адже там немає нічого підсанкційного.

[mrigi]

Ідеальний спосіб прикриття продажі китайцям (Mediatek) кристалів прискорювачів на багато петафлопс в обхід санкцій

Медіатек не китайці, вони тайванці. І коли хтость каже що хоче China-free, то Медіатек катить. Так шо не треба тут.

[Melofon]

Не дуже розумію нащо "випускати" буквально ідентичний продукт з іншим шильдиком від іншого "виробника".

а у конкурента, который AI+ 395 или как там его, по-другому?

AI+ 395 это совсем другое соответственно это никак не конкурент.

[Nekros]

Мені подобаються 128ггб які може використовувати відеокарта. Цікаво його можно використовувати для рендеру на ГПУ, або текстурингу де теж потрібно багато врам?
І 5090 не треба купляти, так буде повільніше, але і ціна добра за цілий пк.
АМД 395 аі не варіант тому що нема підримки ГПУ проф софтом, а тут наче усе добре

[Melofon]

Если он персональный то поясните для чего это нужно дома? ИИ запускать? Винда на этом я так понял не катит бо ARM а не Х86.

[DDt]

а у конкурента, который AI+ 395 или как там его, по-другому?

AI+ 395 это совсем другое соответственно это никак не конкурент.

в смысле другое? ))) я про неттопы на АМД с 128гб ОЗУ и 8060S
вроде даже тесты есть и оно вроде +/- похожее по производительно для ЛЛМ

[mrigi]

Потужна штука

Тепер треба побутова версія без 200Гбе, двума слотами під nvme та виводом на декілька мониторів по ціні до 2к і це буде гарно.

[n+gibat[]r]

Интересно как оно греться будет в таком душном маленьком корпусе от неттопа или тв-бокса без норм вентиляции

[ronemun]

Ідеальний спосіб прикриття продажі китайцям (Mediatek) кристалів прискорювачів на багато петафлопс в обхід санкцій

Медіатек не китайці, вони тайванці. І коли хтость каже що хоче China-free, то Медіатек катить. Так шо не треба тут.

ширше тре думати.
Я не мав на увазі що Медіатек це Китай, а що вони вузол перевалки з TSMC в Китай.
Там їх найбільший ринок, також там їхні потужності по складанню чіпсетів, тобто пластини/кристали туди йдуть в сирій формі, а виходять готові чіпи, в т.ч. SoC.
Багато розслідувань щодо того як компанії під санкціями спокійно отримують пластини від TSMC через посередників, в т.ч. з Тайваню і т.п. США навіть хотіли накласти на TSMC штраф в 1 млрд за кристали Ascend 910B для Huawei, які виявились вироблені TSMC. А Китай заборонив навіть досліджувати цю тему
Дивує чому Китай відкрито виступив проти Nvidia і взагалі зобовязав купувати ШІ присклрювачі тільки свого виробництва, якщо за тестами вони підходять тільки для обмежених обчислень. Очевидно вони отримують новітні чіпи більш скрито, наприклад як окремі малі кристали

[Melofon]

AI+ 395 это совсем другое соответственно это никак не конкурент.

в смысле другое? ))) я про неттопы на АМД с 128гб ОЗУ и 8060S
вроде даже тесты есть и оно вроде +/- похожее по производительно для ЛЛМ

В самом прямом смысле другое! те АМД неттопы на процессорах Ryzen AI Max+ 395 (Strix Halo) с 16-ю ядрами Zen 5 на архитектуре Х86 и встройкой 8060S RDNA 3.5, а эти "мини-суперкомпьютеры" на архитектуре ARM поэтому созданы немного под разные задачи, первый это скорее стандартный пк на котором можно выполнять достаточно много задач и на который можно поставить обычный виндовс и делать очень разную работу, но врядли он так же хорошо подходит для работы с ИИ, тогда как этот "мини-суперкомпьютер" рассчитан на цитирую: Середовище розробки ШІ-рішень, Включає NVIDIA NIM™ і Blueprints. Підтримка Pytorch, Jupyter, Ollama для прототипування та інференсу. Він змінює правила гри для розробників, дослідників у сфері штучного інтелекту та аналітиків даних, адже пропонує обчислювальну потужність рівня петафлоп в надзвичайно компактному корпусі. Цей пристрій нового покоління з видатною продуктивністю та сучасними функціями створено для ефективної локальної розробки ШІ-рішень.
На него ставят не виндовс а NVIDIA DGX Base OS (на базі Ubuntu) - оптимізоване ШІ-середовище, готове до використання.
Пристрій пропонує також NVIDIA AI Software Stack – попередньо встановлені фреймворки, SDK та інструменти для швидкого розгортання програмних рішень.
Інструменти та фреймворки:
CUDA, PyTorch, TensorFlow, Jupyter – оптимізовані для розробки та інференсу ШІ-моделей.
NVIDIA TensorRT – потужний рушій для інференсу.
NVIDIA NIMs & Blueprints – готові компоненти й мікросервіси ШІ для швидкого старту.
Широка підтримка моделей:
DeepSeek R1 – оптимізований інференс для моделей із кількістю параметрів до 70 млрд.
Llama 3.1 – генеративний ШІ з підтримкою моделей, що пропонують до 405 млрд параметрів (при використанні двох GX10).
Meta, Google – широка підтримка основних ШІ-фреймворків.
В общем это более специализированное оборудование заточенное для ИИ чем мини-комп на AMD Ryzen AI Max+ 395 (Strix Halo) который особо не отличается от обычного компа и у которого NPU-блок для операций ИИ с производительностью всего 50 TOPS тогда как у этого 1000 TOPS ! Чувствуете разницу?

[alexeygalas]

mrigi
Вони ще забули написати, що qsfp стіки коштують по 500 баксів штучка )))

Хоча пасивний кабель з двох qsfp сокетів мабуть баксів 150 коштує, якщо там контроллер підтримує

[yurius_r]

nazar-pc

Різні виробники буквально використовують одну материнську плату

Плату схоже розробляли зелені - є референс дизайн як у відеокарт буває. Саме таку плату показували на виставках раніше і схоже поки інших варіантів не буде.

[DDt]

50 TOPS тогда как у этого 1000 TOPS

я не про архитектурные различия

по тестам в ЛЛМках, они +/- похожи в плане производительности
возможно в софте заточенном именно под NVIDIA этот DGX будет быстрее

[Alekss]

в смысле другое? ))) я про неттопы на АМД с 128гб ОЗУ и 8060S
вроде даже тесты есть и оно вроде +/- похожее по производительно для ЛЛМ

В самом прямом смысле другое! те АМД неттопы на процессорах Ryzen AI Max+ 395 (Strix Halo) с 16-ю ядрами Zen 5 на архитектуре Х86 и встройкой 8060S RDNA 3.5, а эти "мини-суперкомпьютеры" на архитектуре ARM поэтому созданы немного под разные задачи, первый это скорее стандартный пк на котором можно выполнять достаточно много задач и на который можно поставить обычный виндовс и делать очень разную работу, но врядли он так же хорошо подходит для работы с ИИ, тогда как этот "мини-суперкомпьютер" рассчитан на цитирую: Середовище розробки ШІ-рішень, Включає NVIDIA NIM™ і Blueprints. Підтримка Pytorch, Jupyter, Ollama для прототипування та інференсу. Він змінює правила гри для розробників, дослідників у сфері штучного інтелекту та аналітиків даних, адже пропонує обчислювальну потужність рівня петафлоп в надзвичайно компактному корпусі. Цей пристрій нового покоління з видатною продуктивністю та сучасними функціями створено для ефективної локальної розробки ШІ-рішень.
На него ставят не виндовс а NVIDIA DGX Base OS (на базі Ubuntu) - оптимізоване ШІ-середовище, готове до використання.
Пристрій пропонує також NVIDIA AI Software Stack – попередньо встановлені фреймворки, SDK та інструменти для швидкого розгортання програмних рішень.
Інструменти та фреймворки:
CUDA, PyTorch, TensorFlow, Jupyter – оптимізовані для розробки та інференсу ШІ-моделей.
NVIDIA TensorRT – потужний рушій для інференсу.
NVIDIA NIMs & Blueprints – готові компоненти й мікросервіси ШІ для швидкого старту.
Широка підтримка моделей:
DeepSeek R1 – оптимізований інференс для моделей із кількістю параметрів до 70 млрд.
Llama 3.1 – генеративний ШІ з підтримкою моделей, що пропонують до 405 млрд параметрів (при використанні двох GX10).
Meta, Google – широка підтримка основних ШІ-фреймворків.
В общем это более специализированное оборудование заточенное для ИИ чем мини-комп на AMD Ryzen AI Max+ 395 (Strix Halo) который особо не отличается от обычного компа и у которого NPU-блок для операций ИИ с производительностью всего 50 TOPS тогда как у этого 1000 TOPS ! Чувствуете разницу?

Нет там никаких 1000 Ai Tops - Fp4 (формат NVFP4) sparsity, а стандартных int8 примерно 250 Ai Tops. По производительности и конфигурации это гибрид RtX 5050 с RTX 5070 (очень грубо) c 128 GB унифицированной памяти и 31 tflops fp32 . 1000 NVFP4 TOPS без (2:4) sparsity/2 = 500 FP4 TOPS, или эквивалент - 250 INT8 Ai TOPS в чистом виде.

формат (NVFP4 sparsity) 2:4 от NVIDIA - это примерно тоже самое, что и в 1165 TOPS в AMD RX 9070 (Peak 4-bit Precision (INT4 Matrix) Performance with Structured Sparsity 1165 TOPs)). В которой int8 Ai tops без Structured Sparsity составляет 289 Ai tops INT8. Нужно также понимать, что (NVFP4) sparsity это очень низкая точность и потеря весов Ai модели. В идеале LLM должна быть оптимизирована для расчетов с очень низкой точностью (NVFP4 sparsity), или будет давать ошибки в расчетах (хотя Nvidia заявляет, что будет все ок).

Примерно: NVFP4 sparsity - это 1001 1011 1101 0011 (или половина от FP8, да еще и сжатая (2:4) для скорости).

Все это никак не укладывается в заявленные 31 tflops fp32, которые равны RTX 5070 (6144 cores). В линейке GPU Blackwell нет подобной карты для сравнения. Которая имеет 31 tflops fp32, 6144 cores и дает такую низкую производительность в int8 (в которых все измеряют Ai Tops). И к тому же не предназначена дял работы для windows/ mac os, а через NVIDIA (DGX OS) Linux.

Этот Nvidia DGX Spark 128GB - очень нишевой пк, не понятно кто его будет закупать и для чего. Работа с Ai моделями достаточно сложна (для обычного пользователя) в подобных Linux интерфейсах и нельзя сказать как это позиционирует Nvidia - "о массовости для народа" за $4000. Не понятен также хитрый ход Nvidia c (DGX OS) Linux. Возможно, Nvidia будет продвигать эту OS как альтернативу windows.

Отправлено спустя 4 часа 31 минуту 20 секунд:
https://developer.nvidia.com/blog/intro ... -inference

Уточнение для предыдущего поста. Я забыл, что Nvidia в поколении Blackwell приводит все значения Ai tops не в int8 (как AMD и intel), а только в nvfp4. Это RTX 5070.

Поэтому возникает такая разница в показателях. 1000 Ai tops nvfp4 для

Все это никак не укладывается в заявленные 31 tflops fp32, которые равны RTX 5070 (6144 cores). В линейке GPU Blackwell нет подобной карты для сравнения. Которая имеет 31 tflops fp32, 6144 cores и дает такую низкую производительность в int8 (в которых все измеряют Ai Tops).