Міні-суперкомп’ютер NVIDIA DGX Spark для ШІ-обчислень отримав 6144 ядра CUDA

[waryag]

Пропоную обговорити Міні-суперкомп’ютер NVIDIA DGX Spark для ШІ-обчислень отримав 6144 ядра CUDA

АМД, що довго мучила чип з потужною встройкою, напряглася.

в компактному суперкомп’ютері

Мідлова 5070, АРМ ядра - суперкомп'ютер.

Редакція взагалі якось слідкує за текстом новин, чи просто перекладає? (в діплі )

[Scoffer]

waryag
Та тут справа навіть не в марці відяхи. Міні-суперкомп'ютер дняної продуктивності можна і з расбері зібрати. Тільки він обов'язково має бути з багатьох-багатьох нод щоб на ньому можна було відкатати софт, котрий потім запускатиметься на максі-суперкомп'ютері. З розподілом по мережі і всякими іншими супутніми кластерними приколами. А я щось не бачу на борту сабжу десятка материнок з десятком відях же.

[yurius_r]

Отакої. Тут прямо і останні ARM ядра і GPU. А для Nintendo Switch 2 все старе

[nazar-pc]

Так це міні-комп'ютер чи суперкомп'ютер?

[Tesseract]

128 ГБ пам’яті LPDDR5X

Ну тепер хоч ясно куди вони усю пам'ять діли, що аж 5060 з нещасними 8 Гб лишилась

[tornadox]

Тут прямо і останні ARM ядра і GPU

Це новий продукт, не зрозуміло на кого орієнтований, хто цільова аудиторія, і чому вони мають обрати незрозуміло-що, якщо вони можуть купити робочу станцію на х86 чи макміні де є впевненість що через 3 роки воно не стане ще однією одноразовою коробочкою з арм, коли нвідія вирішить що пора продати нові чіпи і нову коробку.

Nintendo Switch 2 все старе

Там лояльна фанбаза готова купляти пусті коробки з надписом нінтендо.

[Denvys5]

в компактному суперкомп’ютері

логіка там виходить з наявності 2х200Gbe мережевої карти
Наче з них можна складати кластер, з RDMA на повній швидкості врами

Кому таке нахрін треба, з ціною на це щастя межуючої з нормальним прискорювачем - загадка.

[Scoffer]

Denvys5
Погана у них логіка. Тоді це не суперкомп, а лише одна з запчастин до нього.
Суперкомп'ютери за останні 30+ років це кластери за визначенням. В природі зустрічаються "міні-суперкомп'ютери" з немічних залізяк, але виключно для цілей розробки і тестування софта, а значить вони мають максимально точно наслідувати топологію великого суперкомпа, інакше нічого не вийде.

[durblnda]

Кому таке нахрін треба, з ціною на це щастя межуючої з нормальним прискорювачем - загадка.

він потрібен , щоб локально запустити ламу, або іншу llm'ку

[Denvys5]

durblnda
І нахріна збирати кластер для локальної лами якщо можна взяти epyc сервер і повноцінну карту (A100 чи ртх про 6000) в схожий з кластером бюджет?

[tornadox]

Наявність Блютус та Вайфай одразу дає натяки що це пристрій для дому, можливо SOHO.

[Denvys5]

це справді якась дуже обмежена ніша: коли хочеться тренувати модельку, і саме з стеком нвідіа.
І хочеться саме мультігпу по мережі, наче це прототип перед справжнім кластером. Але справжнього кластеру при цьому немає. І орендувати не хочеться, бо треба ж локально.
І хочеться щоб компактне і тихеньке, а не воркстейшн/сервер.
І хочеться дуже конкретний сегмент по об'єму пам'яті, в проміжку 256-384гб (2-3 кластер, бо на більше треба 200гбіт світч і раціонал зникає).

Бо проміжок по пам'яті з таким ПЗП забеспечить epyc 7003 або макстудіо, але там не буде стеку нвідіа

[MSiAventador]

Наявність Блютус та Вайфай одразу дає натяки що це пристрій для дому, можливо SOHO.

Функції DGX OS 6


Засновано на Ubuntu 22.04 з останньою довгостроковою версією ядра Linux 5.15 для останніх оновлень обладнання та безпеки, а також оновлень програмних пакетів, таких як Python та GCC.
Включає оптимізоване для NVIDIA ядро ​​Linux, яке підтримує GPU Direct Storage (GDS) без додаткових патчів.
Надає доступ до всіх гілок драйверів графічних процесорів NVIDIA та версій інструментарію CUDA.
За замовчуванням використовується Ubuntu OFED з можливістю встановлення NVIDIA OFED для додаткових функцій.
Підтримує безпечне завантаження (потрібна Ubuntu OFED).
Підтримує DGX H100/H200.
Надає підписку на розширене обслуговування безпеки (ESM) для клієнта Ubuntu Pro з репозиторію Ubuntu Universe.

[tornadox]

Функції DGX OS 6


Засновано на Ubuntu 22.04 з останньою довгостроковою версією ядра Linux 5.15 для останніх оновлень обладнання та безпеки, а також оновлень програмних пакетів, таких як Python та GCC.
Включає оптимізоване для NVIDIA ядро ​​Linux, яке підтримує GPU Direct Storage (GDS) без додаткових патчів.
Надає доступ до всіх гілок драйверів графічних процесорів NVIDIA та версій інструментарію CUDA.
За замовчуванням використовується Ubuntu OFED з можливістю встановлення NVIDIA OFED для додаткових функцій.
Підтримує безпечне завантаження (потрібна Ubuntu OFED).
Підтримує DGX H100/H200.
Надає підписку на розширене обслуговування безпеки (ESM) для клієнта Ubuntu Pro з репозиторію Ubuntu Universe.

Не розумію до чого ваш коментар про DGX OS 6 який описує програмне забезпечення платформи DGX.

Моя ж думка, чому у DGX Spark є Bluetooth та Wi-Fi, полягає в тому, що це показник його форм-фактора та цільового використання. Це не компонент для традиційного суперкомп'ютера в серверній стійці, де потрібні лише дротові високошвидкісні інтерфейси.
Наявність Bluetooth/Wi-Fi робить DGX Spark зручним персональним AI суперкомп'ютером. Wi-Fi дозволяє легко підключити його до локальної мережі в офісі чи лабораторії без прокладання кабелю. Bluetooth – для бездротових клавіатури, миші, аудіо. Це функції для персонального робочого місця, які підкреслюють його призначення як самостійного потужного інструменту для розробника чи дослідника, який стоїть на столі, а не ховається в датацентрі.

[Shuginubi]

Это нельзя будет сделать в варианте ноутбука?

[Rederst]

Таке враження що закінчилися екрани для ноутбуків і вони зробили очей витвір маркетингу.