AMD представила Instinct MI325X з 256 ГБ HBM3e та Instinct MI355X з 288 ГБ HBM3e для обчислень ШІ

[ronemun]

Пропоную обговорити AMD представила Instinct MI325X з 256 ГБ HBM3e та Instinct MI355X з 288 ГБ HBM3e для обчислень ШІ

ви будете сміятись, але AMD продає такі ж MI300, але з 192 ГБайт, по 15к доларів. Думаю нові будуть лише трішки дорожче, все таки це просто +33% памяті і це не дуже поможе.
(в реалі ці прискорювачі приєднані до 2х проців АМД не через PCie, а через IF v3 на швидкості 500+ ГБайт/с кожен, тобто 24 канали оперативи (для 2х) проців це ще 960 Гбайт/с кешу, так би мовити обємом пару терабайт. В Nvidia прискорювач GB200 з 144 Гбайт зєднаний по шині 1 Тбайт/с з 512 Гбайт LPDDR5 проца на 72 ядра)
Так от, прикол в тому що на ebay планка ddr5 256 Гбайт коштує ... мінімум ... 3000 доларів
і це древні 64біт@4800 МГц (40 Гбайт/с), а в MI325X шина в колосальні 8кілобіт на частоті 6400 (6,4 Тбайт/с), тобто в 170 раз швидше.

[Keyser Soze]

"Пузырёк AI" сдувается быстрым темпом - https://www.latent.space/p/gpu-bubble

[sagifire]

"Пузырёк AI" сдувается быстрым темпом - https://www.latent.space/p/gpu-bubble

Напевно більш доречно сказати "бульбашка GPU" здувається на фоні росту AI та ринок адекватно реагує на задрані цінники зелених і спекулянтів які на них повелись.
Прикол в тому що поточне покоління графічних числодробилок вже застаріле для потреб в сфері AI, а наступному ще потрібно буде конкурувати з принципово новими рішеннями в галузі (наприклад https://arxiv.org/pdf/2410.00907).

[vmsolver]

Прикол в тому що поточне покоління графічних числодробилок вже застаріле для потреб в сфері AI, а наступному ще потрібно буде конкурувати з принципово новими рішеннями в галузі (наприклад https://arxiv.org/pdf/2410.00907).

We propose the linear-complexity mul-
tiplication (L-Mul) algorithm that approximates floating point number multipli-
cation with integer addition operations. The new algorithm costs significantly
less computation resource than 8-bit floating point multiplication but achieves
higher precision. Compared to 8-bit floating point multiplications, the proposed
method achieves higher precision but consumes significantly less bit-level com-
putation. Since multiplying floating point numbers requires substantially higher
energy compared to integer addition operations, applying the L-Mul operation in
tensor processing hardware can potentially reduce 95% energy cost by element-
wise floating point tensor multiplications and 80% energy cost of dot products.

Я думал там что-то принципиально новое, а это очередной метод сэкономить биты. Это всё в лёгкую реализуется в tensor-cores, да и вообще в любом АЛУ, там и так зоопарк форматов, будет ещё +1. Если на это будет спрос, Хуанг скажет: холд май бир

[Scoffer]

а это очередной метод сэкономить биты

Це скоріше черговий метод економити транзистори і, що головніше, вати. Лінь вникати що вони там вигадали, але на перший погляд це щось накшталт 0x5f3759df з дума тільки для множення. Для нейронок не дуже точна точність мабуть підійде. Якщо так, то у Хуанга проблеми бо його чіпи і без того оверхед в рази, а стануть в десятки і ніяка куда вже не врятує в таких розкладах. Ну а АМД взагалі не встигне заскочити на нейропотяг.

[vmsolver]

а это очередной метод сэкономить биты

Це скоріше черговий метод економити транзистори і, що головніше, вати. Лінь вникати що вони там вигадали, але на перший погляд це щось накшталт 0x5f3759df з дума тільки для множення. Для нейронок не дуже точна точність мабуть підійде. Якщо так, то у Хуанга проблеми бо його чіпи і без того оверхед в рази, а стануть в десятки і ніяка куда вже не врятує в таких розкладах. Ну а АМД взагалі не встигне заскочити на нейропотяг.

Масло масленное. Экономия бит это всегда и выливается в экономию транзисторов и потребления.
Что они концептуально придумали я отквотил.