Прискорювач обчислень Intel Gaudi 2 швидший за Nvidia H100 в Stable Diffusion

[aaleksandrenko]

Пропоную обговорити Прискорювач обчислень Intel Gaudi 2 швидший за Nvidia H100 в Stable Diffusion

Отакої.

Вчора Хуанг казав що ШІ рішення конкурентів і безкоштовно нікому не потрібні

[erazel]

Ну тут все залежить яка моча вдарить в голову дирекції TSMC і кого вони запустять на нові замовлення на свої лінії. Толку з того що ти розробив чіп якщо його ще виготовити треба. І ось тут TSMC може почати вирішувати чиї акциї мають рости .

[aaleksandrenko]

Ну тут все залежить яка моча вдарить в голову дирекції TSMC і кого вони запустять на нові замовлення на свої лінії. Толку з того що ти розробив чіп якщо його ще виготовити треба. І ось тут TSMC може почати вирішувати чиї акциї мають рости .

Може й тому інтел також планують бути таким же контрактним виробником як TSMC що внесе хоч якусь конкуренцію в цю сферу. Хоча залежність обох від ASML в обладнанні залишається.

[erazel]

Може й тому інтел також планують бути таким же контрактним виробником як TSMC що внесе хоч якусь конкуренцію в цю сферу. Хоча залежність обох від ASML в обладнанні залишається.

Саме цікаве що що Інтел що АМД мали ж свої літографічні фабрики. Як зараз не знаю, давно на те увагу не звертав. Але раніше вони ж власноруч випускали власні процесори. Тобто персонал навчений, логістика і все супутнє мало б бути напрацьоване.

[daesz]

Може й тому інтел також планують бути таким же контрактним виробником як TSMC що внесе хоч якусь конкуренцію в цю сферу. Хоча залежність обох від ASML в обладнанні залишається.

Саме цікаве що що Інтел що АМД мали ж свої літографічні фабрики. Як зараз не знаю, давно на те увагу не звертав. Але раніше вони ж власноруч випускали власні процесори. Тобто персонал навчений, логістика і все супутнє мало б бути напрацьоване.

Не факт, що той персонал ще взагалі числиться в амуде. Вони з 2019 року (а це вже на хвилинку 5 років) сидять на TSMC, до того (а це фуфікси та зени першого та другого покоління) були на globalfoundry, дивно було б тримати в штаті працівників, які фактично нічого не роблять (бо літографії своєї немає) 10 років

[aaleksandrenko]

Може й тому інтел також планують бути таким же контрактним виробником як TSMC що внесе хоч якусь конкуренцію в цю сферу. Хоча залежність обох від ASML в обладнанні залишається.

Саме цікаве що що Інтел що АМД мали ж свої літографічні фабрики. Як зараз не знаю, давно на те увагу не звертав. Але раніше вони ж власноруч випускали власні процесори. Тобто персонал навчений, логістика і все супутнє мало б бути напрацьоване.

На скільки я пам'ятаю раніше АМД користувались послугами GlobalFoundries. Загуглив трохи. Це був підрозділ АМД, але вони їх продали в 2009 році, і зараз GlobalFoundries це як TSMC, але спеціалізуються на більш зрілих техпроцесах.
А АМД почала себе позиціонувати як безфабрична компанія, бо саме через GlobalFoundries яка не могла забезпечити найновіші тех процеси АМД сильно почала відставати. По договору вони мали робити процесори тільки на GlobalFoundries поки не переглянули ці правила. І зараз необмежені якимось виробником, хто може краще там і роблять. Так само як нвідія, випускала чіпи то на TSMC то на самсунг фабриках. Цілком можливо що замовлення для АМД буде робити інтел через декілька років і це нормально

В той же час інтел зараз зберегла свої заводи і тільки якусь частину роблять на TSMC.

[waryag]

А АМД почала себе позиціонувати як безфабрична компанія, бо саме через GlobalFoundries яка не могла забезпечити найновіші тех процеси АМД сильно почала відставати. По договору вони мали робити процесори тільки на GlobalFoundries поки не переглянули ці правила.

Це не зовсім так. На той час у інтелу були найкращі техпроцесси. Ну і не одними техпроцесами брав інтел...

І зараз необмежені якимось виробником, хто може краще там і роблять. Так само як нвідія, випускала чіпи то на TSMC то на самсунг фабриках.

Якщо треба найкраще - з альтернативами тайваньцям проблеми.

[kolio]

ні слова про споживання. Може там рівно не 56% більше жору? Ми то знаємо на що піде Intel заради 200МГц (14900KS).

[Scoffer]

kolio
Скоріше за все жере ще й менше. Gaudi 2 це спеціалізований тензорний/матричний прискорювач і більше нічого він не вміє, а H100 - перевідяха з кудою і всім отим, а не тільки тензоропроци.

[alexdev]

ні слова про споживання. Може там рівно не 56% більше жору? Ми то знаємо на що піде Intel заради 200МГц (14900KS).

Схоже на то, бо з їхніх брошур:
У A100 80 ГБ PCIe TDP 300 Вт (400 Вт для SXM)
У intel gaudi 2 up to 600 TDP

[Yalg]

kolio
И цены не указаны ни на одну из.
Scoffer
С другой стороны это делает H100 куда более универсальной штукой, то есть более широкий рынок.

Отправлено спустя 7 минут 50 секунд:
Нашел кое-что:

The Nvidia Hopper H100 GPU is implemented using the TSMC 4N process with 80 billion transistors.

The SXM5 form factor H100 has a thermal design power (TDP) of 700 watts. With regards to its asynchrony, the Hopper architecture may attain high degrees of utilization and thus may have a better performance-per-watt.

Intel Gaudi 2 7nm process technology supports card level TDP of 600 watts.

Израильская(куплены интелом, лол) Гадя2 - печь по современным меркам. У них с H100 разница в техпроцесс и чуть больше, что много.

[Ray2000gt]

kolio
И цены не указаны ни на одну из.

Ціни на такі штуки і не світять як правило. Як домовишся, така ціна і буде.

[alexdev]

Ray2000gt
але є статті де їх ціни якось порівнювали і пишуть, що intel gaudi 2 майже вдвічі дешевші за Н100. А продуктивність на доллар відповідно порахували різницю в +-чотири рази.
https://www.servethehome.com/nvidia-sho ... -its-h100/

[Scoffer]

С другой стороны это делает H100 куда более универсальной штукой

Так, але кінцевого покупця це не дуже парить.

[Yalg]

alexdev
Штошшш, с такой разницей это sold out edition, и полные карманы денег на разработку Гади3 на 5нм.

Потребление 10-15 квт.ч сутки на единицу, 3 650-5 475 в год, допустим по 0.2 бакса, 730-1095 баксов в год только за электричество.
Некисло, но устаревают они за пару лет, а сдохнут наверное за 3, старый техпроцесс вполне себе терпим.

Отправлено спустя 26 минут 30 секунд:

Так, але кінцевого покупця це не дуже парить.

Посмотрим что будет дальше, когда хайп уменьшится и рынок скорректируется.
Я ожидаю что на рынок ии ускорителей полезут все значимые корпорации, IBM, Google, Amazon и так далее, выбор будет широк, Nvidia придётся потесниться.
Забавно что AMD сопли жуёт в это время.

[mrigi]

Гадя2 - печь по современным меркам. У них с H100 разница в техпроцесс и чуть больше, что много.

Техпроцесс та споживання не пов'язані між собою ніяк. Мабуть тільки маркетинговим булшитом.

[waryag]

Техпроцесс та споживання не пов'язані між собою ніяк. Мабуть тільки маркетинговим булшитом.

Назви техпроцессів (зараз) не пов'язані з фізичними розмірами елементів, і формально рівні т/п від різних виробників не однакові, але з кожною новою ітерацією продуктивність росте, а споживання - падає (при інших рівних).

[kolio]

alexdev
там хитро описані ці 600 Вт. Типу воно виготовлено в формфакторі який дозволяє відводити до 600 Ватт пасивно. Дослівно:

Intel Gaudi2 is offered to system designers in standard OCP OAM 1.1 Mezzanine card form and supports up to 600 TDP Power with passive cooling.

[Scoffer]

Посмотрим что будет дальше, когда хайп уменьшится и рынок скорректируется.

Я думаю що тензоропроци - не межа розвитку нейронок. Як мінімум з дідових загашників можна дістати трансп'ютери або інші пристрої типу "обчислення в/біля пам'яті" бо перш за все нейронки лімітує ПСП, а не потужності числодробильні. Так що ми ще щось побачимо цікаве в цьому напрямку.

[sagifire]

Я думаю що тензоропроци - не межа розвитку нейронок. Як мінімум з дідових загашників можна дістати трансп'ютери або інші пристрої типу "обчислення в/біля пам'яті" бо перш за все нейронки лімітує ПСП, а не потужності числодробильні. Так що ми ще щось побачимо цікаве в цьому напрямку.

В поточній реалізації, коли нейрони емулюються на архітектурі Фон Неймана, воно буде впиратись в характеристики памяті. Один з напрямків розвитку це спроба інтерпретації нейрона в кремнії, подивимся що з цього получиться )).