Microsoft зіткнулася з надмірною кількістю ШІ-чипів NVIDIA через проблеми з розгортанням нових ЦОД

[ronemun]

Це, очевидно, виправдовування перед акціонерами, які під час голосуваня спитають чому їх обійшов Елісон, власник Oracle, який будує ЦОД з нуля, що ніби дорого, але насправді простіше. Йдеться про каардинальні зміни в ЦОД, до чого МС не готова бо привикла що всі залежать від неї, а тут приходиться підстроюватись під нове, і пояснювати куди іде стільки грошей. Раніше сама МС диктувала Nvidia конфігурації, які проци і які розміри/живлення, і та слухалась, а тепер тре повністю покладатись на новітні стандарти, продиктовані розробником стійки і ЦОД - тобто Nvidia.
кожне нове покоління споживає в 10 раз меньше на туж задачу, але ріст продуктивності вимагає максимальної інтеграції в одній стійці щоб зекономити на дуууже дорогій оптиці (> половини ціни іншого обладнання), + швидка мережа дозволяє максимально обєднати і використати дуже дорогу память HBM. Наступні стійки замість 72 кристали обєднають вже 576. Ясно що це вимагає нового живлення 800В до 1500 А.

[stoned]

max1996

спойлер

[dead_rat]

кожне нове покоління споживає в 10 раз меньше на туж задачу,

Це ви, дядьку, загнули. Добре якщо більше 10%

Відправлено через 1 хвилину 40 секунд:

max1996

спойлер

Це результат імперської системи, якщо хочеш робити бізнес, то маєш робити це в метрополії. Засновники більшості бізнесів і інновацій не народилися в США.

Поділи всі винахіди по країнам походження людей, котрі іх зробили, і картина стане протилежною.

[KimRomik]

Просто взяти да поділити між споживачами... Жарт. Я про те, що давно пора робити опенсорсний локальний ШІ і нехай кожен виділяє потужність свого компа під нього. Не треба більше підключати кудись та використовувати чужі потужності. Іншими словами, зараз вони просувають ШІ по аналогії GeForce Now, але краще просто скачати і користуватись, ніж мати віддалений доступ.

[max312]

Заради ШІ слопа розконсервовують атомну станцію, котра пережила ядерний інцидент з розплавленим реактором .

[pelia]

Заради ШІ слопа розконсервовують атомну станцію, котра пережила ядерний інцидент з розплавленим реактором .

треба більше балерин капучін

[ronemun]

кожне нове покоління споживає в 10 раз меньше на туж задачу,

Це ви, дядьку, загнули. Добре якщо більше 10%

1ша причина росту ефективності - за 10 років продуктивність одного чіпа виросла в 1000 раз тільки по 23 рік, коли вийшов H100, з 4 петафлопс (PF). А тепер вже масово b200 з 18 PF, і скоро b300 на 30, тобто ще в 7,5 раз за покоління. Vera Rubin вкінці 26 го буде мати 100 PF на чіп.
2га причина - софт - багато алгоритмів сильно вдосконалені, як приклад всім відомий deepseek зміг на обрізаному залізі зробити задачі які раніше навіть не представляли.
ще аргументи:
- перехід на fp4 зменшив вимогу до памяті у 2 рази (відносно fp8, в 4 рази відносно fp16) і сильно прискорив задачі які раніше не вміщались в память, а також передачу по мережі.
- кількість памяті зросла в рази - з 80 у H100 До 288 у B300. Так само в рази виросла її швидкість
- зєднання в кластери dgx підняло кількість памяті до небаченого рівня що дозволило розвязати задачі значно ефективніше
Все це додатково підняло ефективність заліза крім прямого росту потужності чіпів

[Denvys5]

за 10 років продуктивність одного чіпа виросла в 1000 раз тільки по 23 рік, коли вийшов H100, з 4 петафлопс (PF). А тепер вже масово b200 з 18 PF, і скоро b300 на 30, тобто ще в 7,5 раз за покоління. Vera Rubin вкінці 26 го буде мати 100 PF на чіп.

Ага
10 років тому рахували в FP32 флопсах, сьогодні рахуєм в INT8 опсах
А графік малюєм наче там усюди Int8, ага
А ріст так, в 1000 раз
Те що в FP32 перевага в 10 раз то "туди не дивись, сюди дивись"

[dead_rat]

Це ви, дядьку, загнули. Добре якщо більше 10%

- перехід на fp4 зменшив вимогу до памяті у 2 рази (відносно fp8, в 4 рази відносно fp16) і сильно прискорив задачі які раніше не вміщались в память, а також передачу по мережі.
- кількість памяті зросла в рази - з 80 у H100 До 288 у B300. Так само в рази виросла її швидкість
- зєднання в кластери dgx підняло кількість памяті до небаченого рівня що дозволило розвязати задачі значно ефективніше
Все це додатково підняло ефективність заліза крім прямого росту потужності чіпів

Перехід з fp8 на fp4 ніяк не можна назвати прогресом, просто рахують з набагато меншою точністю, бо 2^4 це усього 16 , а 2^8 це 256. Це скоріше диво, що такої точності вистачило.

Щодо кількості памʼяті і кластерів це лише екстенсивно, а ви ж казали про зростання енергоефективності, тож це зовсім інше.

[Scoffer]

Це скоріше диво, що такої точності вистачило.

Насправді не вистачило. І 8 біт також не вистачило. Там десь поряд з NN значеннями FP4 чи FP8 лежить ще 8-бітний скейл, на котрий оте все помножиться. А от 16 біт вже більш-менш достатньо для самостійного використання.

[ronemun]

Denvys5
а який толк рахувати з точністю 32біт те для чого хватає fp8-fp4?
Головне ЯКА кількість обчислень тої точності необхідна!
І, як показує практика, fp4/int4-8 потрібно в 100ні раз більще ніж навіть fp16, не те що fp32
на ebay колись круті V100 тепер продаються по 100 доларів, а вони мають 30 fp16/15 Тфлопс FP32, але вони нікому вже не потрібні, софт навіть не компілюють під цю точність.

Відправлено через 4 хвилини 30 секунд:
dead_rat
якраз продуктивність зросла в 7,5 тисяч раз при рості споживання <10 раз
А інші фактори - алгоритми, память/мережа підняли ефективність ще в багато раз

[Scoffer]

а який толк рахувати з точністю 32біт те для чого хватає fp8-fp4?

Вистачає це сильно умовне поняття. Це як в анекдоті: перші 80% роботи займають 80% часу, наступні 20% займають також 80% часу. От так і з нейронками. Швидко то швидко, але точність погіршилась бо останні 20% роботи робити вже нікому.

[unique-neon]

max1996

спойлер

Це результат імперської системи, якщо хочеш робити бізнес, то маєш робити це в метрополії. Засновники більшості бізнесів і інновацій не народилися в США.

Поділи всі винахіди по країнам походження людей, котрі іх зробили, і картина стане протилежною.

Як на мене, яка країна надає кращі засоби для ведення бізнесів, там вони і ведуться. Хто ж винен, що знадобився не там, де народився ))

[Nikolay Yeryomenko]

Насправді все що занадто, то нездорово!

[AssayMAS]

Или виноват? "Напишите в комментариях"

ХУан к майниг буму и ИИ буму шел два десятилетия+ - он в никуда вкидывал тонны денег в продвижении CUDA. По наплодил кучу программистов что умеют в параллельные вычисления ТОЛЬКО с КУДА, вот она магия. Пруфф - рыночек труда в США так зарешал что умеющие только в куда получают на 20% меньше денежек, а вот умеющие в технологии от АМД или Интел или Китай получают больше денег.
А игрокам в игры на минималках хватит и любой карты RTX типо 3050 2060, GTX карты уже слабо вывозят то 10 ФПС то 60... когда у RTX показатель ФПС стабильней. И все игроделы ориентируются на RTX карты.

Відправлено через 3 хвилини 1 секунду:

нехай кожен виділяє потужність свого компа під нього

с пингом в 50-100мс... и внезапным выпадением узлов... будет ИИ всем ИИ пример как не надо делать.

[den888]

Держу пальчики скрещенными за падение куртки в бездну
Потом эта мразь снова приползёт к геймерам с жертвоприношениями в виде большого количества VRAM
Ненавижу этого упыря косоглазого

Покупайте карты АМД. Они всегда за обычных геймеров были - актуальные технологии, длительная поддержка, качественный софт. Настоящая компания добра, берите ее

Занад-то явний тролінг

[cspp]

Пока они все запустят чипы устареют

[Alexsandr]

Все верно технологии ИИ начинают проходить пик интереса и входить в фазу "разочарование". Это нормлаьно и на том всегда кто-то теряет деньги.
что говорить про ИИ если даже при просьбе создать таблицу с параметрами умных часов он путает параметры.А ведь ИИ так же само думает и по другим вопросам и никогда неизвестно где и что он придумает.

[waryag]

як приклад всім відомий deepseek зміг на обрізаному залізі зробити задачі які раніше навіть не представляли

Там точно обрізане залізо, а не приховування санкційного?

[МОНАХ]

...Хуанг може зарядить котлету на пониження

► Нє-а! Скоріше зарядить в 6000-ну серію порізаний варіант, поставить х5 до ціни і під старою піснею, аля як колись rtx, заспіває: "Чуваки! Евріка! Новий виток розвитку унікального емейзінг-геймінга - персонально у кожному компі! Налітай!".