OpenAI починає переходити на чипи TPU Google замість GPU NVIDIA

[Rederst]

Пропоную обговорити OpenAI починає переходити на чипи TPU Google замість GPU NVIDIA

Порахували гроші і виявилось це дешевше. Нічого дивного.

[Afit]

А где AMD во всём этом?

[lostsoulforever]

А где AMD во всём этом?

А причому тут АМД? Гугл почав розробляти власні прискорювачі для роботи з ШІ щоб ні від кого не залежати і тут різко перейдуть на АМД одразу після закінчення розробки? З логікою все в порядку?

[taras_cs]

А где AMD во всём этом?

Давайте я погуглю замість вас:



Насправді пишуть, що доля NVidia навіть вище за 75%, тут в таблиці лише сервери.

[Геральт]

А где AMD во всём этом?

[Afit]

А где AMD во всём этом?

Давайте я погуглю замість вас:



Насправді пишуть, що доля NVidia навіть вище за 75%, тут в таблиці лише сервери.

В новости написано "Nvidia тотально домінує" Вот у меня и вопрос возник: где AMD на этом направлении? Не ужели их инстинкты не востребованы, если Nvidia почти безальтернативной считается? Почему у них не идут так хорошо дела? Железо недотягивает? Софт? В этом суть вопроса

[item2]

А где AMD во всём этом?

Спеціально запитав у Gemini Pro.

спойлер

Ось головні гравці, які використовують AMD Instinct для своїх ШІ-амбіцій:

Microsoft
Технологічний гігант є одним з найбільших клієнтів AMD. Microsoft використовує прискорювачі AMD Instinct MI300X для живлення частини інфраструктури своїх сервісів Azure OpenAI. Це означає, що обчислення для таких відомих моделей, як GPT-3.5 та GPT-4, частково виконуються на обладнанні AMD. Це є яскравим підтвердженням того, що прискорювачі Instinct здатні справлятися з найвимогливішими у світі робочими навантаженнями ШІ, як для навчання, так і для інференсу (логічного висновку).
Окрім внутрішнього використання, Microsoft пропонує віртуальні машини на базі MI300X в хмарі Azure, надаючи іншим компаніям, наприклад Hugging Face, доступ до потужностей AMD для їхніх ШІ-проєктів.

Meta
Компанія Meta, що стоїть за розробкою сімейства великих мовних моделей Llama, є ще одним стратегічним партнером AMD. Meta використовує прискорювачі AMD Instinct MI300X для інференсу своїх моделей. Враховуючи масштаби соціальних мереж Facebook та Instagram, ефективність та продуктивність інференсу є критично важливими, і вибір на користь AMD свідчить про конкурентоспроможність їхніх рішень.

Oracle Cloud Infrastructure (OCI)
Oracle робить величезну ставку на AMD Instinct, розгортаючи масивні "зеттафлопсні" (zettascale) кластери на базі найновіших прискорювачів AMD Instinct MI355X. Ці кластери, що можуть налічувати до 131 072 GPU, створені спеціально для того, щоб клієнти Oracle могли будувати, тренувати та запускати власні великомасштабні моделі ШІ. Хоча Oracle не розголошує імена всіх клієнтів, сама наявність такої потужної інфраструктури, орієнтованої на тренування, вказує на те, що багато компаній використовуватимуть її для розробки власних генеративних ШІ.

AI-стартапи та спеціалізовані хмарні провайдери
Такі компанії, як TensorWave, будують свою хмарну інфраструктуру виключно на базі прискорювачів AMD Instinct. Вони пропонують стартапам та підприємствам доступ до обчислювальних потужностей для тренування та запуску ШІ-моделей, наголошуючи на кращій ціновій ефективності порівняно з конкурентами.

[AntonyKandaurov]

Давайте, давайте, щиміть того тайванця а то той тайванець зовсім зажрався вже.

[Scoffer]

где AMD на этом направлении?

В дупі. Спеціалізовані TPU в рази енергоефективніше, але АМД не випускає спеціалізовані TPU. Комбайни від нвідії мають суперрозвинену софтову обв'язку, але АМД і близько не має нічого подібного. Відповідно нащо брати АМД? От щоби що? Щоб жерло як не в себе і всі ліби писати з нуля? Дивно що вони взагалі щось продають з інстинктів.

Відправлено через 5 хвилин 4 секунди:
Інтела це також стосується з їхніми відеокартними прискорювачами.

[Afit]

А где AMD во всём этом?

Спеціально запитав у Gemini Pro.

спойлер

Ось головні гравці, які використовують AMD Instinct для своїх ШІ-амбіцій:

Microsoft
Технологічний гігант є одним з найбільших клієнтів AMD. Microsoft використовує прискорювачі AMD Instinct MI300X для живлення частини інфраструктури своїх сервісів Azure OpenAI. Це означає, що обчислення для таких відомих моделей, як GPT-3.5 та GPT-4, частково виконуються на обладнанні AMD. Це є яскравим підтвердженням того, що прискорювачі Instinct здатні справлятися з найвимогливішими у світі робочими навантаженнями ШІ, як для навчання, так і для інференсу (логічного висновку).
Окрім внутрішнього використання, Microsoft пропонує віртуальні машини на базі MI300X в хмарі Azure, надаючи іншим компаніям, наприклад Hugging Face, доступ до потужностей AMD для їхніх ШІ-проєктів.

Meta
Компанія Meta, що стоїть за розробкою сімейства великих мовних моделей Llama, є ще одним стратегічним партнером AMD. Meta використовує прискорювачі AMD Instinct MI300X для інференсу своїх моделей. Враховуючи масштаби соціальних мереж Facebook та Instagram, ефективність та продуктивність інференсу є критично важливими, і вибір на користь AMD свідчить про конкурентоспроможність їхніх рішень.

Oracle Cloud Infrastructure (OCI)
Oracle робить величезну ставку на AMD Instinct, розгортаючи масивні "зеттафлопсні" (zettascale) кластери на базі найновіших прискорювачів AMD Instinct MI355X. Ці кластери, що можуть налічувати до 131 072 GPU, створені спеціально для того, щоб клієнти Oracle могли будувати, тренувати та запускати власні великомасштабні моделі ШІ. Хоча Oracle не розголошує імена всіх клієнтів, сама наявність такої потужної інфраструктури, орієнтованої на тренування, вказує на те, що багато компаній використовуватимуть її для розробки власних генеративних ШІ.

AI-стартапи та спеціалізовані хмарні провайдери
Такі компанії, як TensorWave, будують свою хмарну інфраструктуру виключно на базі прискорювачів AMD Instinct. Вони пропонують стартапам та підприємствам доступ до обчислювальних потужностей для тренування та запуску ШІ-моделей, наголошуючи на кращій ціновій ефективності порівняно з конкурентами.

Я это всё понимаю Но где это в статье?) Там так приподнесено, как будто этого, что описано выше нет)

[taras_cs]

В новости написано "Nvidia тотально домінує" Вот у меня и вопрос возник: где AMD на этом направлении? Не ужели их инстинкты не востребованы, если Nvidia почти безальтернативной считается? Почему у них не идут так хорошо дела? Железо недотягивает? Софт? В этом суть вопроса

Причин багато. Серед них:

Nvidia першою зробила ставку на AI ще у 2012–2014 роках, коли почалася "глибока революція" з AlexNet. AMD тоді ще зосереджувалась на ігрових GPU.

CUDA (Compute Unified Device Architecture) — власна платформа та API для паралельних обчислень, які працюють тільки на графічних процесорах Nvidia.

Величезна кількість AI фреймворків — таких як TensorFlow, PyTorch, JAX — мають нативну підтримку CUDA, що робить розробку, тренування та оптимізацію моделей швидкою та зручною.

У AMD немає повноцінного аналога (ROCm — спроба, але вона менш розвинена, нестабільна і не підтримується всіма фреймворками).

Компанія активно підтримує розробників, стартапи й великі компанії через програми як Nvidia Inception.

Nvidia має лінійку потужних GPU спеціально для AI/ML і HPC (високопродуктивних обчислень).

Вони підтримують між-GPU зв’язок NVLink, модулі NVSwitch, інтеграцію в суперкомп’ютери — все це ідеально для масштабованого AI.

AMD має MI300, але втрачає в ринковій частці, підтримці й реальному розгортанні.

Nvidia активно інвестує в документацію, навчальні курси, конференції (GTC).

Є зручні симулятори, демо, SDK — що робить бар’єр входу для розробників низьким.

Залучення спільноти, інструментів, і звичка — все це тримає клієнтів у екосистемі Nvidia.

[tornadox]

Абсолютно логічно, Гугл створив ТПУ, але ніколи не конкурував, вони були доступні лише для внутрішнього користування.

А от успіх NVIDIA в AI – це не стільки про інновації, скільки про обставини. В часи криптовалютного безумства зелена клепала GPU як гарячі пиріжки. Але коли майнінг здувся, вони залишилися з мільйонами відеокарт, які вже нікому не треба було. Продавати геймерам по 4090 на кожну нирку? Ну ок. Але реальний шанс був – зробити з усього цього парку заліза щось корисне для дата-центрів.

І тут вони дуже правильно взялися за це: оптимізація софту, шліфування CUDA, тензорні ядра в кожну дірку – аби тільки переконати всіх, що RTX тепер не тільки для кіберпанку, а ще й для ШІ. І що характерно – вийшло. Бо альтернативи були або сирі (AMD), або недоступні (TPU від Google).

Що залишається без змін так це доступність ВК нвідія для будь кого кому потрібно трішки ШІ, Гугл не буде продавати свої ТПУ на прилавку з гарячими піріжками.

[coffeeman]

... або недоступні (TPU від Google).

Вірно для дата-центрів, в вдома можна CoralBoard поганяти.

[block_stupid]

item2
Ще є Azure HBv5

[yuriy_dd]

скоро будуть переходити на М чипи від Епл

[Tiufin]

Але коли майнінг здувся, вони залишилися з мільйонами відеокарт, які вже нікому не треба було. Продавати геймерам по 4090 на кожну нирку? Ну ок. Але реальний шанс був – зробити з усього цього парку заліза щось корисне для дата-центрів.

І тут вони дуже правильно взялися за це: оптимізація софту, шліфування CUDA, тензорні ядра в кожну дірку – аби тільки переконати всіх, що RTX тепер не тільки для кіберпанку, а ще й для ШІ. І що характерно – вийшло.

Що за маячня? Звідки ви це взяли? Чи самі придумали?

[tornadox]

Що за маячня? Звідки ви це взяли? Чи самі придумали?

А ти глянь на таймінг подій, перш ніж кукурікати. Спочатку був майнінговий бум, потім обвал, і от "раптово" NVIDIA перетворює свої геймерські відеокарти на "AI-рішення". CUDA, Tensor Cores, DGX - все це різко стало головним бізнесом. Це не маячня, це спостереження за ринком, поки ти, схоже, в прес релізи лазиш частіше, ніж у новинини.

[dead_rat]

Що за маячня? Звідки ви це взяли? Чи самі придумали?

А ти глянь на таймінг подій, перш ніж кукурікати. Спочатку був майнінговий бум, потім обвал, і от "раптово" NVIDIA перетворює свої геймерські відеокарти на "AI-рішення". CUDA, Tensor Cores, DGX - все це різко стало головним бізнесом. Це не маячня, це спостереження за ринком, поки ти, схоже, в прес релізи лазиш частіше, ніж у новинини.

Воно і було важливим бізнесом, просто після корони вистрілив маркетинг ЧатуГпт і всі знову побігли до Хуанга за лопатами

[AntonyKandaurov]

tornadox
Просто раніше замість тренування нейросіток і матриць народ стучав відеокартами по застиглому лайні блокчейнам золотим. А коли стукіт став неприбутковий то пішов хайп на нейромережі. Якби майнінг був досі прибутковий, той ші нафіг би нікому не вперся а хуанг знову би переймався долею гоймерів, яким не дістаються відеокартки ( ні! ).

[tornadox]

AntonyKandaurov
Та я ж про це й кажу. Так само, як майнінг скотився до ASIC'ів і став нерентабельним для GPU, так само й AI рано чи пізно піде тим самим шляхом — до спеціалізованих, дешевших і продуктивніших ШІ-чіпів. GPU — це просто універсальний інструмент, який Хуанг встигає втулити в будь-який хайп: то для майнінгу, то для "інтелекту".

І поки народ розганяє романтику про революцію ШІ, NVIDIA просто зливає старі й нові склади GPU, що залишилися після криптовалютоістерії. Ну а для малого та середнього бізнесу — так, купити 10–20 RTX простіше, ніж лізти в TPU чи платити за H100 по ціні органів. Але не треба робити вигляд, ніби це стратегія вічної AI-домінації.

Відправлено через 10 хвилин 20 секунд:
dead_rat
Було важливим — але не основним. До ChatGPT Хуанг ходив з лопатою до геймерів і майнерів, а не до дата-центрів. Те що вони швидко переорієнтували і збільшили фінансування ШІ відділу це справді заслуговує поваги. Інші гравці ринку більше інертні, або не мають можливості так швидко адаптуватися.