AMD та Anthropic домовилися про розгортання до 2 ГВт обчислювальних потужностей на базі Instinct MI450

[Denvys5]

піднімемо вартість підписки до 799

І всеодно не вийдуть на рентабельність (саме за цією статтею витрат)
Бо 100-баксова підписка надає ~3200$ у токенах

Це хіба розраховувати що х4 оверселл буде окуповуватись

та за 5 років трильйон відіб'ється

Скоріше будуть друкувати акції і впарювати їх всім підряд чи як collateral, чи як безпосередній розрахунок. А там вже не треба бути прибутковим, аби хайп "завжди" піднімав ціну акцій

[dead_rat]

Твльки от проблема, що заливають сотні мільярдів, очікувано ~600 мільярдів лише цього року, а Антропік чи то збитковий чи в нуль робе. Так трильйон не відбити.

Це в тебе фантазії мало
За 5 років всі програмісти будуть писати тільки через Клауд код, піднімемо вартість підписки до 799, продамо топові моделі Пентагону, та за 5 років трильйон відіб'ється.
Не те що б це було прям реально , але в інших навіть і цього нема

В мене в розпорядженні ~350 програмістів(разом з ЕМ/ПМ), всі пишуть код Клодом чи Курсором, на кожного 1000$ підписки. Більше вже не буде.

Що буде реально - ми переіздимо чи на дешевші моделі чи на локальний хостинг, бо з 350к$ на місяць бюджетом лише мого департамента можно швидко обмазатися GPU навіть по цінам від Хуанга, а локальні можелі вже ок під кодинг

[Demedik]

В мене в розпорядженні ~350 програмістів(разом з ЕМ/ПМ), всі пишуть код Клодом чи Курсором, на кожного 1000$ підписки. Більше вже не буде.

Що буде реально - ми переіздимо чи на дешевші моделі чи на локальний хостинг, бо з 350к$ на місяць бюджетом лише мого департамента можно швидко обмазатися GPU навіть по цінам від Хуанга, а локальні можелі вже ок під кодинг

Поддержу. Работаю на Австралию. Так там прикол еще в том, что нужно чтобы сервара для ИИ находились на ее территории. Ну или локальные ИИшки. Думаю в ЕС если не есть, то скоро будет такое же. А по общению с менеджментом понятно, что в итоге прийдем к следующему - локальные модель, собственные сервера для бизнеса и возможно облачные сервера с отдельной покупкой моделей(как сейчас за хостинг).

Сижу на локалке, в целом с последними моделями нормально. Квен 3.6 МоЕ(8бит, динамическая квантизация) показывает себя адекватно и с ним можно работать, хоть и ботлнек в промпт процессинге на консумерских машинках(те что с 128гб). Кстати это у всех, в том числе у НеВидиа и Мака - причина пропускная способность памяти. Лучшие пока НеВидиа, далее АМД и замыкает Эпл. Генерация крутиться в районе 50т/с на том же квене.

По теме. Рад за АМД. Может еще быстрее начнут пилить свой ROCM.

[3-14]

Що буде реально - ми переіздимо чи на дешевші моделі

Переїжджайте на відкриті та/або Європейські моделі. Не треба повторювати помилки з хмарною інфраструктурою і тут, що ми беремо гроші з ЄС та відсилаємо їх у Каліфорнію.

[dead_rat]

Що буде реально - ми переіздимо чи на дешевші моделі

Переїжджайте на відкриті та/або Європейські моделі. Не треба повторювати помилки з хмарною інфраструктурою і тут, що ми беремо гроші з ЄС та відсилаємо їх у Каліфорнію.

З великою вирогідністю це будуть китайські моделі чи відкриті на самохостингу.

В клауді я вже оцінив як одна людина на Bedrock нам за місяць намотала більше 10к$

[3-14]

З великою вирогідністю це будуть китайські моделі чи відкриті на самохостингу.

Саме тому я казав придивитись до Містраль. Вони роблять якраз це, допомагають в хостингу своїх моделей на залізі клієнта, а також кастомізації моделей під клієнта. І все це з GDPR і іншими євроособливістями.

[Ortyomko]

Ortyomko, вкотре демонструєш власну неосвіченість? Кругові інвестиції - ознака відсутності джерел покриття витрат. Таке було з доткомами, енроном чи в 2010 з виробниками сонячних панелей для відновлювальної енергетики. Це спрацює лише якщо знайдуть якісь джерела прибутку, яких поки ніде не видно

ого, "вкотре"...
Антропіки мають 30млрд виторгу, тож оці 5млрд зобов'язань за чіпи це доволі не критично і не можна названи надмірним зобов'язанням, у Nvidia-OpenAI ситуація більше підходить під твою тезу, але не ця.
Що отримує амуде: частку в нехілій такій АІ компанії з можливістю зростання/дивідендами; продаж звоїх прискорювачів (продажі йдуть не в "0"); історичко на цьому ринку нвідія лідер, тож амд важко було отримати таке замовлення, тут вони його отримали + якщо вдастся зробити щось толкове, вони підсаджують антропік на свою інфраструктуру + реклама своїх прискорювачів у реальній роботі.

[aaleksandrenko]

Взагалі з ума вижили. 2 гігавати це скільки весь Київ споживає

[dead_rat]

З великою вирогідністю це будуть китайські моделі чи відкриті на самохостингу.

Саме тому я казав придивитись до Містраль. Вони роблять якраз це, допомагають в хостингу своїх моделей на залізі клієнта, а також кастомізації моделей під клієнта. І все це з GDPR і іншими євроособливістями.

GDPR буде веселим, всі компанії вирішили що безпека трохи перебільшена і відмінили її як факт. Зливають весь код в будь-яку АІ скам контору.

Відправлено через 29 секунд:

Взагалі з ума вижили. 2 гігавати це скільки весь Київ споживає

Нащо тобі Київ якщо в тебе є АІ слоп?

[aaleksandrenko]

Саме тому я казав придивитись до Містраль. Вони роблять якраз це, допомагають в хостингу своїх моделей на залізі клієнта, а також кастомізації моделей під клієнта. І все це з GDPR і іншими євроособливістями.

GDPR буде веселим, всі компанії вирішили що безпека трохи перебільшена і відмінили її як факт. Зливають весь код в будь-яку АІ скам контору.

Відправлено через 29 секунд:

Взагалі з ума вижили. 2 гігавати це скільки весь Київ споживає

Нащо тобі Київ якщо в тебе є АІ слоп?

Схоже на те. Без АІ дрисні нікуди.
Маск до кінця року обіцяв свою одісею зробити на грок. Там навіть на ютуб у частини їх трейлеру немає звуку. Оце буде убожество де АІ ліпить кожну сценку по 5-10 сек

[1234waltz]

Топові моделі Джеміні (3.1про, 3.5флеш) нормальні, серед безплатних - найкращі, тільки їх треба юзати через аі-студю чи антигравітацію, бо на геміні.ком вони дуже порізані.

Дивно, свіжі кволіті бенчі показують що 3,6 тупіша за Хрюк Машка та Мьюс Цукєрмана, при тому вартість однієї таски як у них двох разом взятих. Мій власний свіжий досвід по якості виконання завдань у порівнянні з АльтманГПТ склав враження, що Джеміні це як людина з розумовими вадами в порівнянні з кваліфікованим інженером ЧатЖПТ. Можливо в якихось окремих завданнях воно показує клас, хто знає. Але моє особисте враження поки співпадає з бенчами.

[Барбарис]

Ortyomko, вкотре, бо лише до травня виторг став 47 мільярдів, а от боргів уже на 100 було. Тому це ще +5, які доведеться виплачувати все рівно, а не те, що покриється.