Платформа Google Virgo дає змогу об’єднати до мільйона графічних процесорів NVIDIA Rubin в одному обчислювальному кластері

[1234waltz]

Пропоную обговорити Платформа Google Virgo дає змогу об’єднати до мільйона графічних процесорів NVIDIA Rubin в одному обчислювальному кластері

На більш глобальному рівні платформа дає змогу об’єднувати кілька обчислювальних майданчиків у віртуальний кластер на 960 тисяч чипів NVIDIA Vera Rubin з мільйоном чипів TPU. Це дасть змогу запускати наймасштабніші та найскладніші ШІ на обчислювальній інфраструктурі Google Cloud.

Фахівці Cast AI представили новий звіт з підсумками аналізу ефективності обчислювальних кластерів AWS, Azure і GCP. Згідно з їхніми даними середнє завантаження графічних процесорів на рівні 5%. Завантаження CPU на рівні 8%, а рік тому це було 10%. Використання пам’яті впало з 23% до 20%.

Ну звісно, куди ж нам без дата-центру на 960 000 чипів NVIDIA Vera Rubin, з яких через пару років дай б-г 48 000 буде юзатись.

[D_ad]

Цікаво було б колись побачити якийсь звіт аудиту (якби такий, звісно, злили в мережу), який би розкривав:
1) що очікується від такої системи (які задачі має вирішувати, чи виконувати роботу)
2) обгрунтування вартості закупівель
3) розрахунок за скільки років воно мало б відбити капіталовкладення
4) за скільки років воно реально відбило капіталовкладення

[SergiusTheBest]

Фахівці Cast AI представили новий звіт з підсумками аналізу ефективності обчислювальних кластерів AWS, Azure і GCP. Згідно з їхніми даними середнє завантаження графічних процесорів на рівні 5%. Завантаження CPU на рівні 8%, а рік тому це було 10%. Використання пам’яті впало з 23% до 20%.

Ну звісно, куди ж нам без дата-центру на 960 000 чипів NVIDIA Vera Rubin, з яких через пару років дай б-г 48 000 буде юзатись.

В той самий час гітхаб копайлот припинив реєстрацію нових користувачів і вводить денний, тижневий та місячний ліміт на кількість запитів до AI, бо датацентр не встигає все обробляти.

[yariksom]

Як я радію за них, аж їсти не можу.

[1234waltz]

В той самий час гітхаб копайлот припинив реєстрацію нових користувачів і вводить денний, тижневий та місячний ліміт на кількість запитів до AI, бо датацентр не встигає все обробляти.

Відповідь проста, він надто дешевий. Бо за 10 баксів в місяць дають "Unlimited inline suggestions" та моделі Claude. Звичайний прогрів для підняття цін чи додаткового обмеження. Бізнес план за 19 баксів - бери скільки хочеш, як і "фрішний" план для заманухи. Були б проблеми реальні з завантаженням - фрішний би закрили.

Той самий корпоративний Busines Starter в Гугла - "бери не хочу", але його ніхто і не бере для ШІ, бо довішують в нагрузку до корпоративних сервісів Гугла. Вони не те що ліміти, а навпаки, вже і генерування відео додали, і LM. А все одно воно нікому не треба.

[TepH]

Фахівці Cast AI представили новий звіт з підсумками аналізу ефективності обчислювальних кластерів AWS, Azure і GCP. Згідно з їхніми даними середнє завантаження графічних процесорів на рівні 5%. Завантаження CPU на рівні 8%, а рік тому це було 10%. Використання пам’яті впало з 23% до 20%.

Ну звісно, куди ж нам без дата-центру на 960 000 чипів NVIDIA Vera Rubin, з яких через пару років дай б-г 48 000 буде юзатись.

В той самий час гітхаб копайлот припинив реєстрацію нових користувачів і вводить денний, тижневий та місячний ліміт на кількість запитів до AI, бо датацентр не встигає все обробляти.

+1 до 1234waltz. Питання не в кількості доступних ресурсів, а в ціновій політиці. Після першого етапу боротьби за користувача що ОпенАі, що Антропік почали активно підвищувати вартість використання моделей. Користувачі більше не використовують Копайлот, як прокачаний автокомліт.

Joe Binder, VP of product:

Agentic workflows have fundamentally changed Copilot’s compute demands. Long-running, parallelized sessions now regularly consume far more resources than the original plan structure was built to support.

Математика почала не сходитись і підписки зупинили. Я впевнений, що вони повернуться, але з новими обмеженнями і х2 чи х3 цінами. Можливо теж просто буде "pay as you go" по використанню токенів.

[waryag]

Цікаво було б колись побачити якийсь звіт аудиту (якби такий, звісно, злили в мережу), який би розкривав:
1) що очікується від такої системи (які задачі має вирішувати, чи виконувати роботу)
2) обгрунтування вартості закупівель
3) розрахунок за скільки років воно мало б відбити капіталовкладення
4) за скільки років воно реально відбило капіталовкладення

Та немає там особливих обгрунтувань, крім: "Весь бігтех завалює ШІ баблом, бо хайп, і нам треба, а то подумають, що ми відстаємо і акції просядуть".

Ті ж майки так і не дали пристойної відповіді на питання, а навіщо потрібен сопайлот, в який вкинуто неймовірну купу ресурсів (і до 30% транзисторного бюджету в НПУ блоки процесорів, які практично нде не потрібні).

[SergiusTheBest]

Відповідь проста, він надто дешевий. Бо за 10 баксів в місяць дають "Unlimited inline suggestions" та моделі Claude. Звичайний прогрів для підняття цін чи додаткового обмеження. Бізнес план за 19 баксів - бери скільки хочеш, як і "фрішний" план для заманухи. Були б проблеми реальні з завантаженням - фрішний би закрили.

Фрішний і так порізаний. Бізнес план залишили, а Про та Про+ реєстрація на паузі. Про+ коштує $39 на місяць, якщо що.

[Alexsandr]

Це поки агенти, а вони часто самі цікаві не нароблять массово шкоди, тоді і ціна буде падати. ШІ не вміє сумніватись тому точно наробить ще не мало шкоди.

Отправлено спустя 3 минуты 9 секунд:

Ті ж майки так і не дали пристойної відповіді на питання, а навіщо потрібен сопайлот, в який вкинуто неймовірну купу ресурсів (і до 30% транзисторного бюджету в НПУ блоки процесорів, які практично нде не потрібні).

Я скажу навіщо. Виконувати голосові команди. Щоб сам заходив на сайт і вклчав потрібне або знаходив фільм сам по назві +- або і продивившись начало і міг поставити його трансляцію, набір текста під голос з правкою і доробками... Але я щось не бачу нічого такого. Копілот у мене в загалі періодично пише що не може запустись і проблема на його стороні і зациклюється. це ж надо було так вграти ідею.

[ДядяСаша]

Скільки не використовуй ціпів, а комбайн молотить швидше.
Або скільки лопат не дай, а єскаватор викопає глибше.
Або хоч скільки велосипедістів їхатиме, а авто їде швидше.
Короче, тупікова гілка масштабування!