Intel представила прискорювачі D270 Crescent Island. Вони отримали до 480 ГБ пам’яті для ШІ

[MAKKACIN]

Пропоную обговорити Intel представила прискорювачі D270 Crescent Island. Вони отримали до 480 ГБ пам’яті для ШІ

Бенчмарків поки нема, ціни теж нема, зате 480 ГБ є. Intel, ти нам головне ціну не показуй
Напевно, треба продати нирку, щоб дізнатися

[Demedik]

В хорошие времена это можно было рассматривать для работы домашних локалок(все таки из-за LPDDR5X памяти она была бы гораздо доступнее, чем НеВидиа)... сейчас же очень сильно напоминает этот момент из Тома и Джери.

спойлер

[denizen]

480Гб? ось куди вся пам'ять пішла, жах що твориться, не кажучи вже про збалансованість системи, наврядчи буде помітний бенефіт, від такого не надто потужного чипа, та такого об'єму пам'яті. Хто шарить, у темі, чи є зара такі моделі, де треба такий об'єм, та скільки буде рахуватись токен?
FP8 не виглядає, як щось надсучасне та швидке

[leif]

[Demedik]

480Гб? ось куди вся пам'ять пішла, жах що твориться, не кажучи вже про збалансованість системи, наврядчи буде помітний бенефіт, від такого не надто потужного чипа, та такого об'єму пам'яті. Хто шарить, у темі, чи є зара такі моделі, де треба такий об'єм, та скільки буде рахуватись токен?
FP8 не виглядає, як щось надсучасне та швидке

Достаточно много. + можно запускать несколько. А так очень часто бутылочным горлышком является пропускная способность памяти(не только частота, но и количество каналов). Если все +- как на других видухах - то должно показывать пристойный результат. Да, не уровень 5090(когда вся модель в памяти), но у этой тоже будут плюсы. Тем более, что можно будет запустить одну модель на нескольких. А так тот же Квен3.8 2.4Т А95б Кью8 - 2.6 тб. Как бы идеальная модель на несколько гпу с максимальным объемом. Квен 3.8 Флэш Некст Кью 8 - 190гб(Кью4 - 120 гб, так что еще и на контекст хватит).

По производительности думаю будет 50+ т/с . А так надо тестить, бо еще и движок должен соответствовать.