Celestial AI розробила оптичний інтерконнект, щоб об'єднати HBM та DDR5

[Scoffer]

Пропоную обговорити Celestial AI розробила оптичний інтерконнект, щоб об'єднати HBM та DDR5

Виходить чип з кешем HBM та скрізним доступом до DDR5.

З HBM такий кеш як з мене балярун. Затримки доступу в районі 1000 тактів і більше. Це хіба що навпаки, основний об'єм на HBM і DDR кешем. Дуже-дуже багато каналів ддр кешем

Взагалі в компи давно проситься розділення пам'яті на відносно невелику але з маленькими затримками для коду і тимчасових результатів обчислень, і щось здорове з кінськими для даних.

[SergiusTheBest]

Взагалі в компи давно проситься розділення пам'яті на відносно невелику але з маленькими затримками для коду і тимчасових результатів обчислень, і щось здорове з кінськими для даних.

Кеш вирішує цю задачу більш гнучко, ніж спеціалізована пам'ять для коду: він не буде тримати у себе код, який дуже рідко виконується, і навпаки, буде тримати у себе дані, до яких часто потрібен доступ.

[Scoffer]

SergiusTheBest
Одне іншому не заважає. Великий кеш = повільний кеш. Там теж не можна до нескінченості його збільшувати. Не кажучи про те що він ще й жере енергії дуже пристойно. А вимоги до ПСП ростуть.

[GigaCore]

Пропоную обговорити Celestial AI розробила оптичний інтерконнект, щоб об'єднати HBM та DDR5
Затримки доступу в районі 1000 тактів і більше

А откуда информация про 1000т ? Я находил 130 нс для сапфиров(учитвая их частоту это сильно меньше 500 тактов)
https://www.ixpug.org/images/docs/ISC23 ... _final.pdf

[Scoffer]

GigaCore
Не знаю що вони там вигадали, то мабуть з врахуванням кешів. А в реальності якщо в наносекундах то виглядає якось так:

спойлер

З врахуванням того що хоппер знатна піч і топове рішення. HBM - самий повільний тип пам'яті по затримкам, але з самою високою ПСП.

Відправлено через 10 хвилин 39 секунд:
Для порівняння десктопна GDDR:

спойлер

[GigaCore]

Scoffer
Это графики гпу, у них и ддр с конскими (относительно цпу) таймингами, но даже тут разница ддр с хбм менее чем в два раза (378 нс\228 нс) как только тестовый датасет вылазит за размеры всех кешей.

По моей ссылке меряли задержки и псп к кристаллу хбм, прикрепленному к ксеону поколения alder лейков, вышло 130 нс, а это сопоставимо с задержками меж-сокетного доступа того же поколения.

[Scoffer]

GigaCore
Ось тут пишуть про CL20 для HBM2 на частоті 1ГГц
https://www.osti.gov/servlets/purl/1455354
1ГГц це аналог DDR3-2000 по частоті шини, та і по ПСП на канал також. Для DDR3-2000 пристойним CL вважався 8-9. 11 непристойним в дешманських планках
Тобто в будь-якому разі HBM повільніше за DDR, і використання її в якості кешу, котрий за визначенням мав би бути швидшим, як мінімум сумнівно.