NVIDIA повернулася до роботи над лінійкою відеокарт GeForce RTX 50 Super

[yungmanpro]

Сподіваюся суперів не буде, бо вже хочу свою 5060Ті 16Гб на 6070 міняти. 5070 не взяв з огляду на 12 гіг, чекав супер версію 18Гб на початок року цього, а тепер ні, вибачте, давайте наступне покоління наступного року. (для тих, хто надумає писати, чому ж тоді не брав 5070Ті, відразу скажу - мій корпус не вмістить такого велетня)

[leif]

PS про 50 t/s це я мав на увазі MoE

для великих MoE так, може бути справді перспективно, в такому варіанті як ви описали

[Sanьka]

5070 Супер 18ГБ цікаво.......

[vmsolver]

Хіба MoE не стільки ж пам'яті хавають? Тільки швидші.

Они меньше весов активируют на один токен, поэтому они гибче и поэтому быстрее, разница в 5-7 раз, но качество хуже и надо знать что когда использовать (хинт - Клода использовать))

[byaka]

5070 Супер 18ГБ цікаво.......

rtx5070 супер та rtx6070 краще не чекати поки не пройде криза пам'яті

[lw_007]

Хіба MoE не стільки ж пам'яті хавають? Тільки швидші.

Они меньше весов активируют на один токен, поэтому они гибче и поэтому быстрее, разница в 5-7 раз, но качество хуже и надо знать что когда использовать (хинт - Клода использовать))

Так я ж про об'єм пам'яті.
З швидкодією то й так ясно)


Доречі, щодо якості. Прям помітно втрачають?

Ну а що коли використовувати то й так знати треба. Як і вміти запити писати)

Відправлено через 1 хвилину 40 секунд:

поки не пройде криза пам'яті

Оце ви оптимсти

Криза і не пройде ніколи, це нові реалії (

[Sanьka]

rtx5070 супер та rtx6070 краще не чекати поки не пройде криза пам'яті

Нічого, завжди є 9070хт

[byaka]

rtx5070 супер та rtx6070 краще не чекати поки не пройде криза пам'яті

Нічого, завжди є 9070хт

Вона теж зросла в цiнi

[CnC_General]

яка криза? ви про що?
ви про поточне зростання цін на комплектуючі? так це було заплановано. а щодо того хто почав, так це привід.
потім трошки спутсять рівень цін. ми видохнемо. спустимо пар. а потім знову те саме - рівень інфляції/рівень цін на паливо/ криза робочих рук/повстання роботів/ нехватка кремнію/ охолодження води.... вибирайте що хочете. головне знову підняти ціни. та прибутки для акціонерів.

[byaka]

Sanьka,я тут завис в новi грi

[Nikolay Yeryomenko]

byaka
А то у Nvidia було все чітко? Чи ти до цього новини не читав, а ходиш на якийсь кацапський сайт?

[byaka]

byaka
А то у Nvidia було все чітко? Чи ти до цього новини не читав, а ходиш на якийсь кацапський сайт?

В нвiдiя хотфiкси зазвичай випускають якi тут так не подобаються людям та якi дуже б зайшли гравцям форза на картах амд .
Сайт не кацапський, просто не перемкнув мову

[vmsolver]

Так я ж про об'єм пам'яті.
З швидкодією то й так ясно)

MoE позволяют частичную загрузку во VRAM, а чего не хватает подгружать по PCIe в реальном времени, тут одна PCIe 5.0 уже даст грубо 64/3GB активного слоя = ~20 т/с, если учесть что часть нейронки сидит во VRAM, то и получаются 65-80 т/с в зависимости от загрузки контекстного окна. Плотные модели такого не позволяют, они сами большие, а контекст в обоих случаях должен быть во VRAM. Так что объем важен, но и архитектура сети не менее важна.

[lw_007]

Так я ж про об'єм пам'яті.
З швидкодією то й так ясно)

MoE позволяют частичную загрузку во VRAM, а чего не хватает подгружать по PCIe в реальном времени, тут одна PCIe 5.0 уже даст грубо 64/3GB активного слоя = ~20 т/с, если учесть что часть нейронки сидит во VRAM, то и получаются 65-80 т/с в зависимости от загрузки контекстного окна. Плотные модели такого не позволяют, они сами большие, а контекст в обоих случаях должен быть во VRAM. Так что объем важен, но и архитектура сети не менее важна.

О, дякую, цього нюансу не знав.


тобто з умовною 70-80B маючи карту на 16-24 ще нічого толком не зліпиш(бо контекст нормально так забере), а з 27B-31B вже можна?

Ps. хоча поки все ж не розумію як там з управлінням пам'ятью. Але дякую, буде час - погуглю)