Nvidia разом із партнерами розробляє компактну пам'ять SOCAMM для малих систем із ШІ

[mr-enic]

Пропоную обговорити Nvidia разом із партнерами розробляє компактну пам'ять SOCAMM для малих систем із ШІ

Модулі отримають багато портів введення/виведення...

але ці порти будуть розробляти не інженери, а маркетологи, тому вони будуть регулярно плавитися і горіти

[unique-neon]

Горять руки спробувати які-небудь camm'и, однак материнок на горизонті не видно. От спробував двохслотову замість чотирислотової - то небо і земля в частотах і напругах. Коротші доріжки, менше шуму. З camm'ами мало б бути ще краще.

[Keyser Soze]

Как я и писал: всё идёт к тому, что у каждого желающего дома будет стоять свой "сервер с ChatGPT" вместо умной колонки, но с такими же функциями, как у неё

[rjavyi_pastor]

та чо вони парятся? розпаяли би і всьо, а там можна булоб ще зрубити на апгрейді залізяк(я не підтримую, просто Хуанг якось розщедрився на змінну пам'ять)

[doc-oc]

Скам какой-то

[VovaII]

А під які процесори?

[Earanak]

Как я и писал: всё идёт к тому, что у каждого желающего дома будет стоять свой "сервер с ChatGPT" вместо умной колонки, но с такими же функциями, как у неё

Я вот кстати думал об этом. Ставил локальные LLM на 72 миллиарда параметров а потом смотрел как он еле пыхтит выдавая 0.8-1.2 Токена в секунду. А потом мне показали это - https://digitalspaceport.com/how-to-run ... -epyc-rig/ 671 Миллиарда параметров на скорости 4-3 Токена в секунду. Я с абсолютно невозмутимым лицом взял и удалил все эти локальные LLM и забил Но потенциально, да. Интересненько. У меня как раз по профессии рендер ноды дело обыденное. А тут вот в самый раз можно будет одну из нод заряжать под чатик локальный. Ах да, я когда у чата локального спрашивал сколько будет 2+2 он на протяжении минуты тянул 800вт с розетки нагружая и видяху и проц и занимая 20гб VRAM + 60гб ОЗУ, такой себе мощный калькулятор

[VovaII]

я когда у чата локального спрашивал сколько будет 2+2 он на протяжении минуты тянул 800вт с розетки нагружая и видяху и проц и занимая 20гб VRAM + 60гб ОЗУ, такой себе мощный калькулятор

То він шукав, де Ви його обдурити хочете.