ASUS незабаром випустить компактний комп’ютер Ascent GX10 з платформою NVIDIA

[dead_rat]

Пропоную обговорити ASUS незабаром випустить компактний комп’ютер Ascent GX10 з платформою NVIDIA

Емейзінг

Три косаря за проц з мобілки + 5070

[Scoffer]

dead_rat
Гірше, 256 біт LPDDR5X задавлять ту 5070 до рівня якоїсь 5040, якби така існувала.

Відправлено через 6 хвилин 21 секунду:
На 5070 ПСП 672GB/s, а тут біля 200GB/s.

[Earanak]

Я ведь правильно понимаю что единственная как бы фишка в том что тут ОЗУ это и есть VRAM, как бы Shared GPU Memory ? То есть в этот микро-компик можно впихнуть какую нить LM-Модель на 33 миллиарда параметров, без квантования и она будет в самый раз под эту железяку

[yurarad]

Это что-то похожее на AMD Ryzen AI Max+ 395 только на архитектуре ARM я так понимаю.

[Lekrs]

Навіщо воно?

[Martix]

Нишевая вещь для AI энтузиастов. Но ценник негуманный. Стоила бы она 1.5к - было бы интересно. Ждем официальный выход новинки и независимые тесты.

[waryag]

Буде смішно, якщо рудий чорт забанить постачання таких карт/пк до Китаю )

[Nekros]

Буде смішно, якщо рудий чорт забанить постачання таких карт/пк до Китаю )

Так усього 1000 аі топс rtx5070, а не 3000 як у 5090

[waryag]

Nekros
Вимоги постійно змінюються, щоб виключати рішення, створені для обходу санкцій.
Тут віднесено невелика продуктивність компенсується великим об'ємом пам'яті.

[vmsolver]

Может это PlayStation 6?

[Scoffer]

vmsolver
Підозрюю що це і було концептом якоїсь консолі, але не зійшлись в ціні. Бо як проф виріб воно ну зовсім якесь недолуге.

[ender]

Буде смішно, якщо рудий чорт забанить постачання таких карт/пк до Китаю )

потужное заявление, вредное, но потужное.

А по существу: это устройство не для обучения моделей.
Сейчас гонка в обучении моделей, а с запуском проблем нет - не так много нужно для их функционирования.

[Keyser Soze]

Будет интересно посмотреть, если такие коробочки соединить в кластер.
Наверняка, там минимум 10G сетевая уже из коробки и возможно подключение более скоростных.

[vmsolver]

Підозрюю що це і було концептом якоїсь консолі, але не зійшлись в ціні. Бо як проф виріб воно ну зовсім якесь недолуге.

Думаю, у них много концептов пригодных для консолей, да и вообще каких-то принципиальных проблем совместить CPU+GPU в любых пропорциях на одном чипе у них давно нет.
А так, это просто прощупывание рынка.
У них там решение с 288 ГБ HBM и 8 ТБ/с полосы в формате десктопа было, но сколько оно стоит пока не говорили, а это именно то что нужно для LLM-ок.

[yuriy_dd]

Три косаря за проц з мобілки + 5070

образливо коли проци з мобілки розмазують х86, але треба звикати
скоро Епл зробить ноут - реально з процом від мобілки, ото сорому буде

Это что-то похожее на AMD Ryzen AI Max+ 395 только на архитектуре ARM я так понимаю.

Ryzen AI Max+ - не вміє в unified memory, він просто її резервує. Для ГПУ все одно потрібно копіювати з памяті в цю зарезервовану
але система для своїх потреб, коли ГПУ не використовується - використати цю зарезервовану - не може

Так усього 1000 аі топс rtx5070, а не 3000 як у 5090

а скільки обійдеться 5090 з 128 Гб РАМ?

[Keyser Soze]

Thanks to the integrated NVIDIA ConnectX® network interface cards (NICs), two GX10 systems can be linked to handle even larger models, such as Llama 3.1 with 405-billion parameters.

Это уже интересно!!!

[Volodya811]

Три косаря за проц з мобілки + 5070

образливо коли проци з мобілки розмазують х86, але треба звикати
скоро Епл зробить ноут - реально з процом від мобілки, ото сорому буде

Для 99% домашніх завдань (текстові і графічні редактори, Інтернет, пошта, Ютуб та інше) вистачає процесора Х86 десятирічної давнини. Я до 2020 року вдома сидів на і7 2600 і реально працював, часто виконував офісні та й не тільки завдання. Ефект "вау" при переході на і7 10700К був, в основному, в іграх. Зараз не 2000-ні роки, коли продуктивності процесорів критично не вистачало.
А от процесори в мобілках наздогнали і перегнали процесори в ПК 5-10 річної давнини. І це логічно, адже мобілка кардинально нічим не відрізняється від ПК. Ті ж самі сайти в Інтернеті, ті самі соціальні мережі і багато програм з подібним функціоналом. Сучасні техпроцеси дозволяють процесорам мобілок виконувати ці завдання. Та й до мобілки можна і клавіатуру, і зовнішній дисплей підключити. Інша справа, а навіщо? Коли зручно працювати на ПК з нормальною клавіатурою, мишкою, великими екранами. Щоб не горбитися як за планшетами та ноутами. Зовсім інший рівень комфорту.

[yuriy_dd]

Для 99% домашніх завдань (текстові і графічні редактори, Інтернет, пошта, Ютуб та інше) вистачає процесора Х86 десятирічної давнини

саме так. І кращої демонстрації відсутності прогресу у х86 - годі й придумати

Сучасні техпроцеси дозволяють процесорам мобілок виконувати ці завдання

невже хтось заборонив для х86 теж використовувати ці сучасні техпроцеси?
я скільки памятаю як Інтел пишалась що у них є свої фабрики, і скільки було знущать над АМД яка продала, а також над іншими що замовляють в-во (Епл, Нвідіа і тд)

Та й до мобілки можна і клавіатуру, і зовнішній дисплей підключити. Інша справа, а навіщо? Коли зручно працювати на ПК з нормальною клавіатурою, мишкою, великими екранами

тому що взяти з собою мобільний, і в дорозі робити роботу прямо на ньому, а коли будеш дома то на зовнішньому моніторі - сильно легше ніж брати ноутбук, чи тим більше десктоп

[Tiufin]

Цікаво, а чому ніхто досі не зробить якийсь софт для різних моделей ШІ, щоб вони на будь-якому пк могли використовувати озу разом із графічним адаптером?
Бо, як я розумію, що в пристроях з цієї новини, що в АМД ai 395+ цінник дикий саме через цю фічу.
Чи це може лише виробник заліза на рівні самого заліза зробити? Або може і драйвером це зробити, але йому не вигідно?

Відправлено через 3 хвилини 3 секунди:

Nekros
Вимоги постійно змінюються, щоб виключати рішення, створені для обходу санкцій.
Тут віднесено невелика продуктивність компенсується великим об'ємом пам'яті.

Я якось натрапляв на якийсь реддіт форум ші-істів, та, як зрозумів, там велике значення має ще й швидкість пам'яті. Тобто, варіанти із озу- вони досить компромісні через повільну пам'ять, навряд китайці будуть сильно за такими полювати. Хоча, хто зна.

[Earanak]

Цікаво, а чому ніхто досі не зробить якийсь софт для різних моделей ШІ, щоб вони на будь-якому пк могли використовувати озу разом із графічним адаптером? .

Tiufin, дык можно же. В той же LM Studio, ты сам контролируешь и выбираешь насколько большая модель будет по миллиардам параметров, 4/7/33/72/671, сам выбираешь насколько она будет быстрой и требовательной к ОЗУ и Видеопамяти, к ССД (выбираешь квантизацию, грубо говоря компрессию). Выбираешь дистиллят под конкретное направление, ну там, переводчик или программирование или писатель сюжетов. И регулируешь баланс, сколько % модели будет в ОЗУ а сколько активной будет в видеокарте, или вообще видеокарта не будет работать, или ОЗУ будет по минимуму заполнено а видяха по полной или вообще она будет с ССД грузиться. Под оставшейся лимит подбираешь длину контекста (памяти модели).

То есть вариантов много, связок много, все гибко. Ты запросто можешь держать кучу версий одной и той же модели и жонглировать настройками, нужно что то мелкое, отключается видяха, загружается модель с 4 квантизацией и работает чисто на проце, хочешь ускорить генерацию, подрубаешь видяху, юзаешь модель без квантизации. Ну и так далее и тому подобное. К тому же ты можешь напихать в комп кучу видях совершенно разных, разного объема памяти, архитектур, да хоть радеоны с нвидией подключай одновременно. Даже в х1 режиме PCI-E, если модели не слишком толстые, можно видяху через USB райзер подключать ))

Как бы OFFTOP

Но когда тебе хочется что бы и модель большая была на 671 миллиард параметров и контекст длинный был и быстро работала, ты собираешь сервер на Epyc-ах на 512-768гб оперативки из б/у мусора и не страдаешь фигнёй с этими микро коробочками https://youtu.be/Tq_cmN4j2yY Видео душное и с кучей нюансов. Это да... Для простых смертных, которые хотят потыкать, просто ставьте LM Studio, там прям в ней можно скачивать разные модели и самим смотреть как они работают, на каких настройках и тд... Все бесплатно )) https://lmstudio.ai/

Прога простая как две копейки, домохозяйка разберётся. Даже я дуболом с пропитой головой с Qwen Coder 7B сидел писал на С++ плагин для UE5 для анализа освещенности объекта (солнце падает на кожу вампира и он горит), просто ради интереса, и это чудо мне всё само накодило, помогло скомпилить, поправить и оно даже работало, хотя я ни в одном языке программирования даже Hello World не писал и даже примерно синтаксиса не понимаю. Да я вообще впервые что то компилировал Не ну для опытных типков это конечно курам на смех, но я как нормис-очередняра, воплощение домохозяйки-гуманитария просто афигеваю с этого всего. В том же 3Ds Max настругал себе несколько мелких скриптов на MaxScript языке, в котором ничего не понимаю. Ну кайф же, просто слов нет )) Вот думаю в свой второй комп впихнуть вместо видяхи-затычки что-то интереснее, с потенциалом на работу с этими нейронками. Зачем мне это не знаю, но это же модно

Отправлено спустя 2 часа 27 минут 14 секунд:

як зрозумів, там велике значення має ще й швидкість пам'яті

Наверное в каких то специфических раскладах - скорее всего да.

Я когда менял 13900KF с DDR4 (60GB ПСП и 55ns Latency) на 9950X3D с DDR5 (80GB ПСП и 65ns Latency) то делал замер в LM Studio (без участия видеокарты) - вышло 27% прироста в скорости. Сам по себе 9950X3D с PBO на 17.5% быстрее в грубой вычислительной мощности. Выходит остальная часть прироста выпала либо на X3D Кэш, либо на Архитектуру Райзена, либо на переход с DDR4 на DDR5, или на все понемногу. Но в целом вроде как не сказать что значительный прирост от скорости Памяти выходит, я загружал модель которая забивала ~100гб ОЗУ, давал длинный промпт и смотрел на Token/Sec при ровной 100% нагрузке проца по всем потокам.

Но тут ведь Shared GPU Memory, т.е для видеокарты думаю это все таки важнее чем для проца