ASUS незабаром випустить компактний комп’ютер Ascent GX10 з платформою NVIDIA

[waryag]

Цікаво, а чому ніхто досі не зробить якийсь софт для різних моделей ШІ, щоб вони на будь-якому пк могли використовувати озу разом із графічним адаптером?
Бо, як я розумію, що в пристроях з цієї новини, що в АМД ai 395+ цінник дикий саме через цю фічу.
Чи це може лише виробник заліза на рівні самого заліза зробити? Або може і драйвером це зробити, але йому не вигідно?

Ігри стандартно можуть використовувати оперативку при нестачі ВРАМ, але з цього не виходить нічого хорошого.

[yurius_r]

vmsolver
Це мав бути Nintendo Switch 2

[item2]

Earanak
Це все так. Але краще мати більше ВРАМ + ОЗП. Квантизація до INT4 знижує якість відповідей:

спойлер

Кодування: Деякі користувачі повідомляють, що для завдань з кодуванням або генерацією дуже точного, логічного тексту, INT4 може бути недостатньо. У цих випадках 8-бітні квантизації (якщо ви можете їх помістити) або навіть вищі (якщо дозволяє пам'ять) дають кращі результати.

Дотримання інструкцій (Prompt Adherence): Модель може гірше дотримуватися складних, багатокомпонентних інструкцій або обмежуючих умов.

Галюцинації: Хоча квантизація безпосередньо не є основною причиною галюцинацій, вона може посилити схильність моделі до них, особливо при дуже низькій точності

P.S. Це як пам'ять порізати у чотири рази. Після цього модель може більше плутатись у цифрах, датах і деталях.

[AssayMAS]

прогресу у х86

так прокачивают - то на что завивали десятилетиями - на энерго эффективность мой i7 3770 кушает 80Ватт, а i3 современный что в ДВА с половиной раза больше попугаев выбивает ест 60Ватт
https://technical.city/ru/cpu/Core-i7-3 ... -i3-12100F
авто разгон - вот реально по тротлингу видно - если 2-3 поколение Интела затротлит, то реально в всей системе видно и до рестарта (даже в 9 поколении видел подобное), а если современные процы потротлят - то только глянув его частоту в 1-2ГГц заместо 4-5ГГц начинаешь что то подозревать в виде отвала радиатора.
достаточно мощные встройки хитро сопряжены с процом в дестопе - тоже за 20 лет от уровня отставания от условной gt710 до пятой часть от RTX 3050... что тоже нифига себе... появился выбор или кэша или относительно мощную встройку... особенно в премиум ноутах встройки почти как RTX4060.
куча сортов процессоров показывает что процоделы в творческом поиске баланса... . 20 лет назад Интел гегемонил, сча АМД, завтра не дай бог ARM или MIPS\RISC какой то по количеству выпущенных штук.

ведь Shared GPU Memory, т.е для видеокарты думаю это все таки важнее чем для проца

есть универсальные = стандартные видеокарты как Нвидия заточенные под ФПС, а есть узко специализированные ускорители вычислений... и там зоопарк решений от разных фирм и что лучше для конкретного ускорителя вопрос дискуссионный. Они настолько разные что их не сравнить кроме как в Flops или TOPS, но опять одни ускорители можно легко в пулы по 100 штук объединить, другие больше 3штук сопрягать не имеет экономического смысла (например 4090) ... одни ускорители затачивают под клястеры, другие под энергоэффективность, третьи под рекорды... четвёртые под комерческий успех - типо мало ФЛОПС но дешевые и куча ПО в комплекте.
Так что пока решение не выйдет в продажу - не понять оно выгодное относительно конкурентов или нет. А как там память реализовали может через пол года ваще не иметь смысла ибо может появиться новый аппаратный алгоритм.
Вон последние ноутбучные рязани с ИИ до 256ГБ могут адресовать памяти - но у нас плашки в рознице только по 48ГБ. 64ГБ под заказ за пол царства...
Так что простым смертным - много ОЗУ\ВРАМА не дадут ибо дорого. И зачем конкурента плодить в ИИ если оборудование еще много лет себя окупать будет и то не факт что окупит и принесёт прибыль. ИИ то пузырь экономический.

[Scoffer]

Ryzen AI Max+ - не вміє в unified memory

Вміє задовго до аплє, гуглити HSA/ROCm.

Для ГПУ все одно потрібно копіювати з памяті в цю зарезервовану

Потрібно, але зовсім з іншої причини, а саме з тієї що вулкан/дх12/метал не мають менеджера пам'яті, а ігрулям вломи (і складно, до речі), його реалізовувати. Так що м-чипи тут рівно в тому ж положенні що і всі інші. А ще в ума вміє сабжевий чип від нвідії

але система для своїх потреб, коли ГПУ не використовується - використати цю зарезервовану - не може

може

Відправлено через 8 хвилин 29 секунд:
Більш того, в ума вміють всі або майже всі сучасні дискретки. Можна запихувати текстурки в відяху напряму з винта без копіювання в оперативу, при бажанні. Тільки мати можливість і реалізовувати в користувацькому ПЗ на практиці знаходяться десь в різних всесвітах. Але оскільки на аплє немає ігруль, то і проблем з копіюванням текстур теж немає, так що тут однозначний плюс

[Earanak]

в рознице только по 48ГБ. 64ГБ под заказ за пол царства...

Какой еще заказ и какие еше пол царства. Они стоят не сильно дороже 48GB плашек средненьких.
Еще в Апреле в продаже были уже CP64G56C46U5 и CT64G56C46U5.
В наших обычных инет магазах типа Телемарта, Розетки, CAN и тд...
256гб выходили в ~720$ в наших магазинах, пока они не подросли в цене.

Скрин с Хотлайна по этим Крушиалам

Сейчас помимо этих плашек есть китовые версии (дороже) и некитовые (дешевле) :
KF556C40BBAK2-128 / KF556C36BBEAK2-128 / KF556C36BBEK2-128 / KF556C40BBK2-128. А неделю назад в NewEgg появились эти - F5-6000J3444F64GX2 по 400$ за 128GB и еще пару китов попроще. Помимо этого видал и CUDIMM-ы на 64гб, но они подороже. Месяц назад вышли биосы под 64GB UDIMM-ы на Самсунг чипах, они еще не пошли в продажу. А на CES показывали кучу скоростных китов с 64GB UDIMM-ами. Так что 64GB UDIMM-ы есть у нас в продаже с Апреля, по адекватной цене, а выбора станет больше уже в обозримом будущем. И заказывать с каких то пердей не нужно их, да и речи про пол царства не идет, всего порядка 1000$ +/- за 256гб не самой убогой памяти. Ну или ~700$ за убогую память если купить в помойке какой то. В общем мелочные затраты, на фоне остального железа под комп который будет годно вертеть нейронки Недавно кстати приехали к нам RTX Pro Блэквеллы, например 5000 модели на 48GB стоят всего 215-230к грн. Всего, ведь прошлое поколение на релизе в те же 48GB стоили 450к грн ))

[1234waltz]

образливо коли проци з мобілки розмазують х86, але треба звикати
скоро Епл зробить ноут - реально з процом від мобілки, ото сорому буде

Перший девкіт МакМіні і так був з процем з мобілки, але чомусь тепер Епл йде іншим шляхом - пхає в планшет проц з ноутбука/мініПК. А ніби ж навпаки повинно було стати))

Ryzen AI Max+ - не вміє в unified memory, він просто її резервує. Для ГПУ все одно потрібно копіювати з памяті в цю зарезервовану
але система для своїх потреб, коли ГПУ не використовується - використати цю зарезервовану - не може

У вас дуже абстрактне уявлення, як працює юніфайд меморі на x86_64 в 2025 році))
Те що ви описуєте, було в часи iGPU Vega, у Ryzen AI Max архітектура аналогічна консольним чипам зі спільною пам'ятью (яку якраз і підглянула в АМД компанія Епл, бо архітектурі цій скоро 12 років буде від релізу ПС4).
"Замість окремих пулів пам'яті для кожного компонента, Ryzen AI Max має єдиний, спільний пул високошвидкісної пам'яті LPDDR5X. Це дозволяє всім компонентам (CPU, GPU, NPU) отримувати доступ до одних і тих самих даних без необхідності їх копіювання. Найбільша перевага уніфікованої пам'яті полягає в усуненні потреби в дорогих операціях копіювання даних між CPU та GPU (а також NPU). Це значно знижує затримки, покращує ефективність використання пам'яті та прискорює виконання завдань, особливо тих, що вимагають частого обміну даними між різними обчислювальними одиницями (наприклад, у генеративному ШІ)."

[yuriy_dd]

але чомусь тепер Епл йде іншим шляхом - пхає в планшет проц з ноутбука/мініПК. А ніби ж навпаки повинно було стати))

напевне хочуть мати найшвидші планшети

Ryzen AI Max+ - не вміє в unified memory
Вміє задовго до аплє, гуглити HSA/ROCm

Ryzen AI Max+ - не вміє в unified memory, він просто її резервує. Для ГПУ все одно потрібно копіювати з памяті в цю зарезервовану
але система для своїх потреб, коли ГПУ не використовується - використати цю зарезервовану - не може
У вас дуже абстрактне уявлення, як працює юніфайд меморі на x86_64 в 2025 році))
Те що ви описуєте, було в часи iGPU Vega, у Ryzen AI Max архітектура аналогічна консольним чипам зі спільною пам'ятью (яку якраз і підглянула в АМД компанія Епл, бо архітектурі цій скоро 12 років буде від релізу ПС4)

я більше вірю реальним тестам, ніж голій теорії, спробуйте подивитись і самі переконатись як все погано Ryzen AI Max:

[Nekros]

а скільки обійдеться 5090 з 128 Гб РАМ?

А скільки обійдеться rtx5070 з 128ггб РАМ?
Бо написано що це дає лише 1000аі топс що рівень 5070

[yuriy_dd]

А скільки обійдеться rtx5070 з 128ггб РАМ?
Бо написано що це дає лише 1000аі топс що рівень 5070

але ви все одно не бачите очевидної відміності між цими продуктами?

[1234waltz]

я більше вірю реальним тестам, ніж голій теорії, спробуйте подивитись і самі переконатись як все погано Ryzen AI Max:

Все що я побачив у відео, це людину, що 1. Займається черіпікінгом, та на основі одного бенча тицяв "автовиділення пам'яті плоха працює пнятнєнько"; 2. Так і не зрозумів, чому навіть при фіксоваму маленькому пулі все прекрасно працює на практично однаковій швидкості (бо вона юніфайд і немає оверхеду); 3. Не розуміє про що розповідає та тицяє в диспетчер задач. 4. Порівню тепле з м'яким та моделі з різним квантуванням. 5. Не осилив за весь матеріал зробити правильний бенчмарк в лоб двох пристроїв на одній. 6. Не здатен встановити жоден з дістрів лінукс.

I think you have "KEEP MODEL IN MEMORY" enabled. which is why it loads the model in both GPU memory (VRAM) and CPU memory (RAM)
which in a shared memory hardware takes twice as much space as it should.
So please disable that, and you will see models easily fit into the memory.

AMD's APUs and modern APIs support "host-visible" and "device-local" flags to indicate unified memory and to operate in a zero-copy mode but Windows may present a logical separation and applications might default to a legacy mode which assumes the CPU/GPU are discreet.

It seems LM studio is not detecting your VRAM correctly. Under Memory capacity RAM shows 31.65GB, but VRAM shows 0GB (should be 96GB). So the whole 96GB of VRAM is invisible to LM studio. Which explains why it performed better on "AUTO" mode, as it is only detecting/using your RAM.

Минулий раз ви стверджували, що М4 Макс кращє за 5080 (чи 5090), при тому що в самому відео в бенчмарку на рівному пулі пам'яті RTX був швидший в 500 разів, а бенчмарк який він не пройшов ставився для моделі яка займала пам'яті більше ніж у карти vram.
Мені фізично важко дивитись відео з "яблочними" експертами, бо це який контент для альтернативно обдарованих людей.

Якщоб ви додивились це відео повністю, то звернули б увагу, на те, що по результатам відео визнається перевага АМД

[yuriy_dd]

2. Так і не зрозумів, чому навіть при фіксоваму маленькому пулі все прекрасно працює на практично однаковій швидкості (бо вона юніфайд і немає оверхеду)

так моделі малі і влазили в память

Мені фізично важко дивитись відео з "яблочними" експертами

маєте краще відео? і щоб заміри були і швидкості і споживання

Відправлено через 45 секунд:

Минулий раз ви стверджували, що М4 Макс кращє за 5080 (чи 5090), при тому що в самому відео в бенчмарку на рівному пулі пам'яті RTX був швидший в 500 разів

про яке відео і який фрагмент йде мова?

[VovaII]

переконатись як все погано Ryzen AI Max:

по результатам відео визнається перевага АМД

— Яка цікава тема!

Відправлено через 3 хвилини 20 секунд:

Может это PlayStation 6?

Швидше PlayStation 10-11. — Але випередила час!...

[AssayMAS]

1000$ +/- за 256гб

долго же ты такое по такой цене искать будешь сейчас - новость что вся память новая +40% в цене.
вот прям сча есть ддр5 64ГБ 7-10тыщ грвн.

[Earanak]

1000$ +/- за 256гб

долго же ты такое по такой цене искать будешь

Долго искал, примерно 1 минуту, ~850$
https://hotline.ua/ua/computer-moduli-p ... t=priceAsc

[yuriy_dd]

Якщоб ви додивились це відео повністю, то звернули б увагу, на те, що по результатам відео визнається перевага АМД

якраз я не побачив переваги рішення від АМД

є в кінці порівняння з значно дешевшим макбук Ейр - який навіть працює без охолодження і трохи повільніший

але потім є тести з М4 Макс - у АМД - жодних шансів, ціна на рівні, споживання у М4 - знову сильно менше

так де перевага АМД?

[AssayMAS]

Долго искал, примерно 1 минуту, ~850$

явно не себе берёшь - раз с такими таймингами рекомендуешь.
вот потому что "тайминги плохие" и цена низкая и опять декларировать не значит выйти на поставку.
У всех памяти нету - а тут у них типо есть (но через пол месяца привезут, а может и месяц)
И разговор был о 128ГБ на плашку и ноутбучной под портативный райзен с ИИ (что умеет почти всё ОЗУ под врам отдать).
4 по 64 тоже 256, но мат плата с 2 слотами ОЗУ по 128 чуток быстрее ОЗУ потянет что для врама встройки и ИИ ускорителя ой как важно...
И можешь реально переплатив за быстрые 2 озу (, а не 4) пару сот баксов получить несоизмеримо тратам попугаев.

[Earanak]

AssayMAS, не вводи левые вводные, этого в изначальном обсуждении не было. Ни про 128гб на плашку ни про тайминги ни про четырехслотовую плату. К тому же я не просто так говорил про мусорную память и годную, разделяя разговор и ценники по ним а ты никаких уточнений по этой части не давал. Остановись, это уже не прокатит со мной А я знаю тебя - ты любишь набрасывать дичь всякую которой изначально в обсуждении не было и до усрачки спорить ни с кем не соглашаясь. Даже когда несколько человек тебе на пальцах объясняют что ты не прав в каком то моменте, даже в какой то мелочи - ты на г*вно изойдешься что бы сделать вид что ты все же прав. Я на такую хрень от тебя больше не поведусь, даже не старайся ))

[AssayMAS]

Я на такую хрень от тебя больше не поведусь, даже не старайся

Вон последние ноутбучные рязани с ИИ до 256ГБ могут адресовать памяти - но у нас плашки в рознице только по 48ГБ. 64ГБ под заказ за пол царства...

Какой еще заказ и какие еше пол царства. Они стоят не сильно дороже 48GB плашек средненьких.
Еще в Апреле в продаже были уже CP64G56C46U5 и CT64G56C46U5.
В наших обычных инет магазах типа Телемарта, Розетки, CAN и тд...
256гб выходили в ~720$ в наших магазинах, пока они не подросли в цене.

сам не внимательный и не на поставленный запрос отвечаешь -а на тот который хочешь... старость не радость.