erkins007
Думаю стоит уточнить что Stable Diffusion и Chat RTX — это нейросети разного типа, первая генерирует/анализирует изображения, вторая - тексты, код. Есть конечно помесь и того и того... И все же если приводить локальные аналоги Chat RTX под какую нить
LM Studio то их на самом деле много. Например - Mistral, Mixtral, LLaMA, Phi-3, OpenChat, Qwen, DeepSeek, Zephyr, Gemma и тд и тп... Это все аналоги Chat RTX, бесплатные и которые можно
локально поставить в разных их вариантах, в зависимости от железа и задач.
IMHO - Chat RTX слишком легенький в этом плане и простенький, ну, что бы он на каждом кудахтере домашнем работал, оно и понятно. А вот есть модели которые что бы запустить нужно порой и больше 256гб ОЗУ и/или пачка видях на овердофига памяти )) Но не обязательно. Чуть ли не у каждой модели есть 100500 ее вариаций, дистиллятов под разные задачи и разная квантизация, которая лучше подходит под CPU/GPU. Так что если уж упарываться этими локальными чатами то лучше уж специализированно подбирать модели под разные нужды и переключаться между ними.
Я например когда ковырял C++ в UE5, ставил QwenCoder 7B и вешал его на ОЗУ и Проц, не дергая видяху. Да, работал не так быстро но пока он там фоном писал мне код или правил что-то, я себе тестил или допиливал что-то паралелльно. А если надо было что бы шустрее мне отписал все это, то я подрубал к просчету видяху. В общем - удобно. Особенно если под это дело второй комп держать.
щось покоління пропустили у спущенному від зелених тексті...
