Я вот решил попробовать локальные модели через LM Studio -
https://lmstudio.ai/ И... Прифигел от того насколько же они тяжеловесные. Скачал Qwen, GGUF версию на 72 миллиарда инструкций ~44GB, снизил защиту от перегрузки системы, жрет 70гб оперативы и 24гб видяхи и на вопрос сколько будет 2+2 думает 20 секунд выжирая с розетки 800вт сжирая и проц и видяху. А на какие то вопросы по блюпринтам или С++ в UE5 скорость ее ответов на профильном конфиге 1 слово в 1 секунду. Пора Tesla A80-100 покупать ?
Я дилетант конечно в этих всех делах. Только въезжаю.
Но скачал модель которая специлизируется на написании кода. Qwen2.5-Coder-32B.
И которая якобы ограничена в поддержке языков. В том числе русского языка.
Но и русский она понимает и стихи на латыни пишет (лол, прям на латыни)
Для меня конечно загадка, неужели столько мусора в мозгах у этих моделей.
Даже тех которые якобы заточены под что-то конкретное. По идее же на это уходит уйма памяти.