AssayMAS: ↑
09.10.2026 15:41
Теоретик? Я вот практически наблюдал на внедрении "ИИ" на торговом предприятии типо супермаркете так из 100 человек осилили по интеллектуальному уровню <30, а реально пользовали (что видно по подписке) человек <15, а ускорило работу у семи - вот на этом и закончили - прикупив пару ПК с мощными видеокартами что осилят локальные нейросети.
Вы похоже только по верхам пробежались. Я в разработке 10 лет.
Идем на Удеми и покупаем курс, там он точно есть. В нем объяснят как делается файнтюнинг. Можно даже прикупить курс по машин ленингу, питону и т.д. . После этого на своем железе все делаем и получаем опыт. Это что касается улучшений.
По поводу скорости работы - да, далеко не все смогут правильно использовать ИИ. Более того иногда его используют там, где просто скрипт/логика справить в разы лучше. Это из серии микроскопом забивать гвозди. В супермаркете я могу придумать только писать контент на сайт, но тут наверное дешевле будет нанять контент менеджера и при этом будет больше предсказуемости.
AssayMAS: ↑
09.10.2026 15:41
- спойлер
- • Размер в памяти (BF16): около 55,6 ГБ в полном формате, но в 4-битном квантовании (например, Q4_K_M) занимает примерно 17,1 ГБ VRAM.
Требования к оборудованию и запуск
• Минимум: видеокарта с 24 ГБ VRAM (например, RTX 4090 / RTX 3090) при использовании 4-битного квантования.
• Apple Silicon: запускается на Mac с объемом памяти от 24–32 ГБ (со скоростью 5–8 токенов в секунду).
• Топовые GPU: на RTX 5090 скорость генерации превышает 200 токенов в секунду (с использованием NVFP4 или MTP).
То есть на разовые задачи проще токенов прикупить...
И? Повторюсь. У меня АМД 395 с 128 гб. Что это значит - в линуксе(винда была до 96гб) я могу выделить до 112гб видеопамяти(ну точнее объединенной). В реальности Qwen3.8 27b Q8 с мтп мне выдает 20 токенов в сек, что для работы одного человека нормально. Промпт процессинг стартует где-то с 700, но с кеширование - тут проблем нет. На 250к(раз сюда добрался) контекста было 10 т/с и 100 т/с промт процессинга. Обычно все заканчивается где-то на 128к - 15 т/с и 250 т/с промт процессинга. Жду когда Кернел Линя обновят до 7.4 - тут вроде подняли производительность встроенных видях на 20%. Но это надо будет все тестировать с той версией ROCm которая будет на этом моменте(новые версии подняли с 8 т/с|первый запуск до 20 т/с|сейчас)
- спойлер
-
https://www.techpowerup.com/353266/amd- ... fopt-patch
AssayMAS: ↑
09.10.2026 15:41
мне хватает и Easy Diffusion на rtx2060(6) - если че то её рукоблудство скормлю "взрослым" платным сетям
Если хватает - то отлично. Если Вам не нужно существенно интегрировать ИИ в Ваши процессы работы и Вы сможете когда оно подорожает обойтись без ИИ - то вообще отлично. В моем случае такое не сильно катит. И дело не только что теряется навык(борюсь с этим), есть еще ожидания клиентов. А самом проекте я видел цифры прилетают... короче за всего
288к токенов отдали 63 бакса(собственно применение в аврале). Это по АПИ. Бизнесу нужно чтобы сервер с ИИ был в их стране(закон - секьюрность) ну или локально у дева(по сути тоже самое, что и кодить). Вот если/когда будут такие цены - ИИшка станет быстро не выгодна, а ожидания клиентов про скорость останутся(ну или уменьшаться незначительно).
