Demedik: ↑
05.09.2026 00:26
lw_007: ↑
04.09.2026 23:25
Я не сперечаюсь що багато моделей можна запустити і +- ок працювати з меншими об'ємами й продуктивністю.
А якщо треба якісь 70В і контекст 1-2кк ?
з файнтюнами, мабуть, ще напряжніш
Доречі, цікаво, а ви саме агентною системою користуєтесь?
Відправлено через 1 хвилину 23 секунди:
PS. просто я зараз пробую більше в хмарі, і не в розробці.
Точніш не в програмуванні, здебільшого, хоча трохи коду теж є
Хоча мб й у вас не код? *
Все упирается в пропускную способность памяти. Т.е. же Спарки(коробочка) показывают хоть и лучшую производительность в сравнение с АМД, но при этом они сопоставимы. Лучше у них обучение, промпт процессинг, видео и многопоточность(к примеру много пользователей или сабагентов). В остальном все очень похоже. Разве что Мак студия м5 с дикой пропускной способностью покажет близкие к видеокартам показатели... но тогда будет вопрос - может лучше взять карточку НеВидии на 96гб...
А так все коробочки и ноутбуки - это только архитектура МоЕ. Для денс моделей не хватает гб/с для нормальной работы(опять же студия тут может быть исключением). Из того что запускал - это Квен 3.5 119б а10б Q4(и что-то там). Выдавала она где-то 15-20 т/с .
Я работаю через агента Опенкод. В целом результатами доволен.
А на счет размера контекста... скажем так оптимально использовать 128к~ дальше уже начинается игнорирование промта который был, уходы куда-то не туда... Причем это про Клод Код.
Мой локальный тоже держиться в этих рамках нормально(стоит 256к, чтобы не уйти за контекст при самых больших задачах, обычно новую сессию начинаю где-то на 100к).
Если когда-то нужен будет именно 1млн - то есть Немотрон 3.5... но он поглупее Квена 3.6.
Файнтюн дальше особенно не влияет. Обучить раз и дальше по мощности +- как базовая модель.
Ну от в мене контексту дофіга йде, deep reasoning, формули, інтернет, багато фото.
Так, зв'язніть з ростом розміру контексту дійсно падає, трохи напрягає, доводиться уточнювати і нагадувати. Звертати увагу, можна сказати.
Останнім часом, так міркую, що цікава тема й попробувати систему з декількох агентів, та й агентні системи взагалі.
Але я й з хмарою, по суті, ще й до 30% можливостей не дійшов, таке ще далеко.
А скільки воно в локалці жерти може, взагалі не знаю
PS. Думається мені, що розбивши контекст задачі на відносно невеликі вікна й розкидавши на кілька агентів все має бути веселіше)