Акції технологічних гігантів падають. ШІ-бульбашка може луснути?

Обсуждение статей и новостей сайта
Автор
Повідомлення
AssayMAS
Member
Звідки: ][аркiв

Повідомлення

Kassatka: ↑ 01.11.2026 05:56А тим часом у миші 70 мільярдів синапсів при споживанні 0,1 Вт, а у людини 100-150 трильйонів синапсів зі споживанням 20 Вт. Тож так і вийшло, що мишу інтелект давно переріс, але до людини в складних абстрактних питаннях, що потребують узагальнення з багатьох сфер знань ШІ-шці ще далеко. Проте залізяка значно перевершує у швидкості роботи й продуктивності, як і власне при алгоритмічних обчисленнях. Хоча в складних завданнях це не допомагає завдяки великому паралелізму у біологічному мозку.
вы думаете что живой нейрон нейрону передаёт липестричество - да это так - но за мгновение до смерти клетки. Нейрон нейрону передаёт хим соединение коих несколько тысяч вариантов, а липестричество это типо симофора что передача состоялась... а потом внутри нейрона идёт "магия обработки хим сигнала"... давно во времена пня третьего посчитали что АДЫН клетка нейрон у червяка потребует пня третьего с 64МБ памяти для своей ПОЛНОЙ эмуляции.
Исходя их этого до истинного ИИ что будет мощнее человека "в пике" столетия. У человеков на подумать на пики мощи запасу еды в клетках мозгу на 20 минут. И из за того что миллионы лет еды на полдумать не хватало - мозги 99% времени спят\отдыхают\экономят энергию, То есть для активации думалки у млекопитающих должна быть причина - боль, хим соеденение, ... .
penetrator
Member
Звідки: Amsterdam

Повідомлення

Продал все 100% портфеля на отметке +56% ytd в августе. Слежу за этим падением готовясь зайти на всю котлету :popcorn:
Alligator
Member
Аватар користувача
Звідки: Миколаїв

Повідомлення

Demedik: ↑ 31.10.2026 15:27
Alligator: ↑ 31.10.2026 14:17 і як там з підтримкою свого у 2026 році? :rotate:
Все отлично. Работает 2 ноута. И9 275hx 64gb 5080 крутит Qwen3.8 Flash Next(оба ноута) IQ3_S - работает как дирижёр. AMD 395+ 128gb: UD-IQ4_XS - идет как планировщик и работник. Оба ноута показывают примерно 60+ток/с c контекстом в 256к. Strata AI(спец движок для Flash Next) отличная вещь. Если брать что-то типа Qwen3.8 27b Q8(тут уже llama.cpp) - то на АМД могу разогнать до 20 ток/с(вроде бы специальные версии до 30 ток/с, но пока сильно не заморачивался).

Ноут с 5080 купил в 25, оперативу 64гб на него в январе 26. АМД - в мае 26 за 180к(сейчас тот же ноут 275к).
Qwen3.8 Flash локально повністю безкоштовний ти за токени треба платити?
Поки antigravity юзаю, але він повністю на хмарному обчислені, фірма всім на воркспейс про аккаунти видала тай особисто Плюс версію використовую, вистачає для виконання робочих завдань, але малувато для розробки і тестування нового.

Домашній ПК з 3090 + 128ГБ ОЗУ для Qwen піде? Є можливість пару серверів на 512-1024Гб ОЗУ задіяти. :shuffle:
lw_007
Member

Повідомлення

Alligator: ↑ 01.11.2026 18:02
Demedik: ↑ 31.10.2026 15:27
Все отлично. Работает 2 ноута. И9 275hx 64gb 5080 крутит Qwen3.8 Flash Next(оба ноута) IQ3_S - работает как дирижёр. AMD 395+ 128gb: UD-IQ4_XS - идет как планировщик и работник. Оба ноута показывают примерно 60+ток/с c контекстом в 256к. Strata AI(спец движок для Flash Next) отличная вещь. Если брать что-то типа Qwen3.8 27b Q8(тут уже llama.cpp) - то на АМД могу разогнать до 20 ток/с(вроде бы специальные версии до 30 ток/с, но пока сильно не заморачивался).

Ноут с 5080 купил в 25, оперативу 64гб на него в январе 26. АМД - в мае 26 за 180к(сейчас тот же ноут 275к).
Qwen3.8 Flash локально повністю безкоштовний ти за токени треба платити?
Поки antigravity юзаю, але він повністю на хмарному обчислені, фірма всім на воркспейс про аккаунти видала тай особисто Плюс версію використовую, вистачає для виконання робочих завдань, але малувато для розробки і тестування нового.

Домашній ПК з 3090 + 128ГБ ОЗУ для Qwen піде? Є можливість пару серверів на 512-1024Гб ОЗУ задіяти. :shuffle:

На локалках треба за електроенергію платити)

Але, якщи ви задаєте такі питання, то ще, мабуть, за того хто їх буде розгортати)
AssayMAS
Member
Звідки: ][аркiв

Повідомлення

lw_007: ↑ 02.11.2026 06:06Але, якщи ви задаєте такі питання, то ще, мабуть, за того хто їх буде розгортати)
на древнем 4 ядерном ксеоне с 100ГБ серверной ддр3 ОЗУ нейронка предпоследняя выдаёт 4-8 слов в секунду за максимум пару сотню ватт.
тип того
спойлер
Alligator
Member
Аватар користувача
Звідки: Миколаїв

Повідомлення

AssayMAS: ↑ 02.11.2026 07:55
lw_007: ↑ 02.11.2026 06:06Але, якщи ви задаєте такі питання, то ще, мабуть, за того хто їх буде розгортати)
на древнем 4 ядерном ксеоне с 100ГБ серверной ддр3 ОЗУ нейронка предпоследняя выдаёт 4-8 слов в секунду за максимум пару сотню ватт.
тип того
спойлер
Если повезет, джеминай прогнозирует 1-5 токенов на древнем Xeon с 512 Гб ОЗУ DDR 4, но если запустить Qwen 3.6 35B-A3B (MoE) на RTX3090 то может случится чудо и вылезет 90-110 токенов.
AssayMAS
Member
Звідки: ][аркiв

Повідомлення

Alligator: ↑ 02.11.2026 08:54Если повезет, джеминай прогнозирует 1-5 токенов на древнем Xeon с 512 Гб ОЗУ DDR 4, но если запустить Qwen 3.6 35B-A3B (MoE) на RTX3090 то может случится чудо и вылезет 90-110 токенов.
каждому своё
не получится усидеть на нескольких стульях одновременно: или цена или быстродействие, или вычислительная мощность или энергоэффективность, или ... или.
Знакомые под каждый "ИИ проект" часами с калькулятором выбирают виды недоИИ от подписок до локальных... Бывало купили подписку для 100+рыл, поглядели месяц другой - не выгодно, развернули на двух купленных топ ПК с 16+ГБ врама локальные LLM. В будущем есть опции сменить ОС и ПО на платное (20-300$ в мес) и локальные LLM станут коммерческими и корпоративными.
Мне ваще для 90% задач и нейросети типо Easy Diffusion на rtx2060(6) хватает... понравившееся результаты запросов и эскизы сохраняю (в отдельную папочку) и потом "ВЗРОСЛЫМ" подписочным нейросетям скармливаю.
Demedik
Member
Аватар користувача
Звідки: Харків

Повідомлення

Alligator: ↑ 01.11.2026 18:02 Qwen3.8 Flash локально повністю безкоштовний ти за токени треба платити?
Поки antigravity юзаю, але він повністю на хмарному обчислені, фірма всім на воркспейс про аккаунти видала тай особисто Плюс версію використовую, вистачає для виконання робочих завдань, але малувато для розробки і тестування нового.

Домашній ПК з 3090 + 128ГБ ОЗУ для Qwen піде? Є можливість пару серверів на 512-1024Гб ОЗУ задіяти. :shuffle:
Да, бесплатные. Но кроме того, что нужно железо и за электричество платить. :gigi:

Надо пробовать. Я сильно удивился на что способна моя мобильная 5080. По моделям - скорей всего все там залезут. Для нормальной работы нужна Strata AI. Вот на ней у меня отличные показатели. Нашел ее в обсуждениях моего проца(395) на редите... Пробовал ее чтобы обойти проблему зацикливания Квен3.5 9б(точнее одного файн тюна). В итоге 60 ток/с на модели Qwen3.8 Flash Next IQ3_S(требует 51гб врам + рам). На 395 спокойно работает Unsloth UD-IQ4_XS(60.5 гб).
спойлер
https://github.com/niko1221/strata
DDt
Member
Звідки: Луганск -> Северодонецк -> Харьков -> Киев

Повідомлення

AssayMAS
Так кацап в видосе как раз на собственной ж0пе почувствовал разницу между MoE и Dense моделями. Как раз всё что от ~30B можно адекватно задействовать хоть в чём-то. Купил бы он P100 и обычную платформу на одном сокете с 64Гб ОЗУ - всё было бы гораздо веселее с MoE моделью. Для Dense только две видюхи по 32Гб.
В целом, чисто моё имхо, надо файнтюнить маленькие модели под узкоспециализированные задачи. На том же реддите есть посты чувака который Квен 3,5 4б файнтюнит под генерацию 3Д моделей для игровых движков типа Годот/Юнити.
Вон Demedik забубенил под тесты, значит надо делать спец модель чисто под тестирование софта на определённом языке, и тогда можно большую модель не кастрированную IQ3_S/UD-IQ4_XS запускать а +/- нормальную Q8.
Demedik
Member
Аватар користувача
Звідки: Харків

Повідомлення

DDt: ↑ 02.11.2026 12:57 AssayMAS
Так кацап в видосе как раз на собственной ж0пе почувствовал разницу между MoE и Dense моделями. Как раз всё что от ~30B можно адекватно задействовать хоть в чём-то. Купил бы он P100 и обычную платформу на одном сокете с 64Гб ОЗУ - всё было бы гораздо веселее с MoE моделью. Для Dense только две видюхи по 32Гб.
В целом, чисто моё имхо, надо файнтюнить маленькие модели под узкоспециализированные задачи. На том же реддите есть посты чувака который Квен 3,5 4б файнтюнит под генерацию 3Д моделей для игровых движков типа Годот/Юнити.
Вон Demedik забубенил под тесты, значит надо делать спец модель чисто под тестирование софта на определённом языке, и тогда можно большую модель не кастрированную IQ3_S/UD-IQ4_XS запускать а +/- нормальную Q8.
Ну у меня не совсем так. Я сейчас тестирую тесты просто потому, что других задач нет. Это как раз Страта ИИ. А так да, можно пробовать зафайнтюнить модель... но чует мое сердце, что проблема когда модель сваливается в бесконечный цикл мыслей это не избавит. С даже IQ3_S/UD-IQ4_XS - такого не было. И как пишут на редите - Qwen 3.8 27b Q8 была нужно ДО Страта ИИ с Qwen3.8 Flash Next даже с квантизацией. Я какое-то время сидел на 27б, так что оценить "разумность" модели смогу. Если сравнивать ее с Qwen3.6 35B A3B - вот да... Я даже с потерей скорости на нее перешел. В итоге она быстрее делала, чем МОЕ 3.6 - просто раньше понимала и делала меньше ошибок. + можно ускорить ее. 1 вариант - найти вариацию с МТП. 2 вариант который более быстрый - подключить dFlash2. Но тут надо будет искать совместимы dFlash2 под выбранную вариацию модели. Для меня еще и 3 вариант существует - это запускать модель которая заточена под ROCm.

Флеш Некст(Страта) - пока еще надо будет проверить. Но написание тестов как минимум не хуже 27б. Что будет на задачах надо еще проверить.
DDt
Member
Звідки: Луганск -> Северодонецк -> Харьков -> Киев

Повідомлення

Demedik: ↑ 02.11.2026 13:20Я сейчас тестирую тесты просто потому, что других задач нет.
я за то что, как я вижу, надо для QA надо брать одну модель, для написания софта другую, для фоточек третью и т.д., а не одну здоровую которая может всё но со скоростью 3 т/с
Demedik: ↑ 02.11.2026 13:20что проблема когда модель сваливается в бесконечный цикл мыслей это не избавит
есть мнение что этим страдают кастрированные модели, ОСОБЕННО если ещё делать kv кеш q8/q4, часто читал жалобы на реддите что на большом контексте это вылазит боком
Demedik: ↑ 02.11.2026 13:20можно ускорить ее
что ты не прикручивай к Dense модели - если видеопамяти не хватает, всё без толку
Demedik: ↑ 02.11.2026 13:20Флеш Некст(Страта)
новый квен интересен тем что у него есть н-граммы которые можно выгружать на нвме для освобождения памяти
что-то похожее есть у меленькой gemma4 e4b, только там таблица эмбедингов
AssayMAS
Member
Звідки: ][аркiв

Повідомлення

DDt: ↑ 02.11.2026 12:57Купил бы он P100 и обычную платформу на одном сокете с 64Гб ОЗУ - всё было бы гораздо веселее с MoE моделью
64 ГБ самой дешевой ОЗУ в природе это ддр3 серверная, а у p100 нету умения в fp4 точно и кажись в fp8. А современные модели любят fp4 и тензорные ядра = RTX.
так шо твоё бухтение из разряда "если нету денег на хлеб - то кушайте пироженые". Да твоё решение будет в несколько раз быстрее но цена входа в 5-7 раз выше в нейронки полапать. А если ещё накинуть денег - то одна карта нвидии 40\50 серии с 16+ГБ будет несоизмеримо экономически более выгодна в плане цены за один токен.
Demedik: ↑ 02.11.2026 13:20Что будет на задачах надо еще проверить.
если прибыль те приносит то можно и позаморачиваться с настройкой
я вот в Easy Diffusion и парочке аналогоы потратил несколько сотен часов нашел комбинацию настроек при которых "оно хоть как-то выполняет требуемое" наставил плагинов и с civitai и гитхаба и мои ментальные силы закончились и недоИИ я признал для себя ещё сырой технорлогией на локальном лоу енд ПК (<16ГБ ВРАМА <128ГБ ОЗУ).
Demedik
Member
Аватар користувача
Звідки: Харків

Повідомлення

DDt: ↑ 02.11.2026 14:02 я за то что, как я вижу, надо для QA надо брать одну модель, для написания софта другую, для фоточек третью и т.д., а не одну здоровую которая может всё но со скоростью 3 т/с
В идеале оба варианта. Я пытался чтобы моделька 9б заработала как работник в сабагенте. В общем раз в день в лучшем случае оно уходило в бесконечный цикл мыслей. Например получение файла или повторяющиеся мысли.

По производительности позже.
DDt: ↑ 02.11.2026 14:02 есть мнение что этим страдают кастрированные модели, ОСОБЕННО если ещё делать kv кеш q8/q4, часто читал жалобы на реддите что на большом контексте это вылазит боком
Какого размера модели? Вот это главный вопрос. Да, когда модель в квантизации - то она теряет знания, но не логику. И на первое место выходит харвест того, что есть. У меня друг был такого же мнения про файнтюн. Недавно попробовал Флеш Некст через Страту - сразу про это забыл. Квант IQ3_S. Сказал, что офигенно пишет. Вот даже в сравнение. Я не занимался файнтюном - у меня просто АМД 395 с 128гб, поставленно 112гб под общую память.

Пробовал Гугловскую... вот просто нет. Квен даже 3.6 МОЕ лучше. Квен 3.8 27б вообще ушел вперед. Была надежда на Немотрон 3.5 Болт в кванте 8(74B, A9B) - тоже мимо. Хоть и с dFlash2 показывал великолепную скорость. Он не мог нормально пользоваться тулами и постоянные ошибки в путях к файлам. Хотя как материал для файнтюна - думаю подойдет.
DDt: ↑ 02.11.2026 14:02 что ты не прикручивай к Dense модели - если видеопамяти не хватает, всё без толку
Согласен. Но я предлагал поставить Qwen 3.8 Flash Next через движок Strata AI(ссылка на гит выше). Про 27б упоминал просто.
DDt: ↑ 02.11.2026 14:02 новый квен интересен тем что у него есть н-граммы которые можно выгружать на нвме для освобождения памяти
что-то похожее есть у меленькой gemma4 e4b, только там таблица эмбедингов
Да, но интересна не только модель, а еще и движок. Вот движок показывает просто фантастические результаты. Он был специально оптимизирован под несколько моделей. Рекомендую хотя бы попробовать.
Alligator
Member
Аватар користувача
Звідки: Миколаїв

Повідомлення

AssayMAS: ↑ 02.11.2026 14:30
DDt: ↑ 02.11.2026 12:57Купил бы он P100 и обычную платформу на одном сокете с 64Гб ОЗУ - всё было бы гораздо веселее с MoE моделью
64 ГБ самой дешевой ОЗУ в природе это ддр3 серверная, а у p100 нету умения в fp4 точно и кажись в fp8. А современные модели любят fp4 и тензорные ядра = RTX.
так шо твоё бухтение из разряда "если нету денег на хлеб - то кушайте пироженые". Да твоё решение будет в несколько раз быстрее но цена входа в 5-7 раз выше в нейронки полапать. А если ещё накинуть денег - то одна карта нвидии 40\50 серии с 16+ГБ будет несоизмеримо экономически более выгодна в плане цены за один токен.
Demedik: ↑ 02.11.2026 13:20Что будет на задачах надо еще проверить.
если прибыль те приносит то можно и позаморачиваться с настройкой
я вот в Easy Diffusion и парочке аналогоы потратил несколько сотен часов нашел комбинацию настроек при которых "оно хоть как-то выполняет требуемое" наставил плагинов и с civitai и гитхаба и мои ментальные силы закончились и недоИИ я признал для себя ещё сырой технорлогией на локальном лоу енд ПК (<16ГБ ВРАМА <128ГБ ОЗУ).
С одной стороны здесь и сейчас ты безусловно прав, с другой стороны кому нужно ИИ делали это до роста х10 цен, БУ RTX3090 на 24Гб были по 500 баксов здесь на форуме, серверную ОЗУ DDR4 тоже ведрами продавали за копейки :shuffle:
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

DDt: ↑ 02.11.2026 14:02
Demedik: ↑ 02.11.2026 13:20Я сейчас тестирую тесты просто потому, что других задач нет.
я за то что, как я вижу, надо для QA надо брать одну модель, для написания софта другую, для фоточек третью и т.д., а не одну здоровую которая может всё но со скоростью 3 т/с
Ідеально - брати голу модель і вчити під себе.
dead_rat
Member
Аватар користувача
Звідки: Берлін

Повідомлення

tablestikus: ↑ 02.11.2026 14:37
DDt: ↑ 02.11.2026 14:02
я за то что, как я вижу, надо для QA надо брать одну модель, для написания софта другую, для фоточек третью и т.д., а не одну здоровую которая может всё но со скоростью 3 т/с
Ідеально - брати голу модель і вчити під себе.
спойлер
В трусіках?
DDt
Member
Звідки: Луганск -> Северодонецк -> Харьков -> Киев

Повідомлення

AssayMAS: ↑ 02.11.2026 14:30а у p100 нету умения в fp4 точно и кажись в fp8. А современные модели любят fp4 и тензорные ядра = RTX.
это да, ещё p100 не поддерживает Flash Attention, но зато у неё есть быстрая память и очень доступная цена по сравнению с ближайшей 16Гб 40/50 нвидией
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

dead_rat: ↑ 02.11.2026 14:43
tablestikus: ↑ 02.11.2026 14:37
Ідеально - брати голу модель і вчити під себе.
спойлер
В трусіках?
Без трусіків - багато плюсіків!
lw_007
Member

Повідомлення

Demedik: ↑ 02.11.2026 12:34
Alligator: ↑ 01.11.2026 18:02 Qwen3.8 Flash локально повністю безкоштовний ти за токени треба платити?
Поки antigravity юзаю, але він повністю на хмарному обчислені, фірма всім на воркспейс про аккаунти видала тай особисто Плюс версію використовую, вистачає для виконання робочих завдань, але малувато для розробки і тестування нового.

Домашній ПК з 3090 + 128ГБ ОЗУ для Qwen піде? Є можливість пару серверів на 512-1024Гб ОЗУ задіяти. :shuffle:
Да, бесплатные. Но кроме того, что нужно железо и за электричество платить. :gigi:

Надо пробовать. Я сильно удивился на что способна моя мобильная 5080. По моделям - скорей всего все там залезут. Для нормальной работы нужна Strata AI. Вот на ней у меня отличные показатели. Нашел ее в обсуждениях моего проца(395) на редите... Пробовал ее чтобы обойти проблему зацикливания Квен3.5 9б(точнее одного файн тюна). В итоге 60 ток/с на модели Qwen3.8 Flash Next IQ3_S(требует 51гб врам + рам). На 395 спокойно работает Unsloth UD-IQ4_XS(60.5 гб).
спойлер
https://github.com/niko1221/strata
В якому квантуванні? Бо всі так люблять розказувати як запускають все на обмеженій врам, тільки мовчать про квантування і точність результатів

Відправлено через 3 хвилини 7 секунд:
AssayMAS: ↑ 02.11.2026 14:30
DDt: ↑ 02.11.2026 12:57Купил бы он P100 и обычную платформу на одном сокете с 64Гб ОЗУ - всё было бы гораздо веселее с MoE моделью
64 ГБ самой дешевой ОЗУ в природе это ддр3 серверная, а у p100 нету умения в fp4 точно и кажись в fp8. А современные модели любят fp4 и тензорные ядра = RTX.
так шо твоё бухтение из разряда "если нету денег на хлеб - то кушайте пироженые". Да твоё решение будет в несколько раз быстрее но цена входа в 5-7 раз выше в нейронки полапать. А если ещё накинуть денег - то одна карта нвидии 40\50 серии с 16+ГБ будет несоизмеримо экономически более выгодна в плане цены за один токен.
Demedik: ↑ 02.11.2026 13:20Что будет на задачах надо еще проверить.
если прибыль те приносит то можно и позаморачиваться с настройкой
я вот в Easy Diffusion и парочке аналогоы потратил несколько сотен часов нашел комбинацию настроек при которых "оно хоть как-то выполняет требуемое" наставил плагинов и с civitai и гитхаба и мои ментальные силы закончились и недоИИ я признал для себя ещё сырой технорлогией на локальном лоу енд ПК (<16ГБ ВРАМА <128ГБ ОЗУ).
не знаю, які взагалі проблеми можуть бути з SD.

Крутив їх на локалці 2-3 роки тому, розібрався з вокфлоу і погнав.
Це ж не мультиагентну систему LLM піднімати для виконання якихось точних завдань.
ControlNet в допомогу

Відправлено через 2 хвилини 37 секунд:
KimRomik: ↑ 31.10.2026 23:42 dead_rat
ти не зрозумів
я про те, що підганяти ШІ під образ мислення людини це нетривіальна задача, а те що ми зараз маємо в ШІ це лише приближена версія, але ніколи не стане мислити і відчувати як людина, т.е. він так робить просто тому що ми так робимо і у нас це скопіювали (як у оригінала)
Те що ми маємо з LLM це навіть не приближена версія. Архітекторно. Зовсім.
Відповісти