Дослідники BitEnergy AI розробили новий алгоритм множення, який знизить енергоспоживання обчислень ШІ на 95%

[KPOB_3_MEDOM]

Пропоную обговорити Дослідники BitEnergy AI розробили новий алгоритм множення, який знизить енергоспоживання обчислень ШІ на 95%

Згадалися слова Кернес - я тебе на ноль помножу

[Nehrk]

А в цьому можуть бути не зацікавлені провідні виробники обладнання, включно з Nvidia.

Та не. Все ок будет. Увеличение энергоэффектинвности/перфомансу и так происходит с каждым обновлением железа)) Нейросети можно было бы дофига куда засунуть с пользой если бы они не жгли железо как чорт.

[Scoffer]

Nehrk
Всі GPU будуть катастрофічно енергонеефективні в сабжевому алгоритмі в порівнянні зі спец пристроєм, можливо навіть спустяться до рівня CPU, так що хуанг зі штанів вистрибне аби лише сповільнити впровадження. Але, думаю, нічо у нього не вийде. Занадто велика різниця в накладних витратах, десятки раз це тобі не це.

[dead_rat]

Scoffer
Ти так пишеш, ніби абсолютно певен у правдивості маркетингово матерілу від BitEnergy AI

[Scoffer]

dead_rat
Це дуже давно відома тема з апроксимацією магічними константами. Раніше правда цим займались для ділення і кореня як апаратно складних і малосумісних з обчислювальним конвеєром операцій, а тут типи просто підібрали константу для множення. Враховуючи що нейронка не надто перебірлива в точності що аж FP4 думають юзати, то не бачу причин чому не має працювати.
Можеш загуглити про 0x5f3759df наприклад

Відправлено через 1 хвилину 39 секунд:
Диви що вони роблять:

спойлер

Відправлено через 11 хвилин 27 секунд:
Я більше здивований що раніше про ці приблизні обчислення ніхто не згадав.

[KimRomik]

зростання енергоспоживання, що в найближчому майбутньому може стати певною проблемою

варіант економії, який знизить енергоспоживання обчислювальних систем ШІ на значні 95%

в майбутньому просто будуть брати "енергію" з людей

[lewerlin]

Я більше здивований що раніше про ці приблизні обчислення ніхто не згадав.

Я би на це дивився не як на -95 споживання, а як на х20 продуктивності. І це блін трохи лячно.

[Kashtan]

4.5 млрд будинків у штатах еквівалент. Враховуючи що це не афганські оселі, електрику там не економлять, одні роботи в гаражі чого потребують по споживанню електрики. По суті більше ніж все населення планети в побуті. На нейромережі. А з новим алгоритмом в 20 разів ефективніше. Технологічна сингулярність зрушилось на пару десятиліть ближче до сьогодення.

[zmax]

так що хуанг зі штанів вистрибне аби лише сповільнити впровадження

навіщо? Він просто купить з потрохами компанію, яка розробить щось проривне, цю чи іншу.

[Scoffer]

zmax
Тому що цілочисельний матричний процесор може намалювати притомний студент третього курсу і ніякі там особливі контори не потрібні. Це максимально проста штука, значно простіше ніж GPU чи ОоО CPU. Хмарні провайдери і без того вже клепають свої тензорні прискорювачі, а то зовсім злізуть з виробів нвідії, вона стає просто зайвою в цих схемах, так само як і амд, і інтел і інші бажаючі.

Відправлено через 5 хвилин 50 секунд:
Тим паче тут в сабжі навіть цілочисельного множення немає, це конструктивно капець як просто виходить.

[TheDmytrius]

Ну от, все! АІ тепер не бульбашка

[AssayMAS]

так що хуанг зі штанів вистрибне

В предыдущей жизни Хуан запросто вступал в союзы с Интел, с ... для выгоды - пока не зазвездился. И появление "процессоров" только под конкретные нейросетевые алгоритмы только вопрос времени. И у Хуана будет задача о двух стульях. На одном универсальные видеокарты, на другом узкоспециализированные вычислители для недоИИ. И будет выбор рискнуть в новое - что убыточно, или старое не потерять - что тоже сверхприбылей не сулит как сча.
Хуан в ИИ монополист и появление альтернативных экосистем ему как серпом по... сверхприбылям.

[lokkiuni]

В предыдущей жизни Хуан запросто вступал в союзы с Интел, с ... для выгоды - пока не зазвездился.

Не совсем так - у него давний зуб на Интел, когда они при переходе на 1155/1156 прокинули с рынком чипсетов, хотя лицензия на шину, используемую в этих процессорах, у нВидии была на руках. Собственно, именно тогда они решили сделать свой процессор, с преферансом и поэтессами (Tegra), правда, получилось не столь круто, как задумано.

[AssayMAS]

Tegra

SoC для мобильных ЭВМ (Mobile Internet Device, MID) в обычном ПК ну ни как... не конкурентоспособный.
Были как пример временной "дружбы" ION, ION 2. С вики NVIDIA ION — семейство чипсетов компании NVIDIA, платформа для нетбуков и неттопов. Так что "горшки не побили" - просто продукт вышел не очень и в дальнейшем каждая корпа научилась своему - Интел в видеокарты встроенные в процы, нвидиа в процы (но только лично для себя). Может только "лично для себя" потому что там с авторскими правами чето не то. Но себе на заводах и лабораториях Нвидиа сама сервера делает со своими какими то процами. И сильно не стандартными видеокартами что от "обычных геймерских" отличаются повышенный количеством ядер и пониженным энергопотреблением.
Это к тому что могли воровать "компетенции". Веди у Интел как раз после сношений с Нвидиа встройки поперли в процах. А у Нвидии процы появились - для рынка так себе - а для себя ради безопасности норм.

[Scoffer]

Собственно, именно тогда они решили сделать свой процессор, с преферансом и поэтессами (Tegra)

Нє, зробити свій процесор вони вирішили сильно раніше, десь в районі 478 сокету бо вже тоді почали з інтелом морально і аморально розходитись щодо чіпсетів. І не просто якийсь там процесор, а х86 процесор. Інтел зрозумів що пахне смаженим і терміново заліцензіював хуангу 775 сокет за умови що х86 проца не буде. Так 775 сокет отримав нормальні чіпсети, а тегра стала армом. А прокинули остаточно дійсно на 1156.