Пропоную обговорити Дослідники BitEnergy AI розробили новий алгоритм множення, який знизить енергоспоживання обчислень ШІ на 95%
Згадалися слова Кернес - я тебе на ноль помножу
Останні статті і огляди
Новини
Дослідники BitEnergy AI розробили новий алгоритм множення, який знизить енергоспоживання обчислень ШІ на 95%
-
KPOB_3_MEDOM
Junior
-
Nehrk
Member
- Звідки: Philly, PA
Та не. Все ок будет. Увеличение энергоэффектинвности/перфомансу и так происходит с каждым обновлением железа)) Нейросети можно было бы дофига куда засунуть с пользой если бы они не жгли железо как чорт.А в цьому можуть бути не зацікавлені провідні виробники обладнання, включно з Nvidia.
-
Scoffer
Member
Nehrk
Всі GPU будуть катастрофічно енергонеефективні в сабжевому алгоритмі в порівнянні зі спец пристроєм, можливо навіть спустяться до рівня CPU, так що хуанг зі штанів вистрибне аби лише сповільнити впровадження. Але, думаю, нічо у нього не вийде. Занадто велика різниця в накладних витратах, десятки раз це тобі не це.
Всі GPU будуть катастрофічно енергонеефективні в сабжевому алгоритмі в порівнянні зі спец пристроєм, можливо навіть спустяться до рівня CPU, так що хуанг зі штанів вистрибне аби лише сповільнити впровадження. Але, думаю, нічо у нього не вийде. Занадто велика різниця в накладних витратах, десятки раз це тобі не це.
-
dead_rat
Member
- Звідки: Берлін
Scoffer
Ти так пишеш, ніби абсолютно певен у правдивості маркетингово матерілу від BitEnergy AI
Ти так пишеш, ніби абсолютно певен у правдивості маркетингово матерілу від BitEnergy AI
-
Scoffer
Member
dead_rat
Це дуже давно відома тема з апроксимацією магічними константами. Раніше правда цим займались для ділення і кореня як апаратно складних і малосумісних з обчислювальним конвеєром операцій, а тут типи просто підібрали константу для множення. Враховуючи що нейронка не надто перебірлива в точності що аж FP4 думають юзати, то не бачу причин чому не має працювати.
Можеш загуглити про 0x5f3759df наприклад
Відправлено через 1 хвилину 39 секунд:
Диви що вони роблять:
Я більше здивований що раніше про ці приблизні обчислення ніхто не згадав.
Це дуже давно відома тема з апроксимацією магічними константами. Раніше правда цим займались для ділення і кореня як апаратно складних і малосумісних з обчислювальним конвеєром операцій, а тут типи просто підібрали константу для множення. Враховуючи що нейронка не надто перебірлива в точності що аж FP4 думають юзати, то не бачу причин чому не має працювати.
Можеш загуглити про 0x5f3759df наприклад
Відправлено через 1 хвилину 39 секунд:
Диви що вони роблять:
- спойлер
Я більше здивований що раніше про ці приблизні обчислення ніхто не згадав.
-
KimRomik
Member
в майбутньому просто будуть брати "енергію" з людейзростання енергоспоживання, що в найближчому майбутньому може стати певною проблемою
варіант економії, який знизить енергоспоживання обчислювальних систем ШІ на значні 95%
-
lewerlin
Member
- Звідки: Миронівка
Я би на це дивився не як на -95 споживання, а як на х20 продуктивності. І це блін трохи лячно.Scoffer: ↑ 14.10.2024 10:07Я більше здивований що раніше про ці приблизні обчислення ніхто не згадав.
-
Kashtan
Member
- Звідки: Яготин
4.5 млрд будинків у штатах еквівалент. Враховуючи що це не афганські оселі, електрику там не економлять, одні роботи в гаражі чого потребують по споживанню електрики. По суті більше ніж все населення планети в побуті. На нейромережі. А з новим алгоритмом в 20 разів ефективніше. Технологічна сингулярність зрушилось на пару десятиліть ближче до сьогодення.
-
zmax
Member
- Звідки: Zp
навіщо? Він просто купить з потрохами компанію, яка розробить щось проривне, цю чи іншу.Scoffer: ↑ 14.10.2024 09:44так що хуанг зі штанів вистрибне аби лише сповільнити впровадження
-
Scoffer
Member
zmax
Тому що цілочисельний матричний процесор може намалювати притомний студент третього курсу і ніякі там особливі контори не потрібні. Це максимально проста штука, значно простіше ніж GPU чи ОоО CPU. Хмарні провайдери і без того вже клепають свої тензорні прискорювачі, а то зовсім злізуть з виробів нвідії, вона стає просто зайвою в цих схемах, так само як і амд, і інтел і інші бажаючі.
Відправлено через 5 хвилин 50 секунд:
Тим паче тут в сабжі навіть цілочисельного множення немає, це конструктивно капець як просто виходить.
Тому що цілочисельний матричний процесор може намалювати притомний студент третього курсу і ніякі там особливі контори не потрібні. Це максимально проста штука, значно простіше ніж GPU чи ОоО CPU. Хмарні провайдери і без того вже клепають свої тензорні прискорювачі, а то зовсім злізуть з виробів нвідії, вона стає просто зайвою в цих схемах, так само як і амд, і інтел і інші бажаючі.
Відправлено через 5 хвилин 50 секунд:
Тим паче тут в сабжі навіть цілочисельного множення немає, це конструктивно капець як просто виходить.
-
TheDmytrius
Member
Ну от, все! АІ тепер не бульбашка
-
AssayMAS
Member
- Звідки: ][аркiв
В предыдущей жизни Хуан запросто вступал в союзы с Интел, с ... для выгоды - пока не зазвездился. И появление "процессоров" только под конкретные нейросетевые алгоритмы только вопрос времени. И у Хуана будет задача о двух стульях. На одном универсальные видеокарты, на другом узкоспециализированные вычислители для недоИИ. И будет выбор рискнуть в новое - что убыточно, или старое не потерять - что тоже сверхприбылей не сулит как сча.Scoffer: ↑ 14.10.2024 09:44так що хуанг зі штанів вистрибне
Хуан в ИИ монополист и появление альтернативных экосистем ему как серпом по... сверхприбылям.