ASUS робить ставку на серверні рішення для ШІ через бурхливе зростання цього сегмента

[dead_rat]

Дивно, молитися на ЛЛМ, але не вірити що можна імітувати систему з 80-100 млрд нейронів.

В одній 5090 як раз 90 млрд транзисторів, хай навіть для моделювання нейрону треба сотку транзисторів - це вже абсолютно доступна стойка з відеокартами. Звичайно, сьогоднішні відеокарти для цього не призначені, але технологічно це абсолютно можливо.

Ну ви ж наче як технарь. Із зростанням кількості елементів складність росте по експоненті. Ці нейрони у мозку мають десятки трильйонів зв'язків між собою. Тут задачу трьох тіл вирішити не можуть, а ви хочете, щоб обраховували взаємодію такої складної системи. До того ж, щоб щось моделювати, треба знати, як це влаштовано та як працює. А мозок досі дуже слабо вивчений.

Я гадаю, що отут і варто закінчити. Вочевидь ви і уяви не маєте що таке експонента і як оцінюється складність і що вона буває різною: від постійної, логарифмічної до багатьох нелінійних і експонента як одна із найгірших.

[GetOutTheWay]

для тих хто не в курсі, у asus як і у gigabyte (а також інших виробників які відомі форуму тільки по компʼютерним комплектуючим) є підрозділи які займаються серверами, і конкретно два цих бренди навіть офіційно представлені в Україні, продавались тут і зараз працюють у замовників.
При цьому саме фішка таких серверів це дуже щільні GPU сервери (з 8 GPU в 2 юнітах).
Тому нема чому дивуватись, що ці компанії бачуть в цьому перспективу. Але для цього треба бути в контексті або хоча б зробити певний research після прочитання новини.

[Tiufin]

Бо фінансування жалюгідне. Гранти на лям-інший - типова ситуація. Випадків коли розщедрились на кілька сотень щоб стало можливо хоч якусь специфічну апаратуру зробити можна порахувати по пальцям однієї руки.

Так про всілякі опенаі та антропікі кілька років тому теж ніхто не чув, а їхні роботи базувались на кількох ігрових відеокартах (нещодавно тут була новина про це). Тож, був би результат та перспективи у підході із моделюванням мозку - були б трильйонні вливання туди, та зараз би хейтили це

Відправлено через 6 хвилин 33 секунди:

Значення має те що не буде ніякого путнього кінцевого результату з ЛЛМ. Вірно обраний шлях для досягнення цілі також важливий. Невірно, як от з хворобою альцгеймера, результати досліджень котрої за останні 20 років массово скасовують, а статті з поважних журналів видаляють, призведе до втрати часу і грошей.

Ну я мав на увазі, що якщо роботи над ллм еволюціонують у роботи над якимось іншим алгоритмом (як от зараз деякі дослідники просувають world models), який виявиться більш ефективний, але який би не вдалося відкрити з нуля (як це часто у науці і буває - поступово щось розвивається та відозмінюється).
Звісно, існує вірогідність, що ці роботи над ллм ні в що так в не еволюціонують. І, думаю, ті, хто це фінансує, це розуміють. Але виграш, якщо це все ж таки вдасться - вартий того, щоб спробувати.

Відправлено через 4 хвилини 5 секунд:

А ти ще подивись на суму акцій техконтор. Там вже мова йде про десятки трийльонів.

Ну, це трохи віртуальний світ, тому його так і треба сприймати. Один реальний долар влитий, або забраний з цієї системи, змінює капіталізацію в той чи інший бік на десятки доларів. До того ж, фондовим ринком досить легко керувати за допомогою державної політики (відсоткові ставки, монетарна політика), щоб недопустити якихось критичних станів.

[Scoffer]

конкретно два цих бренди навіть офіційно представлені в Україні, продавались тут і зараз працюють у замовників.

Але на відміну від нормальних брендів, чи навіть напівнормальних типу супермікро чи леново, асус і гіга не мають ніякої адекватної підтримки і не доходять до участі в тендері вже по об'єму наданих послуг. При цьому коштують вони ну ні разу не дешевше тої ж супермікри. Хто і навіщо їх бере особисто я дуже слабко уявляю. Це якісь прямо гурмани.

Тож, був би результат та перспективи у підході із моделюванням мозку

Результат давно є. Зараз моделювання мозку знаходиться десь в районі 5-7 мільйонів нейронів. Це приблизно на рівні ящірок. До миші всього нічого, в 10 раз вирости треба. Вклали б туди трильйони - вже б всюди бігали як мінімум робопацюки, а може навіть і робокоти. Результати не мають нічого спільного з хайповістю теми.

[vmsolver]

Бо фінансування жалюгідне. Гранти на лям-інший - типова ситуація.

Телега впереди лошади выглядит именно так Финансирования нет потому что никто не показал перспективу этих исследований, поэтому лям или сколько там, это ещё щедро.
Если видна перспектива, как видим на примере LLM, то находят триллионы инвестиций.

А ти ще подивись на суму акцій техконтор. Там вже мова йде про десятки трийльонів.

Только стоимость акций это не инвестиции, а капитализация, то есть просто биржевой параметр.

[Tiufin]

Результат давно є. Зараз моделювання мозку знаходиться десь в районі 5-7 мільйонів нейронів. Це приблизно на рівні ящірок. До миші всього нічого, в 10 раз вирости треба. Вклали б туди трильйони - вже б всюди бігали як мінімум робопацюки, а може навіть і робокоти. Результати не мають нічого спільного з хайповістю теми.

Останні успіхи, про які я чув в цій темі - модель мозку мухи. Це далеко не ящірка. Але навіть, якщо припустити, що є вже модель ящірки, то це далеко не миша і не кішка, бо якщо в них в 10 разів більше нейронів в мозку (не гуглив, лінь перевіряти), то це не означає, що треба всього в 10 разів потужніше залізо- бо складність обчислень росте нелінійно (пан dead_rat, чи як там правильно казати?). Ну а до мозку людини це все одно, як до сусідньої галактики - може теоретично щось там і можливо, але лише теоретично.

Відправлено через 7 хвилин 48 секунд:

Я гадаю, що отут і варто закінчити. Вочевидь ви і уяви не маєте що таке експонента і як оцінюється складність і що вона буває різною: від постійної, логарифмічної до багатьох нелінійних і експонента як одна із найгірших.

Ну ви ж теж любите подискутувати на тему економіки
Ок, я не математик, може не той термін. Але в чому я по суті не правий? Будемо вираховувати точну формулу зростання складності? Чи зупинимось на тому, що все ж таки ніяких дата центрів не вистачить?

До речі, якщо уявити, що такий віртуальний мозок таки буде побудований - то він тоді матиме свідомість, а отже, буде небезпечним. Тобто, із ллм рівень свідомості (і її небезпеки) під питанням, а от при моделюванні - це вже точно буде.

[dead_rat]

Ок, я не математик, може не той термін. Але в чому я по суті не правий? Будемо вираховувати точну формулу зростання складності? Чи зупинимось на тому, що все ж таки ніяких дата центрів не вистачить?

Важливий не термін, а мінімальне розуміння.
З чого б вдруг не вистачило ніяких датацентрів?

В вас є конкретний вироб - людський мозок, вагою трохи більше кіло і сподиванням сто ват плюс-мінус.

Люди вже навчилися робити з кремнію елементи в багато раз менші за нейрон. То з чого йде ваше зауваження що ніяких датацентрів не вистачить?

Ви такий фанат АІ, а виходить що окрім хайпу ОпенАІ і не чули нічого.

https://newsroom.intel.com/artificial-i ... ainable-ai

[Tiufin]

Важливий не термін, а мінімальне розуміння.
З чого б вдруг не вистачило ніяких датацентрів?

В мене є розуміння, що збільшення складності там відбувається нелінійно, а яка там функція - то вже деталі для тих, хто дійсно спеціалізується на цій темі.
Але ви ж написали перед цим, що там лінійна залежність.

В вас є конкретний вироб - людський мозок, вагою трохи більше кіло і сподиванням сто ват плюс-мінус.

Так проблема хоча б тому, що цей вироб все ще дуже слабо вивчений (про що я вже писав вище). То ж, ніякої конкретики немає.

Люди вже навчилися робити з кремнію елементи в багато раз менші за нейрон. То з чого йде ваше зауваження що ніяких датацентрів не вистачить?

З того, що кількість зв'язків між нейронами на порядки більша кількості нейронів. А сила зв'язків між різними нейронами, їхня взаємодія та вплив один на одного недостатньо вивчена, щоб хоча б спробувати це обрахувати.

Ви такий фанат АІ, а виходить що окрім хайпу ОпенАІ і не чули нічого.

https://newsroom.intel.com/artificial-i ... ainable-ai

Ну і що ми бачимо у цій статті? Що великі технокомпанії таки знають про існування цього напрямку розвитку ШІ та інвестують в нього? Але чому ж іхня зацікавленість в ньому не така, як у ллм?
Ну і по-друге, ось що написано у статті:
"While Hala Point is not intended for neuroscience modeling, its neuron capacity is roughly equivalent to that of an owl brain or the cortex of a capuchin monkey."
Я так зрозумів, це не модель мозку мови, а просто кількість нейронів у тому компі співставна із кількістю нейронів у мозку сови.
Поправте, якщо я щось не так зрозумів.
Модель - це коли ця кількість впорядкована та працює рівно так, як у сови.

[dead_rat]

З того, що кількість зв'язків між нейронами на порядки більша кількості нейронів. А сила зв'язків між різними нейронами, їхня взаємодія та вплив один на одного недостатньо вивчена, щоб хоча б спробувати це обрахувати.

Внутрі ваших же улюблених ЛЛМ є neural network- вони прекрасно описані.
Причому просту сітку щоб наприклад розпізнавати рукописні цифри ви з допомогою чату гпт можете написати за годину.

Я так робив з цікавості ще у 2017.

Але це ж з ваших слів неймовірно складно…

[Tiufin]

З того, що кількість зв'язків між нейронами на порядки більша кількості нейронів. А сила зв'язків між різними нейронами, їхня взаємодія та вплив один на одного недостатньо вивчена, щоб хоча б спробувати це обрахувати.

Внутрі ваших же улюблених ЛЛМ є neural network- вони прекрасно описані.
Причому просту сітку щоб наприклад розпізнавати рукописні цифри ви з допомогою чату гпт можете написати за годину.

Я так робив з цікавості ще у 2017.

Але це ж з ваших слів неймовірно складно…

Мені здається, це трохи інші історії.
У ситуації з ллм є набір даних і вже в результаті експерименту (навчання) вибудовуються зв'язки та ваги зв'язків між нейронами.
У моделі мозку - зв'язки між нейронами та їхні ваги задані біологічно. І задача людини, яка будує модель мозку - повторити це в моделі.
Варіант із ллм простіше, але тупіковий в плані подальшого розвитку (як ви стверджуєте).
Варіант із моделлю мозку - перспективний (як ви стверджуєте), але значно складніше у побудові.

[Scoffer]

але значно складніше у побудові

Не складніше воно в побудові. Воно інакше в побудові. Мозок це не процесор і не відеокарта. Мозок це здоровена і жирна FPGA, в першому наближенні.
Оскільки хуанг не торгує фпга, то він же і не пушив роками цю тему. А відяхами торгує. От і вся розгадка.

[Tiufin]

але значно складніше у побудові

Не складніше воно в побудові. Воно інакше в побудові. Мозок це не процесор і не відеокарта. Мозок це здоровена і жирна FPGA, в першому наближенні.
Оскільки хуанг не торгує фпга, то він же і не пушив роками цю тему. А відяхами торгує. От і вся розгадка.

Знов ці теорії змов. Ти так кажеш, наче хуанг- володар світу, та завжди мав ту вагу, яку має зараз. Він відеокартами торгує вже десь чверть сторіччя, то чому ж ШІ лише зараз злетів?
10-20 років тому (коли створювались ті проекти із моделювання мозку, при які ти писав) - була купа технологічних компаній більша за нвідію. То чому ж вони не створили фпга для цих цілей?
Та й зараз є конкуренти прискорювачам нвідіа - он Гугл нещодавно якісь асіки презентував, кращі по багатьом параметрам.

[Scoffer]

Знов ці теорії змов.

Це не теорії змов, а практики змов. Всі CEO жирних техноконтор знають один одного особисто, регулярно бухають в одних і тих самих барах, про що звітують в інстаграми, і обговорюють як в черговий раз облапошити хайпожерів.