Taalas пропонує чипи для ШІ в 10 разів швидші за конкурентів, які можуть бути адаптовані під конкретні моделі LLM

[dead_rat]

Пропоную обговорити Taalas пропонує чипи для ШІ в 10 разів швидші за конкурентів, які можуть бути адаптовані під конкретні моделі LLM

Да-да, от ми прийшли і зробили в 10 разів швидше, в 10 разів економічніше і в 20 разів дешевше.
Буквально завтра будуть доступні в лабораторії!

Чому б тоді не почекати трохи і не показати працюючий продукт?

[Polyaan]

Пропоную обговорити Taalas пропонує чипи для ШІ в 10 разів швидші за конкурентів, які можуть бути адаптовані під конкретні моделі LLM

Да-да, от ми прийшли і зробили в 10 разів швидше, в 10 разів економічніше і в 20 разів дешевше.
Буквально завтра будуть доступні в лабораторії!

Чому б тоді не почекати трохи і не показати працюючий продукт?

Инвестиции
Главное продать инвесторам.

[artko]

демка вже є.
https://chatjimmy.ai/

воно дійсно відповідає дуже швидко, чип taalas hc1

[Georgin]

dead_rat
Це ж класичний підхід будь-якого стартапу "Investor, give us money", скільки разів ми таке вже бачили

[ronemun]

dead_rat
читай спочатку, а потім коментуй
там же чітко сказано - це ASIC заточений конкретно під цю модель. тому і така ефективність.
Цитата:
Заснована 2,5 роки тому, компанія Taalas розробила платформу для перетворення будь-якої моделі штучного інтелекту на спеціалізований кремнієвий процесор. З моменту отримання раніше невідомої моделі її можна реалізувати на апаратному рівні лише за два місяці. Отримані хардкорні моделі на порядок швидші, дешевші та енергоємніші, ніж програмні реалізації
..Завдяки їхньому рішенню всі обчислення відбуваються на рівні DRAM, що забезпечує швидший взаємозв'язок, що є однією з причин, чому Taalas вдалося вирішити проблему затримки за допомогою LLM. Їхнє рішення не включає вдосконалене охолодження, HBM, упаковку та складну інтеграцію; натомість усі інновації відбуваються в рамках інженерної динаміки кремнію.
Taalas також продемонструвала свій перший продукт під назвою HC1, який інтегрує LLM Meta Llama 3.1 8B

враховуючи число транзисторів - 53 млрд - на 6 нм на площі 800 мм2 може бути тільки SRAM кеш. Напевно 500-700 MB.
6 нм ідеальний техпроцес для цього - мала ціна за 1 кбіт при великому обємі на кристал
але все одно це мало, тому й оптимізація під малі моделі.
в разі успіху далі будуть напевно обєднувати кристал як 3д кеш.

Взагалі то аналоги розробляє Samsung - обробка матриць вбудована прямо в чіпи памяті - немає потреби ганяти дані через контролер памяті в основний кристал і назад. І шини всередині кристалу памяті ніщо не обмежує, хоч 100 кбіт, не те що 2кбіт в HBM4e.
Вони кажуть, що 90+ % операцій дуже елеметарні і не потребують складних схем і кешів. По суті це як підбір хешів/паролів - коли обчислений хеш не співпав з потрібним - просто обчисляють наступний, і так триліони раз, накопичувати і планувати дані непотрібно

[dead_rat]

ronemun
Немає сенсу читати маркетингові пояснення.

Якби був реальний продукт з х10 продуктивністю і х10 меншим споживанням, ці чуваки б отримали інвестицій на сотню мільярдів.

Llama 3.1 (July 2024): Highly capable models in 8B, 70B, and 405B, supporting long context and function calling.

Уявимо, що і правда впакували залізом 8б модель. Це найменша модель дворічної давнини і вже 800 кв мм хай і не топового техпроцессу.
Якого розміру має бути кристалл, щоб реалізувати скільки-небудь спроможну модель?

[ronemun]

dead_rat
це мала модель, але читай як китайці 2 роки тому за копійки зробили те на що OPenAI хотіла 200 мільярдів
вони розбили велику модель на малі.
Це дуже глупо вивчати супервелику складну сітку. експерти кажуть: щоб підвишити якість навчання на 20% тре в 10-20 раз більше ресурсів.
А як роблять мудрі люди - вони спеціалізують складну область на багато простих. Окремо фізика, окремо геометрія, а потім поєднують все формулами чи матмоделями. Теж саме до любих областей знань/пізнання. Комахи розміром 1 мм можуть робити неймовірні викрутаси незнаючи навіть елементарних законів аеродинаміки, а їх нейромережа вагою в мікрограми в мільярди раз простіша/повільніша і ефективніша за зарашні прискорювачі.
Зараз якраз і пішла перша черга таких моделей.

[sapsan]

То може саме такі асіки відправлять нвідію назад займатись споживчими відеокартами?...
P.S. Пригадайте як асіки витіснили відеокарти з майнінгу.

[DuckRider]

Пропоную обговорити Taalas пропонує чипи для ШІ в 10 разів швидші за конкурентів, які можуть бути адаптовані під конкретні моделі LLM

Да-да, от ми прийшли і зробили в 10 разів швидше, в 10 разів економічніше і в 20 разів дешевше.
Буквально завтра будуть доступні в лабораторії!

Чому б тоді не почекати трохи і не показати працюючий продукт?

Вот ты не веришь, а я верю и инвесторы пусть верят. А нвидия пусть кала с тарелки навернёт

[dead_rat]

dead_rat
це мала модель, але читай як китайці 2 роки тому за копійки зробили те на що OPenAI хотіла 200 мільярдів
вони розбили велику модель на малі.

І де зараз ті Китайці, поки ОпенАІ отримала свої 100+ мільярдів і намагається вигризти 1.4 трильйони?

[VRoman]

Да хорошо бы. Глядишь ИИ гиганты перестанут покупать видюшные чипы НВидиа

[Sanьka]

Да хорошо бы. Глядишь ИИ гиганты перестанут покупать видюшные чипы НВидиа

Проблема в тому, що НВідія одразу викупить той стартам з потрохами, якщо там буде щось пристойне. І далі вирішить чи застосовувати його в своїх напрацюваннях, чи просто поховати щоб не заважав відяхи конторам продавати.

[maksim2020]

dead_rat
це мала модель, але читай як китайці 2 роки тому за копійки зробили те на що OPenAI хотіла 200 мільярдів
вони розбили велику модель на малі.

І де зараз ті Китайці, поки ОпенАІ отримала свої 100+ мільярдів і намагається вигризти 1.4 трильйони?

Я б за китайців не переживав. Поки весь світ зфокусований на намаганні альтмана утримати свою контору на плаву, вони просто роблять свою справу - мовчки, впевненно, цілеспрямовано.

[Барбарис]

ronemun, тільки не за копійки, лише сказали "за копійки" і при цьому для навчання своєї скористались саме західними ллм.

І звісно же чіп Taalas менший за інші. Чи зможуть вони збільшити продуктивність пропорційно збільшенню розмірів, невідомо. І, звісно же, це не просто концепт , але перші чіпи будуть доступні лише навесні. 2.5 роки розробляли концепт і поки що, наскільки розумію, ці розрахунки вірні лише в моделюванні цієї моделі ллм. Прототипи ще виготовляються. А під кожну іншу модель їм треба буде модулювати новий чіп і перевіряти працездатність.

[VovaII]

Барбарис
Ну? І в чому проблема робити спеціалізовані чіпи під кожну модель, якщо виходить меншого розміру і в 10 швидше?

[Барбарис]

VovaII, мабуть в тому що його ще не зробили навіть під дану маленьку модель? Не кажучи вже про адаптацію для більших?

[VovaII]

Барбарис
Ну, якщо не зроблять, то мабуть таки проблема.
А якщо зроблять?

[Барбарис]

VovaII, коли зроблять, тоді й будуть писати, а поки це маркетингові втирання.

[artko]

Барбарис

так зробили ж. "Taalas HC1 hard-wired with Llama 3.1 8B model". демо доступ є в онлайні.
до чого тут втирання? на зараз в них один експериментальний чип, він працює і його можна побачити в роботі.

[Барбарис]

artko, а хто підтвердить, що демо дійсно на базі їх чіпа?
Всі їх заяви стверджують, що лабораторні прототипи будуть навесні. В оригіналі новини не бачу, що є виготовлений зразок. Отже, розводняк.