Google представила технологію TurboQuant для стиснення великих мовних моделей ШІ

[OdeMix]

Пропоную обговорити Google представила технологію TurboQuant для стиснення великих мовних моделей ШІ

Це все призведе лише до того, що почнуть розробляти ще більші моделі, але зовсім не до здешевлення комплектуючих.

[sagifire]

Це все призведе лише до того, що почнуть розробляти ще більші моделі, але зовсім не до здешевлення комплектуючих.

Зараз вже проблемно збільшувати розмір моделі тому що фактично вперлись в межі архітектури "трансформера", умовно збільшення теперішньої моделі в два рази дасть покращення в декілька процентів. Тому всі активно шукають альтернативи та обхідні шляхи, таких новин ще багато буде )).

[Gelonyrum]

Кайфарик, можна буде локально собі крутити не гемму3 8b, а 27b, бо велику модель на звичайному ПК тримати в оперативці жаба дусить, а постійно вигружати\загружати її таке собі задоволення.

[yariksom]

Десь читав, що акції виробників вже летять вниз: Micron Technology - 23%, SanDisk — 11%, Samsung, Seagate, SK Hynix и Kioxia — по 6%.
Може про ПК знов згадають?

[Misanthrop]

Десь читав, що акції виробників вже летять вниз: Micron Technology - 23%, SanDisk — 11%, Samsung, Seagate, SK Hynix и Kioxia — по 6%.
Може про ПК знов згадають?

Почекай, зараз станеться землетрус, дощ чи ще щось і заводи встануть, а ціни знов взлетять

[Yalg]

yariksom
Да, но там весь рынок летит вниз - трамп делает деньги на качелях.

[yariksom]

yariksom
Да, но там весь рынок летит вниз - трамп делает деньги на качелях.

Нехай летить в саме дно, щей проб'є його, хочу відеокарту - топ, за 800 баксів

[Yalg]

yariksom
Ну, вот и будет 1080ti по $800.

[Барбарис]

Gelonyrum, не можна буде. Ця технологія не зменшує об'єм пам'яті, лише кешу.