Дженсен Хуанг оголосив про початок ери AGI після запуску GPT‑6 Astra. Навчання ШІ могло коштувати мільярд доларів

[Scoffer]

lw_007
Обчислення з плаваючою комою
1. НЕ є асоціативними
2. Страждають від catastrophic cancellation (здається немає нормального українського терміну)
3. Страждають від underflow
Додаючи до цього паралельні обчислення, бо ти сподіваюсь не будеш тут розказувати що запускаєш свою нейронку на одному ядрі в один потік, ці фактори призводять до того що маючи на вході якоїсь довгої-довгої функції неважливого походження (це стосується геть всіх обчислень з плаваючою комою), сталі дані, вихідний результат буде різний. Магія
Тому пофіг що ти там собі думаєш. Де-факто LLM є недетермінованими вже на етапі апаратної реалізації.
А в усякі чати жпт недетермінованість вносять додатково на етапі математики щоб воно не спілкувалось як робот.
І того завантажити в реальну LLM реальний промпт і отримати гарантовано! повторювану відповідь неможливо. А це ознака чого? А отого самого, правильно.

[lw_007]

lw_007
Обчислення з плаваючою комою
1. НЕ є асоціативними
2. Страждають від catastrophic cancellation (здається немає нормального українського терміну)
3. Страждають від underflow
Додаючи до цього паралельні обчислення, бо ти сподіваюсь не будеш тут розказувати що запускаєш свою нейронку на одному ядрі в один потік, ці фактори призводять до того що маючи на вході якоїсь довгої-довгої функції неважливого походження (це стосується геть всіх обчислень з плаваючою комою), сталі дані, вихідний результат буде різний. Магія
Тому пофіг що ти там собі думаєш. Де-факто LLM є недетермінованими вже на етапі апаратної реалізації.
А в усякі чати жпт недетермінованість вносять додатково на етапі математики щоб воно не спілкувалось як робот.
І того завантажити в реальну LLM реальний промпт і отримати гарантовано! повторювану відповідь неможливо. А це ознака чого? А отого самого, правильно.

Тобто, з точки зору математики це в вашій уяві вже не є детермінованою функцією?
Прогрес.

А що таке епістемічна стохастичність в курсі?

Ліньки мені вже перетирати це.
Зараз крутити нейронки нема на чому, раніше крутив локально, і повторюваність мав)

Коротко від gemini 3.6 flash reasoning:

"4. Локальні контрольовані середовищаЯкщо завантажити відкриту LLM (наприклад, Llama) на локальний ПК/сервер і дотриматися умов:
Температура T = 0.
Розмір батчу = 1 (без паралельних запитів).Увімкнені прапорці детермінованих алгоритмів (наприклад, torch.use_deterministic_algorithms(True) або фіксований режим у llama.cpp).Виконання на CPU або на GPU з фіксованою кількістю потоків.У цьому випадку модель повертає 100% біт-в-біт однакову відповідь на один і той самий промпт при кожному запуску.
Висновок щодо твердженняТвердження "завантажити в реальну LLM реальний промпт і отримати гарантовано повторювану відповідь неможливо" є хибним як абсолютне правило."

[Scoffer]

Тобто, з точки зору математики це в вашій уяві вже не є детермінованою функцією?

Ймовірно математику ти таки прогулював раз настійливо ігноруєш частину математики про плаваючу кому.

А що таке епістемічна стохастичність в курсі?

В курсі, от тільки умови LLM у нас не невідомі, а цілком собі відомі. А результат все одно різний через те що система має фізичну імплементацію з фізично рандомною складовою. Такою, наприклад, як тактова частота ядра що залежить від температури на сонці в тому числі. Чи ти пропонуєш ще й сонце рахувати епістемічно стохастичною системою? Кількох герц на ітерацію цілком собі достатньо щоб змінився порядок отримуваних даних через мільйони ітерацій. Ніхто ніякі нейронки не серіалізує. Вони і без того тормозні.

Коротко від gemini 3.6 flash reasoning

Зараз оці б нейронку питати, вона ж ніколи не бреше, ага. Спитай як вона ставиться до введення в математику неасоціативної складової в математично асоціативних операціях.

Відправлено через 5 хвилин 9 секунд:
Вся твоя красива математична модель з тріском розбивається об фізичну реальність.
Але так, можна задатись таким питанням і зробити серіалізовану LLM, котра працюватиме одне ядро, один потік, і видаватиме на гора одну і ту саму відповідь. Років через 200 після запиту.

[l-m]

Зараз оці б нейронку питати, вона ж ніколи не бреше, ага. Спитай як вона ставиться до введення в математику неасоціативної складової в математично асоціативних операціях.

Відправлено через 5 хвилин 9 секунд:
Вся твоя красива математична модель з тріском розбивається об фізичну реальність.
Але так, можна задатись таким питанням і зробити серіалізовану LLM, котра працюватиме одне ядро, один потік, і видаватиме на гора одну і ту саму відповідь. Років через 200 після запиту.

Конкретно тут її відповідь вірна, ти просто її неправильно розтлумачив чи невірно прочитав.
У контрольованому середовищі (банально на власному сервері/ПК) без проблем (для більш-менш просунутого користувача) можна налаштувати LLM на детерміновану роботу. Перевірено з Gemma4, Qwen 3.6 та 3.8.
Інша справа що якість відповідей при цьому падає. Але вони однакові, так. На одній конкретній системі. Бо навіть зміна частоти ГПУ (одного й того самого) може призвести (а може й не призвести) до іншої відповіді, бо трохи зміняться мікротаймінги: якісь групи потоків виконаються швидше, а якісь повільніше. Як і купа інших факторів та налаштувань.
Також є моделі які принципі не підтримують регулювання температури, як-от gemini 3.6 flash, відповідь якої вище цитували, відповідно на них і в принципі неможливий навіть такий "локально детермінований" режим роботи.

Відправлено через 5 хвилин 18 секунд:

Обчислення з плаваючою комою

Q8 у llama.cpp це INT8 з акумуляцією в INT32 - проблема вирішена))

[Scoffer]

Q8 у llama.cpp це

Це не ціле число, а число з фіксованою комою, алгоритмічно реалізоване поверх цілого. А значить всі приколи плаваючого в апаратній реалізації просто переходять в програмну. Тільки й того що кількість переглядів порядку (експоненти) може бути не "кожен раз", а раз в NN ітерацій.

[lw_007]

котра працюватиме одне ядро, один потік

batch=1 це не обробка запиту в один потік. Batch це кількість паралельно виконуваних запитів на одній і тій же запущеній моделі
Збільшення batch зменшує простої компонентів GPU.

Відправлено через 3 хвилини 35 секунд:

Чи ти пропонуєш ще й сонце рахувати епістемічно стохастичною системою?

А що, ні? у нас фізика вище квантового рівня недетермінована?

Відправлено через 7 хвилин 50 секунд:

Перевірено з Gemma4, Qwen 3.6 та 3.8.

О , Gemma4, як воно?,
Я, Нажаль, поки не можу покрутити її

Відправлено через 4 хвилини 57 секунд:

Зараз оці б нейронку питати, вона ж ніколи не бреше, ага. Спитай як вона ставиться до введення в математику неасоціативної складової в математично асоціативних операціях.

Нормально ставиться,
Шкода я не настільки люблю фундаментальну математику)

спойлер

Введення неасоціативної складової в математично асоціативні операції — це фундаментальний прийом у сучасній алгебрі, геометрії та математичній фізиці. Такий підхід переводить асоціативні структури у ширший клас деформованих або слабко-асоціативних алгебр.

1. Кількісне вимірювання неасоціативності: Асоціатор

Щоб ввести неасоціативну складову в асоціативну операцію *, операцію розширюють додатковим членом або аналізують через асоціатор:

[a, b, c] = (a * b) * c - a * (b * c)

У класичній асоціативній алгебрі [a, b, c] = 0. Введення неасоціативної складової означає, що тотожність порушується на певну функцію збурення Φ(a, b, c):

(a * b) * c = a * (b * c) + Φ(a, b, c)

2. Основні механізми введення неасоціативності

• Асоціатори Дрінфельда та квантові групи
У теорії квазі-хопфових алгебр сувора асоціативність a(bc) = (ab)c замінюється слабшою категоріальною умовою ізоморфізму:

(a ⊗ b) ⊗ c ≅ Φ · (a ⊗ (b ⊗ c))

Де елемент Φ ∈ A ⊗ A ⊗ A називається асоціатором Дрінфельда. Це дозволяє моделювати нетривіальні топологічні зв'язки у теорії вузлів та конформній теорії поля.

• Алгебраїчна ієрархія Кейлі — Діксона
Під час підключення неасоціативності через розширення розмірності виникає послідовна втрата алгебраїчних властивостей числових систем:

- Дійсні числа (R): комутативні, асоціативні.
- Комплексні числа (C): комутативні, асоціативні.
- Кватерніони (H): некомутативні, асоціативні.
- Октоніони (O): некомутативні, неасоціативні (задовольняють лише слабшу умову альтернативності: (xx)y = x(xy)).

Геометрична модель: Для множення 7 уявних одиниць октоніонів часто використовують Площину Фано. Кожна з 7 ліній формує асоціативну підалгебру (ізоморфну кватерніонам), але комбінування елементів з різних ліній дає ненульовий асоціатор (e_i * e_j) * e_k ≠ e_i * (e_j * e_k).

• Обчислювальна неасоціативність (Арифметика плаваючої крапки)
У прикладній математиці неасоціативна складова виникає природним чином через обмежену розрядність комп'ютерних систем (стандарт IEEE 754). Хоча додавання в R асоціативне, його обчислювальна реалізація втрачає цю властивість:

(a + b) + c ≠ a + (b + c)

Різниця [a, b, c]_FP = ((a + b) + c) - (a + (b + c)) виступає чисельним асоціатором, створюючи похибки редукції при паралельних обчисленнях.

3. Галузі застосування неасоціативних операцій

- Квантова механіка: Оператори координат не асоціюють за наявності магнітного монополя (Алгебри Йордана та Мальцева).
- Теорія струн: Опис фонових полів з R-потоками — негеометричні струни (Неасоціативна геометрія).
- Чисельні методи: Накопичення похибок округлення при підсумовуванні масивів (Арифметика плаваючої крапки IEEE 754).
- Криптографія: Побудова однонапрямних функцій на складних алгебраїчних структурах (Неасоціативні квазігрупи та октоніонні системи).

4. Концептуальні наслідки

У математиці перехід від асоціативності до неасоціативності — це розширення ступенів вільності системи. Головна плата за це — втрата стандартних спрощень: дужки стають обов'язковим елементом запису, класичне матричне представлення операторів втрачає чинність, а лінійні рівняння вимагають урахування порядку виконання дій.

Відправлено через 11 хвилин 36 секунд:

Ймовірно математику ти таки прогулював раз настійливо ігноруєш частину математики про плаваючу кому.

Ну в тебе її певно й не було, якщо ти тягнеш чисельні методи на рівень формальної математики.

[Scoffer]

lw_007
Твоя формальна математика в сферичному вакуумі нікому не цікава окрім особливо упоротих персонажей. Всіх хвилюють реальні імплементації.

[Denvys5]

Локально я фіксую seed і все у мене детерміновано.

Бо там детерміністичний рандом залежний від сіда

О ні.... Це ж був жарт...

[lw_007]

Локально я фіксую seed і все у мене детерміновано.

Бо там детерміністичний рандом залежний від сіда

О ні.... Це ж був жарт...

А я не жартував, seed та семплінг налаштовуются і це вхідні дані)

[Denvys5]

seed та семплінг налаштовуются і це вхідні дані)

І це б'є по якості результатів, про що і писав вище l-m

[lw_007]

lw_007
Твоя формальна математика в сферичному вакуумі нікому не цікава окрім особливо упоротих персонажей. Всіх хвилюють реальні імплементації.

Pytorch
flash_attn_func(q, k, v, deterministic=True)

І накопичення похибки стає детермінваним.

Відправлено через 7 хвилин 18 секунд:

seed та семплінг налаштовуются і це вхідні дані)

І це б'є по якості результатів, про що і писав вище l-m

А я нічого не писав про якість. Я прекрасно розумію і про якість і про квантування і про складність(швидкість) обчислень. І з l-m, ніби, спірних питань не виникало)


Дві сторінки назад мені стверджували що нейронки недетерміновані на рівні математичної моделі.

І коли вичерпуються одні аргументи то починають тицяти другими. Що за софізм? Соромно мало б бути.