Йому не треба вичитувати всі 16 гіг з рами в кеш процесора, бо це дерево, швидкість його проходження пропорційна логарифму від розміру.ronemun: ↑ 31.10.2025 22:47як це можливо за 1 мс, якщо тільки кеш L2 в AMD Zen5 має 320 ГБ/с на ядро, тобто на читання 8-16 ГБ піде 25-50 мс, + обмеження швидкість шини IF 96 ГБ/с на 1 чіплет. І це якщо в зажатому форматі, а ще тре розпакувати в ядрі, перенести в L2/L3, і зчитати назад для обробкиdead_rat: ↑ 31.10.2025 13:17 Давайте я наведу приклад.
Machine learning основана на random forest - умовно дерева if.
Дуже велика, має базу всіх авто проданих в німеччині за останні роки, в зажатому форматі модель десь 8-16 гб в памʼяті.
І при цьому обчислення пролітають все дерево за ~1 мс в один потік на цпу ноута. Може й швидше.
Скільки б така логіка оберталася з ЛЛМ і з яким результатом?![]()
Тому воно і працює швидко.