Intel розробляє власну технологію нейронного стиснення текстур

[Bukakanga]

Пропоную обговорити Intel розробляє власну технологію нейронного стиснення текстур

у меня возникает естественный вопрос - а какой процент вычислительной мощности видеокарты будет тратиться при каждом разворачивании текстуры из нейроархива? С учетом того, что текстур в сцене десятки и сотни, а кадров надо рендерить хотя бы 40-50 в секунду - не будет ли это разновидностью тришкиного кафтана? Т.е. видеобуфера теперь хватит и четыре гигабайта, но фпс вместо 60 упадет до 15, т.к. просчет каждого кадра теперь будет включать в себя разворачивание текстур

[IronWithin]

Пропоную обговорити Intel розробляє власну технологію нейронного стиснення текстур

у меня возникает естественный вопрос - а какой процент вычислительной мощности видеокарты будет тратиться при каждом разворачивании текстуры из нейроархива? С учетом того, что текстур в сцене десятки и сотни, а кадров надо рендерить хотя бы 40-50 в секунду - не будет ли это разновидностью тришкиного кафтана? Т.е. видеобуфера теперь хватит и четыре гигабайта, но фпс вместо 60 упадет до 15, т.к. просчет каждого кадра теперь будет включать в себя разворачивание текстур

Ось цитата прям "Декомпресію можна здійснювати під час установки, під час завантаження, під час потокової передачі або попіксельно під час виконання. Це залежить від того, яка кінцева мета — економія місця на диску, зниження пропускної здатності або зменшення використання відеопам’яті."

[KimRomik]

Це майже те саме що було з Jpeg в 1990х роках, але в цей раз з текстурами. Історія повторюється. Люди вічно шукають де можна ще зекономити ресурсів заради +5-10% фпс

[zalizo_org]

Пропоную обговорити Intel розробляє власну технологію нейронного стиснення текстур

у меня возникает естественный вопрос - а какой процент вычислительной мощности видеокарты будет тратиться при каждом разворачивании текстуры из нейроархива? С учетом того, что текстур в сцене десятки и сотни, а кадров надо рендерить хотя бы 40-50 в секунду - не будет ли это разновидностью тришкиного кафтана? Т.е. видеобуфера теперь хватит и четыре гигабайта, но фпс вместо 60 упадет до 15, т.к. просчет каждого кадра теперь будет включать в себя разворачивание текстур

Сама нейронка для декомпресії тренується на даних (текстурах) конкретно цієї гри. Вона виходить суперкомпактною через те що містить дуже мало параметрів, власне рівно стільки скільки треба для окремо взятої гри. Це будуть максимум десятки мегабайт, в багатьох випадках можна буде обійтися обʼємом до 10МБ. Декомпресія виконується на тензорних ядрах і це відбувається вкрай ефективно, відбираючи кількість ресурсів на стільки малу, що це буде списуватися просто на похибку замірів

Відправлено через 8 хвилин 30 секунд:

Це майже те саме що було з Jpeg в 1990х роках, але в цей раз з текстурами. Історія повторюється. Люди вічно шукають де можна ще зекономити ресурсів заради +5-10% фпс

Принципова відмінність в ступені компресії і ефективності декомпресії. JPEG- це формат суто математичний і має на меті збереження існуючих пікселів у максимально компактному вигляді. Нейронне стиснення зберігає не пікселі а інформацію про ознаки фінального зображення, по яким нейронка здогадується які пікселі повинні бути відтворенні відповідно до цих ознак. Причому обидва методи передбачають детерміновані підходи, тобто при декомпресії ми отримуємо завжди ті самі зображення, тобто не буде так що один раз нейронка спрацювала так, а в іншій ми отримали спотворене зображення

[vsx]

Разрабатывают и правильно делают. Это будет такая же революция как в случае с апскейлерами.

[Scoffer]

тобто не буде так що один раз нейронка спрацювала так, а в іншій ми отримали спотворене зображення

Звісно що буде. Достатньо мінімально перенавчити нейронку. А її якраз і перенавчатимуть кожну першу ітерацію драйверів. Тобто тепер ще й почнеться срач на тему самого "красивого" драйвера для кожної окремо взятої гри.
Тільки стабільні мат алгоритми можуть гарантувати стабільні результати.

[unique-neon]

Я заплутаувся, то інтел займається графікою надалі чи ні?! MLID каже, що інтегровані Xe3 і її ітерації на довго, дискретки під питанням. Воно на те і схоже, мало хайпу, карт ніби теж не багато, про майбутні дискретки жодних чуток. В сусідній новині інтел дропає Unity, який би той не був. Має намір зробити колаб з нвідія щодо igpu. Але зато пиляє новітні графічні технології та активно апдейтить драйвера.

[VovaII]

Scoffer
Ото буде бондба!

[1234waltz]

Я заплутаувся, то інтел займається графікою надалі чи ні?! MLID каже, що інтегровані Xe3 і її ітерації на довго, дискретки під питанням. Воно на те і схоже, мало хайпу, карт ніби теж не багато, про майбутні дискретки жодних чуток. В сусідній новині інтел дропає Unity, який би той не був. Має намір зробити колаб з нвідія щодо igpu. Але зато пиляє новітні графічні технології та активно апдейтить драйвера.

З цінами на пам'ять та низькою популярністю карток, сенсу у випуску навого гену не дуже багато.
Флагманська інтеграшка на Xe3 затикає за поясь більшість їх карток серії А (окрім флагмана хіба).
B570-580 ще 2-3 роки будуть актуальні бо мають рівень 3060 Ti - 4060. А цього для мідл та лоу-мідл сегменту вистачить. Тож особливого резону випускати щось, з урахуванням цін на пам'ять, маркетингом та підтримкою - дійсно немає. Будуть собі далі випускати B570-580 та їх Про-версії рік-два, а там вже або пам'ять здешевшає й можна випустити умовне Хе4 дискрете або нічого не зміниться і ліпити виключно iGPU жирні для топових рішень.

[Mozdev]

Разрабатывают и правильно делают. Это будет такая же революция как в случае с апскейлерами.

Все нове це добре забуде старе, така технологія вже була і без нейронок, але від неї відмовились з очевидних причин, а зараз це більше схоже на маркетингове шахрайство, тут ніби зекономив, а в іншому сильно втратив, а маркетинг це подає як кіллер фічу, хом'ячки зхавають...

[zalizo_org]

тобто не буде так що один раз нейронка спрацювала так, а в іншій ми отримали спотворене зображення

Звісно що буде. Достатньо мінімально перенавчити нейронку. А її якраз і перенавчатимуть кожну першу ітерацію драйверів. Тобто тепер ще й почнеться срач на тему самого "красивого" драйвера для кожної окремо взятої гри.
Тільки стабільні мат алгоритми можуть гарантувати стабільні результати.

ти трохи переплутав логіку роботи. Нейронка в NTC не є частиною драйвера відеокарти. Ваги нейронки "запікаються " розробниками в дистрибутив самої гри. Це такий самий ігровий асет, як і текстура. драйвер не може перенавчити модель, яка лежить у папці з грою. інференс нейронки це просто набір матричних обчислень. Якщо ваги мережі однакові (а вони запечені в файлах гри), результат декодування завжди буде біт-в-біт ідентичним. Ніякого рандому чи генерацій тут немає за одним єдиним виключенням - коли розробники вирішать застосувати максимальне стиснення (lossy компресію), за якого вплив нейронки таки буде впливати на результат.
Щодо драйвера - він дає лише інструпент доступу до API (Cooperative Vector) для тензорних ядер, щоб вони швидше рахували ті матриці. Оновлення драйвера може дати +2 FPS до швидкості розпакування, але воно фізично не здатне змінити вигляд текстури підлоги чи каменя або якось чи перенавчити гру.
Тому "срачів про найкрасивіші драйвери" не буде, бо візуальні дані контролює розробник гри, а не NVIDIA через драйвер.

[Bukakanga]

Тому "срачів про найкрасивіші драйвери" не буде, бо візуальні дані контролює розробник гри, а не NVIDIA через драйвер.

недавний цирк с анонсом ДЛСС5 и охренением разрабов от фокусов с их играми - показывают обратное

[zalizo_org]

Тому "срачів про найкрасивіші драйвери" не буде, бо візуальні дані контролює розробник гри, а не NVIDIA через драйвер.

недавний цирк с анонсом ДЛСС5 и охренением разрабов от фокусов с их играми - показывают обратное

Мова про зовсім різні технології - DLSS5 це апскейл і генерацію (з втратами) в процесі гри. NTC - це про метод компресії текстур на рівні окремої гри, який може бути в 3 варіантах реалізації - 1. зберігатися в стисненому вигляді і передаватися через РСІе у vram дуже швидко за рахунок компактності, а потім розтискатися вже у vram у класичному форматі 2. передаватися зберігатися у vram у стисненому вигляді за умови якщо відеокарта підтримує Cooperative Vector (це 4000 і 5000 серії nVidia) відеокарта так і працює з текстурами без декомпресії по суті 3. застосування стиснення з втратами (у цьому випадку одна і та ж текстура може і буде відображатися по різному, оскільки міститиме певний відсоток артифактів декомпресії)

[VovaII]

zalizo_org
То чого має бути більше у відясі, щоб розтискання не зменшувало фпс: тензорних ядер? І скільки їх бажано мати?

[zalizo_org]

zalizo_org
То чого має бути більше у відясі, щоб розтискання не зменшувало фпс: тензорних ядер? І скільки їх бажано мати?

саме так, що більше саме тензорних ядер, то ліпше. в ідеалі якщо є підтримка cooperative vector, бо в цьому разі відеочіп отримує прямий доступ до окремих частин стисненої текстури прямо у vram. це дозволяє шейдерам юзати потужність тензорних ядер для обробки дрібних даних (конкретних пікселів) на льоту, поки сама текстура (стиснена методом NTC) лежить в пам'яті.
щодо того на скільки це впливає на fps - вплив буде мізерний, бо такий підхід юзає лише малесеньку частку ресурсу тензорних ядер. це буквально лічені відсотки, які на практиці фіг зафіксуєш.

(далі - мої теоретичні роздуми)
в теорії може скластися так, що фпс у підсумку навіть зросте. оскільки суттєво зросте ефективність роботи vram - їй потрібно буде ганяти через шину значно менші об'єми інфи (бо текстури в 10 разів легші), а тому всі операції будуть виконуватися швидше. GPU не буде чекати поки важка текстура протиснеться черезх вузьку шину, а отримуватиме її миттєво. ясна річ, це не стосується випадків коли розробники гри вирішать тупо бахнути всюди 8k текстури просто бо можуть.

[dfcz]

тепер ще й почнеться срач на тему самого "красивого" драйвера для кожної окремо взятої гри

Вспомнились бухтения из начала 2000х, у кого анизотропка честнее и субпиксельная решётка сглаживания удачнее повёрнута.

[7mindfields]

З підтримкою на рівні xess

[kabostebeztak]

Арки ще не мертві!

[Scoffer]

Ваги нейронки "запікаються " розробниками в дистрибутив самої гри.

Так, глянув доки, дійсно передаються ваги разом з "текстурою". Тоді з'являються нові але:
- Ваги не скормити простими методами іншій нейронці, так що сумісність між вендорами і навіть поколіннями під великим питанням;
- Це нічим не краще (не швидше, не енергоефективніше) за генерацію текстури за заданим алгоритмом на льоту. З таким же, а то і більшим успіхом можна передавати текстуру з редактора зображень не в вигляді, власне, картинки, а в вигляді сорців для її генерації. Щось накшталт SVG тільки в растрі. А може і прямо просто якийсь бінарний векторний формат, що дозволить скейлитись по роздільній здатності в будь-яку сторону;
- Це протирічить призначенню нейронок. Вони нафіг не потрібні там, де результат зарані побітово і попіксельно відомий.
Хуанг вже не знає куди ті нейронки ще присунути і починає їхати кукухою. Всьому своє місце.

[vmsolver]

Ваги не скормити простими методами іншій нейронці, так що сумісність між вендорами і навіть поколіннями під великим питанням

Веса это и есть нейронка, заголовок со структурой слоёв добавить и будет универсал. Но я думаю там структура зафиксирована, а разрабы просто тюнят веса готовой сетки под свои текстуры или материалы, если эта сеть большая или тренируют с нуля если маленькая (вроде была публикация ещё от НВ, где были подробности о размерах сети, и она не большая).

Нейронка тут это просто более эффективный сжимальщик графических данных, который всегда делает одно и тоже с одними и теми же данными, поэтому результат всегда одинаков. Так сжимают не только текстуры, но и материалы, которые по сути представлены как текстуры.