NVIDIA показала революційну технологію NVIDIA DLSS 5 — нейронний рендеринг для кінематографічної графіки

[D_ad]

Всі хто пише, що розробники не будуть цим взловживати і не використовувати для типової фотореалистичної картинки з присмаком аі трешгенерації людей.
Згадуємо як dlss і FG стали типовим інструментом оптимізації, замість оптимізації.

Максимально *** коментар. Бо DLSS - це таки і є інструмент оптимізації.

Натренувати нейронку аналізувати паттерни за векторами руху і апскейлити картинку реально простіше вигідніше, ніж молотити у 4-8 разів більше пікселів з 4х...8х MSAA/MLAA та іншими алгоритмами, КОЖЕН із яких має свої недоліки та насипає проблем зверху.

Доводжу, чому твій коментар максимально *** : бо у NV є конкрурент - AMD, які замість того, щоб піти по шляху тупо нарощування апаратних блоків (воно ж б мало спрацювати, судячи по твоєму коментарю?) загадкової "оптимізації", так само обрали нейронку (апскейл).

От тупі, скажи?

[Plush_Dragon]

ну давай пройдемся по освещению. Откуда в кадре из Резидента взялась подсветка лица, дающая такие блики? Куда делся туман на заднем плане?

Освітлення робить рушій гри UE5 , плюс розробники руками розставляють де треба.
Звідки в конкретному випадку нам невідомо. Та й по скрінам судити це як по кавовій гущі. Вийде в світ технологія і тоді побачимо.
А поки що кудахкання такі самі як при першому виході ДЛСС. Не знаєш де ті півні зараз? Хоча навіть тут можна по ніках порахувати частину, сидять і моляться щоб карга Ліза не кинула з 90хх поколінням як вона це вже зробила з картами 60хх та 70хх. А вона кине придурків, можете зараз скринити це передбачення.

[denizen]

А чого ви раптом вирішили, що без цієї нової технології, хтось буде щось більше оптимізувати?

[МОНАХ]

Цікаво цікаво, а що ви збираєтесь малювати? На листочку А4 чи що? Моделі не "малюють" що це цирк, буквально із полігонів ліплять і роблять форми в умовному блендер чи іще чомусь

► Ну, чому ж на листочку? В цифровому форматі - цифровий портрет, наприклад, який малюється з нуля... Можна загнати фото людини в ШІ і обробити в потрібному стилі, але в 90% ШІ ТАК обробить, що потім людина себе впізнати не може .
► Це я до того, що як ілюстратор, який промальовує портрет з того самого "нуля" РУКАМИ, розказую з практики ЯК поетапно можна спотворити людину. І якщо живий художник розуміє, що і як йому потрібно зробити, щоб людина була схожа на реал-"прототип", стилізуючи свою роботу в потрібному напрямку, то ШІ буде ліпити... ну, як приклад, що тут вже не раз згадувався в обговоренні - якийсь найбільш "вдалий" "інстаграмний фільтр".
► Напишу ще простіше: мені, хто займається малюванням портретів - оцей потенційний дурдом показується набагато більш деталізованим, ніж тим, хто не займався мальовкою і технічно не розуміє, наскільки автоматична ШІ-обробка може спотворити те саме обличчя (хоча як кінцевий результат - це очевидно і всі його бачать). Якщо дану "фішку" можна буде в майбутньому "фіксити" на одного разу встановленому варіанті, то це ще - ОК, художник "намалював" (добре - зліпив з полігонів) персонажа і задав жорстко, ЯК ШІ має його "прикрасити"/"деталізувати". В такому варіанті покращення від ШІ можна буде натягнуто вважати продовженням роботи дизайнера.
► А в будь-якому іншому варіанті це буде С...КА, якщо ШІ буде дотримуватись власних, закладених, загальних "пресетів".

[Bukakanga]

ну давай пройдемся по освещению. Откуда в кадре из Резидента взялась подсветка лица, дающая такие блики? Куда делся туман на заднем плане?

Освітлення робить рушій гри UE5 , плюс розробники руками розставляють де треба.
Звідки в конкретному випадку нам невідомо. Та й по скрінам судити це як по кавовій гущі. Вийде в світ технологія і тоді побачимо.
А поки що кудахкання такі самі як при першому виході ДЛСС. Не знаєш де ті півні зараз? Хоча навіть тут можна по ніках порахувати частину, сидять і моляться щоб карга Ліза не кинула з 90хх поколінням як вона це вже зробила з картами 60хх та 70хх. А вона кине придурків, можете зараз скринити це передбачення.

вы так уверенно говорите, будто замужем за Лизой Су и знаете все ее коварные планы на десять лет вперед

[Plush_Dragon]

вы так уверенно говорите, будто замужем за Лизой Су и знаете все ее коварные планы на десять лет вперед

Достатньо подивитися як вона плюнула, та що там плюнула, просто смачно харканула на всіх власників 6 та 7 серій. Достатньо подивитись як вона дере 7 шкур за костильні процесори, а той кеш реально костиль на дуже поганній технології. Інтел можна ругати мільйон разів, але їхня чіплетна архітектура на порядок краща. І 99% даю що вона так само смачно обісцить власників 9 серії відеокарт. Ця бабка звикла срати на своїх фанатиків.

[Bukakanga]

вы так уверенно говорите, будто замужем за Лизой Су и знаете все ее коварные планы на десять лет вперед

Достатньо подивитися як вона плюнула, та що там плюнула, просто смачно харканула на всіх власників 6 та 7 серій. Достатньо подивитись як вона дере 7 шкур за костильні процесори, а той кеш реально костиль на дуже поганній технології. Інтел можна ругати мільйон разів, але їхня чіплетна архітектура на порядок краща. І 99% даю що вона так само смачно обісцить власників 9 серії відеокарт. Ця бабка звикла срати на своїх фанатиків.

а если вдруг АМД выкатят обновление с поддержкой фср4 на 6000-7000 - вы обещаете съесть свою видяху?

[Alexsandr]

До RTX тени были сами по себе или набором узкозаточеных костылей, трассировка позволяет связать освещение с геометрией и материалами. Никакая нейройнка это не сделает, по причине того, что у неё нет этой информации. Вот если показать какое там освещение есть в прореженном варианте, то она может восстановить там пропущенное, но выдумать - во первых это не контроллируемо, а если контроллировать это означает давать информацию для решения, а это и есть контекст, то есть картинка уменьшенного разрешения со всеми нужными атрибутами.

Как бы, графика на треугольниках сама по себе узко заточенный костыль, но что есть. задайте цель нейронке нарисовать и укажите источник света если дадите точки опоры, будет только лучше. но можно обойтись по идее и запеканием света. Как я писал, все все будет зависеть от того, как будут делать инструкции к ИИ.

Как думаете сколько информации нейронке было про 3Д?

спойлер

Какие-нибудь тени это не тени которые должны быть при данной геометрии, материалах и освещении. Вы пропускаете много информации, зачем я её пишу? Чтобы вы просто повторили неправильный ответ?

Как бы далеко не полностью и неправильно дается сейчас информация про материалы. Бетон начинает светиться как покрытый льдом и не только. Не, такая информация не особо дается сейчас. для ИИ рендера похоже вообще надо много чего переделывать.

Не верно, вопрос в качестве контекста.

нет смысла сильно в качество уходить если нейронки будут рисовать, особенно если для них будут свои и инструкции типа как для музыки midi.

Например?

Посмотрите ящик справа вверху с металлической крышкой и бетон. 5-я версия нарисовала лишне полосы и забыла про пятна на бетоне. Мелирование волос, детали которых не было изначально типа ямки на щеках, текстура на губах/пальцах... прическа похожа, но только похожа, в некоторых местах отличаются целые "секции" просто основной фон похож. глаза с разным разрезом и волосы проходят на разном расстоянии. оригинал - зрачок частично закрыт веком, улучшения - зрачок полностью видно, брови другие... В общем это типичная перерисовка по мотивам, нейросетки так умеют. Это не просто улучшение света и тени.

под спойлером улучшение света и тени, включая оригинал но это нарисовано по мотивам, а не рендер полноценный с улучшением теней.

спойлер

[dead_rat]

Оригінал

спойлер

Безкоштовний Gemini явно переплюнув dlss5
Принизив прямо

спойлер

[vmsolver]

Как бы, графика на треугольниках сама по себе узко заточенный костыль, но что есть. задайте цель нейронке нарисовать и укажите источник света если дадите точки опоры, будет только лучше. но можно обойтись по идее и запеканием света. Как я писал, все все будет зависеть от того, как будут делать инструкции к ИИ.

О у нас тут верующие в магию нейронок завелись
Вы пропустили то что я выше писал, что кроме нарисовать или улучшить надо это делать одинаково от кадра к кадру, "просто укажите источник света" будет работать только в чатике, а не в играх.
И чем треугольники не угодили? Это просто самый дешевый способ, погуглите какой имела вид техника и мощности того времени, когда треугольники заложили в основу. Хуанг, кстати, изначально заложил четырехугольники и чуть не прогорел на этом.

Как бы далеко не полностью и неправильно дается сейчас информация про материалы. Бетон начинает светиться как покрытый льдом и не только. Не, такая информация не особо дается сейчас. для ИИ рендера похоже вообще надо много чего переделывать.

Передаётся именно то что захотели или надо передавать. Случайностей нет. Вы далее первых деревьев в лес не заходите, поэтому у вас всё не правильно, как у того таксиста.

нет смысла сильно в качество уходить если нейронки будут рисовать, особенно если для них будут свои и инструкции типа как для музыки midi.

Я прямо максимально уверен, что вы или не понимаете или прикидывайтесь. Говорим за фотореализм нового уровня, а он что не смысла сильно уходить в качество. Да последние 8 лет появилась куча технологий которые именно про качество (трассировка) или про количество (геометрия, материалы), которое на масштабе переходит тоже в качество.

под спойлером улучшение света и тени, включая оригинал но это нарисовано по мотивам, а не рендер полноценный с улучшением теней.

А что такое по мотивам и улучшение, где четкая разница? Или специально мысль размываете, что вильнуть в сторону?
Нейронка определила патерн и заменила его тем который указали в настройках, это то что нейронки хорошо умеют и это используется. Глаза такие же, просто взгляд чуть вверх, брови такие же. У вас там выдумка на выдумке.

[Bukakanga]

dead_rat
причем, цвет волос сохранен, черты лица сохранены, здоровый цвет лица и общая стилистика картинка сохранена. Освещение, правда, снова фронтальное, вместо контрового рассеянного

[Filabatya]

dead_rat
ця без макіяжу, або з вітрянкою

[vsx]

Безкоштовний Gemini явно переплюнув dlss5
Принизив прямо

тут у нее хотя бы губы не надутые

[Alexsandr]

Вы пропустили то что я выше писал, что кроме нарисовать или улучшить надо это делать одинаково от кадра к кадру, "просто укажите источник света" будет работать только в чатике, а не в играх.
И чем треугольники не угодили? Это просто самый дешевый способ, погуглите какой имела вид техника и мощности того времени, когда треугольники заложили в основу. Хуанг, кстати, изначально заложил четырехугольники и чуть не прогорел на этом.

Вы пропустили, что ИИ сейчас рисует фильмы, а в каждой секунде около 30к/с, секунды складываются в минуты и все одинаковое рисуется. Т.е. имея базовую модель ИИ не будет её постоянно менять. Как вариант, большие модели могут вполне себе сожрать просто нарисованную базовую модель.

Передаётся именно то что захотели или надо передавать. Случайностей нет. Вы далее первых деревьев в лес не заходите, поэтому у вас всё не правильно, как у того таксиста.

Это у вас идет недооценка возможностей ИИ. Мы не в курсе что и как будет реализовано в том что предлагают, но что курс взят к ИИ рендеру вместо классики очень похоже. А ИИ не нужна большая детализация если дать задание не восстанавливать картинку, а нарисовать наново. Что новая версия от хуана и делает.

Я прямо максимально уверен, что вы или не понимаете или прикидывайтесь. Говорим за фотореализм нового уровня, а он что не смысла сильно уходить в качество. Да последние 8 лет появилась куча технологий которые именно про качество (трассировка) или про количество (геометрия, материалы), которое на масштабе переходит тоже в качество.

Вы не поняли, качество материала для ИИ, уже сам ИИ будет рисовать, именно рисовать, а не следовать треугольникам классическим с рендером. И нарисовать ИИ может куда лучше чем тот материал, что ему дают.

А что такое по мотивам и улучшение, где четкая разница? Или специально мысль размываете, что вильнуть в сторону?

По мотивам, это то, что делает хуанг в 5-й версии. Рисунок на основе базовой модели низкого качества. А улучшение это то, что вы писали - четкая геометрия, увеличение треугольников, просчет реальный света и т.п.

Нейронка определила патерн и заменила его тем который указали в настройках, это то что нейронки хорошо умеют и это используется. Глаза такие же, просто взгляд чуть вверх, брови такие же. У вас там выдумка на выдумке.

Да ну? я даже размер в пикселях замерял, глазам типа не веря своим, там полностью новые глаза, там местами другая прическа, там появилось мелирование...

спойлер

Отправлено спустя 1 минуту 24 секунды:

Безкоштовний Gemini явно переплюнув dlss5
Принизив прямо

Просто большая языковая модель вместо локальной малой + лимит времени на генерацию.

[Plush_Dragon]

а если вдруг АМД выкатят обновление с поддержкой фср4 на 6000-7000 - вы обещаете съесть свою видяху?

Вже скільки часу в старої карги на це було? Але ж ти чомусь не з'їв свою шляпу, а натомість продовжуєш цілувати в сраку свою стару бахіню. Ви заслужили таке відношення до себе.

[dead_rat]

Просто большая языковая модель вместо локальной малой + лимит времени на генерацию.

В цьому всі експерти АІ, не знають навіть, що ЛЛМ не малюють зображення. Але втрирають дуже впевнено.

[Alexsandr]

В цьому всі експерти АІ, не знають навіть, що ЛЛМ не малюють зображення. Але втрирають дуже впевнено.

Ага никто не знает, но рисунки на выходе получают все. есть рисунок, значит рисует. кому и что там передается, это уже не интересно. для пользователя это черный ящик. Запрос - ответ. может еще начнем разбирать как модель считает и выясним,что не так как мы привыкли? Только смысл для пользователя?

[Firebrand]

[dead_rat]

В цьому всі експерти АІ, не знають навіть, що ЛЛМ не малюють зображення. Але втрирають дуже впевнено.

Ага никто не знает, но рисунки на выходе получают все. есть рисунок, значит рисует. кому и что там передается, это уже не интересно. для пользователя это черный ящик. Запрос - ответ. может еще начнем разбирать как модель считает и выясним,что не так как мы привыкли? Только смысл для пользователя?

Я ж кажу, ви дупля не відбиваєте як воно працює і вигадуєте казки. В цьому вся експертність.

[fantomrulezz]

Безкоштовний Gemini явно переплюнув dlss5
Принизив прямо

"Безкоштовний" Про трильйон капексів правда, промовчимо

Величезна нейромережа в онлайн-режимі, що обчислюється на датацентрах за сотні мільярдів на одному статичному зображенні змогла показати краще результат ніж маленька нейромережа, що обчислюється на локальному компі в реалтаймі на динамічному інтерактивному потоці.

Дійсно, величезне досягнення, DLSS5 нінужон, нефоннати будуть грати в один статичний кадр через джеміні.