Цікава технологія, збільшення кількості кадрів для відео

Разговоры обо всем
Відповісти
Автор
Повідомлення
Kib
Member
Звідки: Житомир

Повідомлення

Текст новини з dailytechinfo.org.
спойлер
Исследователи компании NVidia, занимающиеся искусственным интеллектом, продемонстрировали новую систему на базе нейронной сети, которая может превратить любое видео в сверхвысококачественную замедленную съемку путем глубокой перестройки его кадровой структуры. Отметим, что на свете уже существуют подобные системы, вставляющие между кадрами оригинального видео дополнительные искусственно синтезированные кадры, но такие системы обеспечивают более-менее приемлемое качество лишь при не очень большом "замедлении" видео, к примеру с 30 до 60 кадров в секунду.

Однако, когда требуется преобразовать видео с 30 кадрами в секунду в видео с 240 кадрами в секунду, между оригинальными кадрами необходимо вставить семь промежуточных кадров, и традиционные методы начинают "буксовать", что приводит к резкому увеличению времени обработки и снижению качества работы.

Для решения этой проблемы специалисты компании NVidia создали специализированную нейронную сеть и обучили ее при помощи 11 тысяч видеороликов, снятых со скоростью 240 кадров в секунду. После такого обучения нейронная сеть смогла самостоятельно анализировать произвольный входной видеопоток, рассчитывать и вставлять в него необходимее количество дополнительных кадров.

"Наш метод позволяет вставить в видео многократные промежуточные кадры, которые соблюдают пространственную и временную последовательность оригинального видео" - пишут исследователи, - "Такой подход существенно выигрывает по скорости и качеству и традиционных методов, которые способны вставить только один дополнительный кадр за один проход".

На приведенном ниже видеоролике продемонстрированы результаты работы новой системы, на вход которой подавались видеоролики, снятые со скоростью от 30 до 60 кадров в секунду, а на выходе появлялся видеопоток со скоростью 480 кадров в секунду. Более того, если на вход системы подается уже замедленное видео, снятое, к примеру, высокоскоростной видеокамерой, то система позволит замедлить его еще в несколько раз практически без потери исходного качества.

"Сейчас уже появились мобильные телефоны, способные снимать короткие видео со скоростью 240 кадров в секунду" - пишут представители компании NVidia, - "Такой подход еще нельзя назвать практичным, ведь он требует больших объемов памяти и вычислительных ресурсов при съемке и воспроизведении. Наша же система позволит получить превосходный по качеству результат при гораздо меньших затратах ресурсов и дефицитной энергии, черпаемой из аккумуляторных батарей, загрузив снятое видео и обработав его при помощи специализированного облачного сервиса".

Відео демонстрації.
Цікаво тему обговорити. Виходить якщо в певні моменти реакція людина підвищуються, різницю між наприклад 120 і 240 кадрами можна помітити. Чи не так? Що ви думаєте?
Scoffer
Member
Аватар користувача

Повідомлення

Головне щоб не вийшло як з розумними копірувальними апаратами, котрі "поліпшують" зображення, замінюючи не чіткі цифри і літери, на підходящі, за їхньою думкою чіткі. Але не завжди вгадують :laugh: замінюють 4 на 9 або 3 і т.п.
Andrey2005
Member
Аватар користувача
Звідки: UA

Повідомлення

1. Навіть по приведеним прикладам видно що оригінал більш чіткий.
2. Софт для обробки відео вже багато років так вміє, і наприклад цей ролік 2011 року мене вражає більше
3. Для ігоря це не підходить, бо якщо ваша система може в реальному часі перекодувати з 30 до 240фпс, то вона і без цієї технології виведе 240фпс.
Kib
Member
Звідки: Житомир

Повідомлення

Andrey2005:3. Для ігоря це не підходить, бо якщо ваша система може в реальному часі перекодувати з 30 до 240фпс, то вона і без цієї технології виведе 240фпс.
На даному форумі частіше постає питання, чи взагалі потрібно для ігор 120 фпс, не говорячи про 240. І наче різниці нема, і нема за що платити.
Panasi
Member
Аватар користувача
Звідки: Киев

Повідомлення

Выскажусь немного не в тему. У меня на телеке есть уплавнялка, которая из фильма 24 кадра в секунду делает все 60 и выглядит это очень натурально, хотя изредка проскакивают артефакты, если сцена очень однотонная. Каково же было мое удивление, когда я включил ее во время игры на консоли пс3 и 30 фпс с просадками до 20 превратились в стабильные 60. Визуально разница просто сумашедшая, все становится четко и плавно, как на пк. Но есть один нюанс. Возникает инпут лаг в полсекунды на обработку изображения, что не дает нормально играть. Если в будущем удастся оптимизировать эту технологию и уменьшить задержку вывода изображения, то будет возможность искуственно повышать/выравнивать фпс с помощью таких технологий. Вопрос. Почему об этом не нигде не говорят и ничего не делают?
Scoffer
Member
Аватар користувача

Повідомлення

Panasi
Тому, що перечитай що написав Andrey2005
Panasi
Member
Аватар користувача
Звідки: Киев

Повідомлення

Scoffer:Panasi
Тому, що перечитай що написав Andrey2005
Бюджетный телевизор делает из 30 кадров на консоли ровные и четкие искуственные 60, правда с небольшими артефактами. Уверен, что можности для этого требуется в разы меньше, чем для достижения реальных 60 фпс консолью. Задача состоит в том, чтоб уменьшить задержку, которая, кстати говоря, не такая уж большая.
fastneed
Member
Аватар користувача
Звідки: UA

Повідомлення

главное не путать частоту "пикселя" и частоту "смены кадров", а то маркетинг суров для не опытных.

Kib:
Andrey2005:3. Для ігоря це не підходить, бо якщо ваша система може в реальному часі перекодувати з 30 до 240фпс, то вона і без цієї технології виведе 240фпс.
На даному форумі частіше постає питання, чи взагалі потрібно для ігор 120 фпс, не говорячи про 240. І наче різниці нема, і нема за що платити.
как бы да, наверное последнее коммюнити на этой планете которое не видит больше 24 кадров и не чувствует выше 60 герц, и для них применима моя любимая цитата, хоть немного и переработана под стать:
Костыль:Людям ограниченным в Гц - эта технология противопоказана (с) Источник :laugh:
:lol:
Jaraxxus
Member

Повідомлення

fastneed:главное не путать частоту "пикселя" и частоту "смены кадров", а то маркетинг суров для не опытных.

Kib: На даному форумі частіше постає питання, чи взагалі потрібно для ігор 120 фпс, не говорячи про 240. І наче різниці нема, і нема за що платити.
как бы да, наверное последнее коммюнити на этой планете которое не видит больше 24 кадров и не чувствует выше 60 герц, и для них применима моя любимая цитата, хоть немного и переработана под стать:
Костыль:Людям ограниченным в Гц - эта технология противопоказана (с) Источник :laugh:
:lol:
как по мне лучше мыльный пиксель и высокая частота.
выше правильно было сказано - выдать 120-240 фпс не каждое железо сможет, а если у тебя есть такое железо, то и ограничений ты не почувствуешь. попытка порадовать бомжей, но бесплатный сыр бывает только в мышеловке.

да, игра на консоли не так приятна как на пк, но учитывая то, что я играю на 65 дюймах, а не на 23, с железом равносильным говну мамонта - это вызывает просто восторг, инпут лаг проблема для всяких кс шликеров мб, играя в проходилочки- эксклюзивы ты этого не замечаешь особо и принимаешь как должное, как сосольное кинцо. Поэтому эту технологию нужно развивать в первую очередь для малобюджетных, чтоб люди играющие на телике могли наслаждаться игрой, т.к. тот же телевизор выдает совсем не то, что может моник аналогичного ценового диапазона.

когда-то консоль была признаком "боярства" и роскоши, сеичас же сосоли очень отстают от пк, прошло время 3 плойки с играми типа бог войны 3, которые заставляли в свое время стоят пк бояр раком
Відповісти