Нейросети в кино

[FreeLSD]

Во время представления семейной комедии МАНЮНЯ: ПРИКЛЮЧЕНИЯ В МОСКВЕ на презентации «НМГ Кинопрокат» продюсер Гевонд Андреасян рассказал о том, что одним из героев ленты станет Юрий Никулин.

Это первый в России успешный опыт воссоздания внешности и голоса покойного актера при помощи искусственного интеллекта. Создатели ленты получили разрешение от семьи на использование образа Никулина. Работа заняла около 8 месяцев, и, судя по трем продемонстрированным сценам, результат действительно впечатляет.

Действие картины разворачивается в начале 80-х годов, и Никулин станет одним из ключевых персонажей в истории о приключениях Манюни и ее друзей. Андреасян также отметил, что образ звезды нельзя использовать в промо-кампании, включая трейлеры.

 

МАНЮНЯ: ПРИКЛЮЧЕНИЯ В МОСКВЕ в кино с 30 мая.

 

https://t.me/kinometro/26290

[Neinsager]

Если память не изменяет — в далёком 2004 году в фильме «Небесный капитан и мир будущего» в одной из ролей «снялся» Лоуренс Оливье, к моменту съёмок давно уже умерший. Лицо было воссозданно по его старым фотографиям.

Сейчас, конечно, принципиально иной уровень воссоздания.

[FreeLSD]

Ну речь как раз о том, что то, что раньше было штучным, может стать массовым.

[Neinsager]

FreeLSD

Я думаю, что это может обернуться эксплуатацией образов знаменитостей, востребованность актёров-людей снизится... и по итогу выручка от кино просядет.

[Rumlin]

В 2000х в Голливуде профсоюз актеров бастовал по поводу 3D копий актеров. Каких-то ограничений добились.

[trespa]

Если память не изменяет — в далёком 2004 году в фильме «Небесный капитан и мир будущего» в одной из ролей «снялся» Лоуренс Оливье, к моменту съёмок давно уже умерший. Лицо было воссозданно по его старым фотографиям.

Сейчас, конечно, принципиально иной уровень воссоздания.

ну там то был грим а тут речь о немного другой технологии

[trespa]

В 2000х в Голливуде профсоюз актеров бастовал по поводу 3D копий актеров. Каких-то ограничений добились.

https://habr.com/ru/news/690842

Это законно?

[Таракан]

... образ звезды нельзя использовать в промо-кампании, включая трейлеры....

То есть, лошары анапские должны купить билет, зайти в кинотеатр, начать смотреть действо, а там может быть Никулина секунд тридцать покажут, а может десять, может он будет нарисован и вообще не похож.

Так это надо понимать?

[Rumlin]

Фото со со съемочной площадки по ссылке на статью "Нейросети в кино – кто кого?" https://ipaat.livejournal.com/386138.html

 

 

 

Итак, в прошлый раз я остановился на том, что за пару дней до съемок «хозяйка нейросети», для которой мы в общем-то все эти съемки и затеяли, попросила их… отменить. Точнее перенести хотя бы на пару недель – ей надо провести еще какие-то тесты.

В теории я конечно смог бы всё отменить и перенести. Но это опять верстать график студии с графиком актеров и режиссера, к тому же у нас на следующий день после съемок должен был начаться уже полноценный актерский кастинг, а потом – выбор натуры. В общем всё было плотно. А главное – категорически не хотелось оттягивать саму работу с нейросетью. Поэтому я сказал «Нет» и предложил простой выход – если нейросеть что-то не «скушает» из отснятого, то потом мы просто уже это что-то конкретное переснимем. «Хозяйка нейросети» согласилась. Вроде уже ничего не мешало предстоящим съемкам…

 

 

- Толя, привет! – это был вечерний звонок от оператора за два дня до съемок.

- Привет! – бодро ответил я, полагая, что речь пойдет о нюансах съемок, оборудования и его транспортировки.

- Знаешь, я не смогу в понедельник… Я упал в начале недели с трехметровой лестницы, сотрясение, только вчера из больницы выписали, сказали 10 дней лежать. Думал к понедельнику оклемаюсь, но куда там – встать еле могу, шатает, голова кружится и бинты еще не сняли – кость одна треснула. Так что извини, без меня. Камеру могу дать, если за ней кто-то приедет.

- Ну, ничего, - бодро ответил я, по ходу дела уже найдя выход из ситуации. – Камера тогда не нужна, мне за ней в Балашиху уже некогда тащиться, справимся своими силами. Выздоравливай пока, не буду тебя больше отвлекать…

- Да, спасибо. Извини еще раз, что подвел. Надо было заранее сказать, но действительно думал, что смогу…

- Да ладно, всякое бывает. Главное что ничего особо серьезного – заживет.

- Ага, спасибо, - и оператор положил трубку.

Час от часу не легче, да? И это еще всего один съемочный день… Ладно, где наша не пропадала. Сниму сам. На свою камеру. Чего уж…

 

И вот настал день съемок. Взвалив на себя, точнее – в такси, всё съемочное оборудование, я минут за 20 до начала прибыл на площадку, где меня уже ждал режиссер. В белых носках. Это так положено: или в тапочках (что предпочел я), или в белых носках - чтобы не поцарапать белый фон на полу. Ибо его покраска, точнее – колеровка, стоит как правило очень дорого. Это еще один скрытый прием наживания студий на клиентах. На неопытных. Но мы опытные – мы все в белых тапочках. Ну, носках. Впрочем – не все. Актерам-то я купил черные чешки. И вот, выйдя на белый фон и проведя на нем всего минуту, они превратили пол… в черный – оказывается чешки страшно красились. Пол, к счастью, удалось отмыть, а вот подошву чешек пришлось заклеивать малярным скотчем.

После того, как все технические проблемы были решены, камера и мониторы подключены, актеры одеты, настала пора снимать…

 

А что, собственно, снимать? Если вы помните, то режиссер отказался заранее планировать съемочный день. И тут началась суматоха. Во-первых выяснилось, что нумерация кадров в раскадровке не совпадает с нумерацией кадров в режиссерском сценарии. А нумерация сцен в режиссерском сценарии не совпадает с нумерацией сцен в литературном. В общем чтобы разобраться и решить, что всё-таки писать на хлопушке, ушло минут 15.

 

А, учитывая, что никто не знал, сколько минут нам надо снять всего за день и что вообще надо снять, а что нейросеть и без нас сделает, хаос только усиливался. Забегая вперед скажу, что первую, самую короткую, из четырех запланированных сцен мы снимали три с половиной часа, а последнюю, чтобы хоть что-то успеть, пока нас не выгнали, - за 10 минут. Это к вопросу о том, что способ работы, когда режиссеру говорят, что лучше всё спланировать заранее, а он говорит, что сделает это на площадке, не канает даже в таких миниатюрных и простых съемках.

 

Следующая заминка возникла из-за предметов. Режиссер вместо положенной трости принес зонт, да еще с болтающимися лямками. Конечно, я это забраковал, представляя, что об этом «подумает» нейросеть. Поэтому от предметов решили отказаться. Точнее на всякий случай снимать два варианта – с ними и без.

 

Обратите внимание на руки актера на предыдущем фото – видите, они в черных перчатках? Т.е. как и планировали. Всё шло хорошо, пока в кадре не понадобилось этими руками шевелить. И тут я заметил, что черные руки, попадая при движении на черный фон туловища, напрочь пропадают. Т.е. нейросеть в этот момент их точно потеряет. И что она нарисует вместо них, никому не ясно. К счастью, тут (спустя два часа после начала работы) появилась «хозяйка нейросети» и в ответ на мой вопрос, что делать с руками, твердо ответила – перчатки снимать! Так что на ветер пришлось выбросить несколько сотен рублей. Недотумкали…

 

Кстати интересно, что «хозяйка нейросети», увидев какая утомительная рутинная работа у нас идет (для нее же!!!), быстро откланялась, сославшись на недосуг. На прощанье сказав, «ну, Анатолий и так уже не хуже меня во всех нюансах разбирается». Ага. Комплимент, конечно, но пришлось ответить «только в отличие от вас потом с нейросетью не Анатолию работать и все косяки съемки исправлять». Впрочем, намек не возымел успеха и мы опять остались вчетвером.

 

А это на самом деле пролетка, в которую забрался герой, и скачет по булыжной мостовой. Причем «скакал» он корпусом весьма натурально. Посмотрим, как это выйдет в анимационном варианте.

 

Ах да, вот еще какой нюанс. Касается не только анимации нейросетью, но и вообще всей анимации с захватом движения. Накануне съемок я посмотрел «Аватар-2». В т.ч. и для того, чтобы выявить наиболее эффектные приемы оживления персонажей. Впрочем, всё оказалось предсказуемо – интереснее всего в кадре смотрятся широкие движения героев. Если с настоящими талантливыми актерами в кадре, которые могут играть уголками губ или только глазами, скромные сдержанные движения, передающие нужные эмоции, не только допустимы, но и считаются «высшим пилотажем», то в случае с анимированными героями они должны всегда «плюсовать» - делать движения нарочитыми, заметными зрителю.

 

Приведу такой пример из наших съемок. У нас есть сцена с арбалетом. Герою сверху он падает в руки, тот его заряжает и стреляет в мишень. Обсуждая сцену еще задолго до съемок, я сказал режиссеру, что арбалет – это провал. Это будет неярко. Движения по его заряжанию будут непонятны зрителю, к тому же они довольно просты. Что лучше заменить стрельбу из арбалета на стрельбу из лука – там все движения (натягивание тетивы, выпуск стрелы) сразу узнаваемы и к тому же довольно широки и размашисты. Режиссер сказал «нет, хочу арбалет». Нет проблем. Я попросил собрать его несколько видеороликов со стрельбой из арбалета, чтобы послать актеру для отработки движений. На площадке этим было бы некогда заниматься. Подобрал, послал, потренировался. И вот, актер демонстрирует на репетиции все движения с арбалетом. И режиссер понимает, что это куцо и неинтересно. Непонятно вообще, что он делает. Конечно, пришлось на ходу заменять воображаемый арбалет на воображаемый лук.

 

Но давайте вернемся на съемочную площадку. Самой сложной я считал сцену с героем, движениями которого как марионеткой управляет гигантская рука кукловода над ним. Я говорил режиссеру, что если четко и строго ЗАРАНЕЕ не продумать все движения, то потом в кадре после совмещения двигающегося актера с управляющей им рукой, в их движениях будет полный диссонанс. Увы, и тут режиссер не послушал. Решил, что актерская импровизация на площадке (пусть даже и с заранее высланными актеру примерами для заучивания), будет лучше.

 

И еще немного теории. Нейросети живут в каком-то своем пространстве. Условно говоря – в двух с половиной мерном. 2,5D так сказать. Они совершенно не понимают поворот головы или других предметов на 90 градусов. Т.е. полностью вбок - 3D. Условно понимают и могут моделировать только поворот примерно на треть-половину от основной оси. Если вы помните, был такой рекламный ролик Сбербанка, в котором герой Куравлева из «Ивана Васильевича…» попадает в наше время. Обратите внимание, что головой он вертел как раз примерно на треть.

 

Тоже самое всегда происходит и с оцифрованным лицом Брюса Уиллиса в рекламе Мегафона. Почему нейросеть до сих пор не научили жить в 3D, я не знаю. Но факт остается фактом. В нашем ролике все повороты головы и корпуса актеров тоже не должны были быть полными. Впрочем, иногда мы заигрывались и забывали об этом. Посмотрим, как поймет это нейросеть…

[Rumlin]

На YouTube ищите "1950's Super Panavision 70"

Известные фильмы в стиле фильмов 50х годов.

 

https://youtu.be/TH59vTJFFhU

https://youtu.be/a6W7L5t5810

[Rumlin]

Нейросети пишут музыку - https://suno.com

Можно сделать 10 пробных.

[Пэтро]

Нейросети пишут музыку - https://suno.com

 

 

https://youtu.be/RVYGwnpQCrI

 

там еще текст можно любой накладывать.

[Rumlin]

Реклама сети, генерирующей видео по текстовому описанию.

 

https://youtu.be/VWcMK9xtTF0

[Rumlin]

Обзор нейросетей для создания иллюстраций и артов

https://habr.com/ru/companies/bothub/articles/827004/

 

Лучшие ИИ-генераторы видео

 

https://habr.com/ru/companies/bothub/articles/827768/

[Rumlin]

Нахваливают генератор картинок Grok

https://www.grokimagegenerator.com/