Технології

Штучний інтелект вже захоплює Голівуд. Як і де кінопродюсери використовують Gen AI

30 лип•ain

Кіноіндустрія, як і будь-яка інша креативна індустрія, вже починає відчувати ті зміни, які приносить штучний інтелект в розподіл і виконання праці. Голівудські і незалежні продюсери потрохи починають використовувати генеративний ШІ ?(Далі в тексті — Gen AI або ж просто «ШІ»), щоби зменшити витрати на творчі процеси і виробництво.

ШІ активно використовують для генерації відео, музики, озвучки, постерів, а також для автоматизації монтажу та створення спецефектів. Що цікаво — останнім часом великі студії почали визнавати використання ШІ в своїх фільмах. Як-от нещодавній призер премії «Оскар» — «Бруталіст», та аргентинський серіал від Netflix — «Етернавти». Схоже, ці студії зрозуміли, що ШІ економить набагато більше коштів, ніж вони втрачають від його використання. І ця тенденція буде тільки посилюватись.

AIN спробував з’ясувати, як кіноіндустрія пристосовується до технологічних викликів і чи дійсно варто очікувати на те, що фільмів створених не-людьми стане більше.

Головний герой цього сюжету — Gen AIВарто почати з того, що процедурна генерація, своєрідний попередник Gen AI,

не є новиною для креативних індустрій. На ранніх етапах генеративні технології, які використовувалися для автоматизації процесів у кіно і створення музичного супроводу, передували справжньому ШІ в тому вигляді, в якому бачимо його зараз.

Так, до прикладу, у трилогії «Володар перснів» (2001-2003) для створення масштабних батальних сцен використовували технологію під назвою «Massive», яке симулювало поведінку тисяч персонажів, таких як орки чи рохіріми. Оскільки було неможливо вручну створити таку кількість анімацій для кожного персонажа, програма «генерувала» поведінку персонажів за допомогою алгоритмів, що діяли за заданими правилами. І хоч це не було використанням штучного інтелекту в його сучасному розумінні, така технологія була важливим кроком у розвитку симуляційних систем, що передували більш складним методам, які ми зараз називаємо генеративним ШІ.

Сцена, де армія Урук-Гаїв була згенерована завдяки «Massive»

Генеративний ШІ (або ж англійською Generative AI) — цей той штучний інтелект, який дозволяє створювати контент на основі великих мовних моделей (своєрідних баз даних)

і алгоритмів відтворення. Мабуть вже нікого не здивуєш тим, що в соцмережах з'явилася купа згенерованих картинок, а в Tiktok чи Reels — відео на різні теми. І хоч соцмережі швидше підхоплюють такі тренди завдяки віральності, кінопродюсери також не сплять і бачать в цьому можливість заробити — просто на це їм потрібно більше часу.

Відеовиробництво, до прикладу, може зекономити величезну кількість грошей на генерації відео, для яких раніше треба були практичні ефекти або ж CGI. Продюсери звуку зможуть зменшити витрати на створення бібліотек звуків, які використовують для озвучення сцен, а може й навіть зекононимити на композиторах. Якщо починали з монтажа і візуальних ефектів, а нині ШІ вже пише сценарії, далі можемо очікувати, що він навіть замінить акторів акторів.

Прикладами використання вже Gen AI бачимо в таких стрічках як «DreadClub», «The Diary of Sisyphus», «The Last Screenwriter» — але про них пізніше.

Початок ШІ в кіновиробництві: Runway, Midjourney, VeoДеякі компанії з розробки ШІ зайняли нішу першопроходців у відеовиробництві. На початку 2020х на сцену почали виходити стартапи,

що активно експериментували з технологіями для створення нових інструментів. Одним з таких новаторів стала компанії Runway, яка запустили інструменти, що дозволяють створювати відео та графічний контент за допомогою генеративних алгоритмів. Це значно прискорює процес виробництва відеоконтенту.

Приклад відеогенерації від Runway Gen-4І хоч перші ШІ моделі компанії створювали доволі дивні відео і викликали тільки публічне висміювання, — як-от славнозвісне відео створене завдяки StableDiffusion, на якому чоловік, схожий на актора Віла Сміта намагається їсти спагеті, — подальші моделі штибу Runway Gen-2 вже почали цікавити інвесторів і продюсерів, котрі побачили можливість заробити гроші на таких технологіях.

Згенерований Віл Сміт їсть спагетіНещодавно, Runway залучив $308 млн при оцінці у майже $3 млрд. За словами інвесторів, стартапи на кшталт Runway мають величезний потенціал, оскільки дозволяють не лише автоматизувати складні процеси, але й забезпечити креативні можливості, які раніше були доступні лише великим студіям з величезними бюджетами.

Основний пітч — не замінити людей в кіновиробництві,

а відкрити нові можливості для невеликих студій та незалежних творців. Услід за інвестицією, вже кілька компаній уклали з Runway угоди щодо співпраці. Серед них телемережа AMC Networks і студія Lionsgate.

Еволюція інструментів ШІ і розширення можливостей інтеграції в кіноЗ часом ШІ-технології стали ще більш доступними і потужними, відкриваючи нові горизонти для кінематографістів. В основі — генерація та зображень від таких гігантів як Midjourney, Google, Adobe, i OpenAI.

ШІ-генерація зображень почала розвиватися з технологій, що дозволяли створювати статичні зображення на основі текстових запитів. Платформи як Midjourney, Google та OpenAI стали лідерами в цій галузі, дозволяючи користувачам швидко створювати високоякісні зображення, що відповідають їхнім вимогам. Логічно, що наступним кроком після генерації зображень стала генерація відео.

За допомогою Text-to-Video моделей стало можливим створення повноцінних відео на основі текстових описів, що значно спростило виробництво контенту, відкриваючи нові можливості для кінематографістів і художників у створенні динамічних сцен і сюжетів без необхідності у традиційній зйомці.

Одні з найбільших кроків на шляху до інтеграції ШІ в кіно можемо бачити на власні очі вже зараз, як-от нещодавній анонс першої відео-ШІ моделі від Midjourney v1, яка дозволяє створювати відео на основі текстових запитів. Midjourney вже давно є ключовим гравцем у розвитку текстової генерації зображень, тож їхня участь у кіно та відеовиробництві тільки посилить інвестиційну привабливість і конкуренцію, а слідом — проривні технології в цій сфері. Ця технологія дозволяє створювати динамічні сцени, персонажів та сюжети без потреби у використанні традиційного відео зйомки, що значно знижує витрати і час на виробництво.

ШІ-відео згенеровані завдяки новій моделі Midjourney v1

Google наносить удар у відповідь. Gemini Flow та Veo 3На ринку мабуть немає компанії, яка б хотіла більше побудувати монополію на технології ніж Google. Не дивно, що компанія дуже активно розвиває свої технології Gen AI, аби випередити конкурентів. Кульмінацією праці компанії є Google Gemini, набір ШІ інструментів для роботи з текстовими запитами. Нові моделі Gemini Flow та VEO 3 вже дозволяють створювати високоякісні відео та анімацію за допомогою генеративного ШІ.

  • Google Gemini Flow відкриває нові можливості для створення відео на основі текстових описів, даючи кінематографістам можливість швидко реалізувати свої ідеї без необхідності у великому бюджеті чи спеціальному обладнанні. Це дозволяє створювати відео, які раніше потребували би численних етапів зйомок і постпродакшн.

  • VEO 3, в свою чергу, забезпечує більш деталізовану генерацію відео та додавання реалістичних ефектів, що дозволяє створювати сцени, які виглядають, як справжні, але створюються тільки за допомогою алгоритмів. Користувачам соцмереж ці відео добре знайомі — здебільшого це відео інтерв’ю фантастичного характеру чи вульгарні бабці.

Відео, де котик готує борщ від Veo 3

Ці інструменти змінюють підхід до відеовиробництва, зокрема завдяки здатності автоматизувати багато етапів — від сценарію до фінального продукту, що значно спрощує процес і робить його доступнішим для більшої кількості кінематографістів.

Такі моделі як Midjourney v1, Sora та Google Veo 3 вже відкрили нові можливості для створення анімацій, рекламних роликів та навіть повноцінних фільмів,

що може стати серйозним проривом у кіноіндустрії.

Монтаж і озвучка — справжній козир для ШІШІ вже активно інтегрується в процес монтажу відео, полегшуючи багато етапів і автоматизуючи їх. Одна з таких технологій — Adobe Firefly Video Model, що дозволяє редагувати відео і застосовувати спецефекти автоматично на основі простих інструкцій. Це дає змогу зберегти час на постпродакшн і збільшити креативні можливості для відеооператорів і режисерів, оскільки вони можуть зосередитись на більш складних аспектах виробництва, в той час як ШІ виконує рутинні завдання.

ШІ-монтаж вже набагато ближче, ніж здається:

  • До прикладу, Instagram Edits вже активно використовує ШІ для автоматичного редагування відео, де алгоритми аналізують контент і допомагають додавати ефекти, змінювати кольори чи шукати влучну музику для вашого відеою.

  • Capcut від ByteDance — інший популярний інструмент, що дозволяє швидко створювати відео з ефектами та фільтрами на основі штучного інтелекту, що забезпечує інтуїтивно зрозуміле редагування для користувачів.

Gen AI також активно використовують для озвучки.

Eleven Labs та Respeecher є прикладами інструментів для створення ефектів та відтворення голосів.

  • Eleven Labs, яка нещодавно випустила нову модель V3, використовує передові алгоритми для створення голосів, що можуть точно відтворювати інтонацію та емоції, навіть в текстах, написаних автоматично. Не дивно, що аматорський дубляж і навіть професійні студії все частіше звертаються до Eleven Labs, адже це зменшує для них витрати на акторів озвучки, або ж взагалі дають можливість поширювати контент на той загал, який раніше не мав доступу до нього.
  • Respeecher дозволяє створювати голоси, схожі на справжні, і навіть відтворювати голоси історичних постатей чи знаменитостей. Це дозволяє значно знизити витрати на акторів озвучки, при цьому зберігаючи високу якість контенту, яку важко відрізнити від оригіналу. Компанія Respeecher також є класним кейсом, коли розробники з України зробили для себе світове ім’я.
AIN раніше писав про те, як команда стартапа відтворила голоси Люка Скайвокера та Дарта Вейдера для серіалів у франшизі «Зоряні Війни». Що цікаво, Respeecher також опинився в нещодавньому скандалі навколо фільму «Бруталіст»,

адже саме технологія цього стартапу допомогла актору Едріану Броді заговорити угорською мовою.

Читайте також: Як українська команда відтворювала голос Дарта Вейдера: інтерв’ю

Голівуд ніби як проти, а ніби — всіма руками заПерші асоціації, які приходять в голову, коли думаєш про ШІ в кіно — це численні судові позови про порушення авторських прав. І дійсно, ШІ спричиняє певну конкуренцію з традиційними методами виробництва в Голлівуді, викликаючи занепокоєння перед тим, що він відбере роботу в кріейторів чи вкраде їхню інтелектуальну власність, або ж гірше зробить її не цікавою для глядача.

Деякі з найбільших студій і продюсерів активно чинять опір таким інноваціям, побоюючись, що ШІ може зменшити креативність чи навіть замінити людей у виробництві. Попри увесь епатаж, Голівуд є доволі старою конструкцією, давно має свої усталені практики, і зміни, пов'язані з такими інструментами як Sora від OpenAI чи Runway, вже стали серйозним викликом для індустрії.

Логічно, що перед великими студіями стоїть питання — боротись чи адаптуватись. І більшість схиляються до останнього.

ШІ кіно вже тут — сховатись нідеКіноіндустрія потрохи прогинається перед перевагами використання ШІ. Рік тому, наприклад, фанати Marvel помітили притаманні штучному інтелекту шість пальців на постері «Громовержців*». І хоч фанати таки визначили, що «ШІ-руки» на постері — це помилка в обробці фото, студія Marvel, схоже, не посоромилась з використанням ШІ в іншому проєкті про супергероїв.

Так, в серіалі «Таємне Вторгнення» творці вирішили використати ШІ для інтро сцени, стверджуючи, що це тільки грає на руку темі серіалу. За словами продюсерів, такі дивні та дезорієнтуючі візуальні ефекти, створені штучним інтелектом, відображають заплутані та спотворені особистості скруллів — позаземної раси, головних антагоністів у серіалі.

Скриншот частини згенерованого ШІ інтро в серіалі «Таємне Вторгнення»Такі випадки, коли використання ШІ помічають через громадські дискусії, а не через слова самих студій, дозволяє припускати, що його використання насправді більше поширене, ніж компанії хочуть те визнавати. Це зображає штучний інтелект «інструментом для ледачих і нечесних»,

проте чи дійсно це так?

Незалежний кінематограф став першим, хто закохався в ШІПоки частина індустрії намагається приховати використання ШІ в своїх продуктах, інша частина планує маркетинг на основі цього явище. З початку десятиліття на ринку з’явились вже кілька продуктів, які створились з залученням ШІ або ж повністю згенеровані завдяки ньому.

Ось деякі з перших значних фільмів, повністю або частково створених за допомогою ШІ. Що цікаво, ці фільми вже визнані критиками як першопроходці в цій сфері.

  • «DreadClub: Vampire's Verdict» — це перший анімований фільм, створений повністю за допомогою ШІ у 2024 році. Фільм здобув нагороди за свої інноваційні методи візуалізації, а також привернув увагу завдяки своєму стилю, що нагадує анімацію, створену людськими руками, але з унікальними рисами, які виникли саме завдяки ШІ.

Тут і далі трейлери згаданих фільмів

  • Фільм «The Diary of Sisyphus» має першим повністю написаний сценарій за допомогою GPT-NEO, однієї з найбільш розвинених мовних моделей ШІ. Створений в жанрі філософської драми, цей фільм підіймає складні екзистенційні теми.

    Його прем’єра відбулась на Festival dello Spettatore у 2023 році, і був схвально оцінений критиками за свіжий погляд на класичні теми через призму технологій.

  • Ще одним вагомим прикладом є «The Last Screenwriter», швейцарський науково-фантастичний фільм, сценарій до якого був написаний завдяки ChatGPT. Цей проект став знаковим для обговорення ролі ШІ в створенні літератури та кіно. ШІ створив сюжет, який глибоко порушує питання про вплив технологій на людське мислення та відчуття.

І поки ШІ здатний здебільшого на генерацію сценарію та створення не надто якісного візуалу, багато хто бачить величезний потенціал в ньому. Серед таких людей кінорежисер Даррен Аронофскі, відомий завдяки своїм психологічним триллерам «Реквієм за мрією» та «Чорний лебідь», який створив студію «Primordial Soup», що буде спеціалізувати на інтеграції ШІ у кіновиробництві. Студія вже представила свій перший проєкт «ANCESTRA» — фільм, що поєднує живу дію і ШІ-візуали згенеровані в Veo. Проєкт буде спробою розширити горизонти того, що можливе в цій індустрії.


Такі фільми показують, що ШІ не лише змінює традиційне кіновиробництво, а також ставить багато питань про авторство, творчість і майбутнє кінематографії. А на прикладах з серіалами Marvel, вже можемо бачити, як ШІ активно змінює кінематографічний простір, хоч це і не хочуть часто визнавати.

Кінопремії,

нагороди, і що буде даліНавіть такі неповороткі структури як кінопремії вже почали процес адаптуватись до ШІ-створених фільмів. В квітні цього року найвідоміша кінопремія «Оскар» погодила нові правила, згідно з якими фільм може бути номінованим, навіть якщо ШІ використовували на етапах створення сценарію, візуальних ефектів та озвучки. Однак, такі творчі ролі, як режисер і сценарист, все ж мають залишатись за людьми.

Це рішення поклало крапку в дискусії чи доречно було допускати вже вищезгаданий «Бруталіст» до участі у гонці за нагородами. А там де є нагороди, мають бути і нагороджені. Можемо тільки припускати, що випадків як з «Бруталістом» тільки побільшає у наступному році, адже тема ШІ потрохи перестає бути темою «табу», а кіноіндустрія починає бачити більше плюсів ніж мінусів у його використанні.

Творчі професії, радше за все, не зникнуть, але точно стануть більш конкурентними, а кіновиробництво — попри всі перепони — буде рухатись в сторону новішого, цікавішого, а головне, доступнішого.

Читайте також: Примирити дизайн та ШІ. Як IDEO використовує штучний інтелект для прототипування та генерації ідей

суд, Дія, Новина, бабка, борщ

Читайте ще