Джон Ло и CG индустрия.
«В океане неопределенности будущее реальности всегда под вопросом»
В философской работе После метода Джон Ло подвергает рассмотрению тезисы из книги Лабораторная жизнь: построение научных фактов социологов науки Бруна Латура и Стива Вулгара. Его объектом становится эпистемологический вопрос возникновения научного знания, которое традиционно связывается с понятием реальности такой, какая она представлена вне субъекта человека — вещь-в-себе. Ло вооружается диалектическим методом (резонируя с марксистским деятельным, а не созерцательным материализмом) и предлагает нам картину мира, в которой реалии конструируются во время практики, затем фиксируются в языке об этих реалиях, чтобы затем быть преобразованными в новые реальности при участии человека, соединенного с инструментами производства знания/ реального. Этой работой Джон Ло преодолевает Кантианскую оптику априорных форм познания с помощью понятия о материальных практиках, но и не вступает в болото марксизма, предлагая парадигму, в которой реальное — это не уже существующее-неоткрытое, а получаемое в результате взаимдействия с человеческим субъектом.
Первым делом Ло вводит понимание о научной лаборатории как формы специфической институции, в которой люди существуют в плотной сцепке с лабораторным оборудованием.
Цель лаборатории — получение эссенции материального, формализованной в виде текста/ математической модели
Лаборатория в понимании автора это система материального производства, где главным продуктом являются тексты. Получаются же эти последовательности символов из взаимодействия ученого-практика с так называемым «устройством записи», главной функцией которого является преобразованием материальной субстанции в числовые данные/ диаграммы. Во взаимодействии с техническим оборудованием лабораторий ученые пребывают в постоянном состоянии неточности, потому что занимаются поиском спекулятивной выборки совпадений, получаемых в ходе рассмотрения результатов записи:
«именно более или менее устойчивые сходства между кривыми позволяют ученым утверждать, что они изолировали субстанцию»
Выводы ученого сообщества строятся не на непосредственном взаимодействии с реальностью, а на изучении определенных систем символов, что вынуждает людей составлять результаты исследования из компиляций текстов, полученных из устройств записи. Лабораторные инструменты в этом случае выступают как система фильтрации вводных данных, которая отделяет наиболее заметные крупные «камушки» в гипотетическом потоке воды, пропуская всё остальное мимо фиксаций, совершаемых человеком в сверении сходств разных потоков. В итоге реальность сама-по-себе оказывается в зависимом положении от связки ученого с устройством, ведь нигде кроме как на лабораторном столе она не могла бы пребывать именно в тех состояних, которые отображаются в математических моделях. Ученые создают сети элементов из устройств записи и внутренних профессиональных отношений, в ячейки которых вписываются изъятые их материального потока субстанции. Реалии конструируются. А лучше сказать производятся, потому что по Марксу (сомнительный авторитет) производство состоит из производительных сил и производственных отношений, невозможных без фигуры деятельного человека и приложения его деятельности к инструментам/ средствам.
«Реалии, — говорят Латур и Вулгар, — попросту не существуют без соответствующих устройств записи»
Такой способ работы с реальностью не является эмпирическим, потому что отличен от созерцательно материалистического, наоборот сети практик, включающие устройства записи и их контексты, обеспечивают саму возможность существования форм бытия.
«Без биоанализа нельзя было бы сказать, что субстанция существует»
Это утверждение является контринтуитивным для западного здравого смысла, ведь в нём реальность пребывает в рамках нескольких онтологических допущений, которые по Джону Ло присутствуют в культуре. Он выводит свои построения из модели фигуративного окна, созданного в эпоху ренессанса с октрытием Джотто перспективы — имитации реальности в рамках полотна картины, которая симулирует трёхмерную пространственность на плоскости холста. Такая интуиции авторов живописи служит примером того, что бытие европейского человека соткано вокруг понимания того, что «там вовне» есть реальность независимая от нас.
«Большинство из нас, думаю, неявно предполагают, что эта внешняя реальность обычно независима от наших действий и в особенности от наших восприятий»
В этой языковой игре Ло концентрирует наше внимание на том, что понятие «реальности вовне» все равно оказывается вовне относительно нашего субъекта, что даёт нам некую власть над реальным. Следующим допущением здравого смысла автор выделяет то, что «внешняя реальность имеет множество форм и отношений», которые могут быть недоступны нам из-за слаборазвитых методов постижения реалий. Последним выступает допущение, что «мир везде один и тот же», являющееся краеугольным камнем западного просветительского империализма. Каждая из этих позиций здравого смысла разбиваются об социологические изыскания Латура и Вулгара, утверждающих, что реальность конструируется в сетках взаимодействия ученых с устройствами записи.
«…для сохранения утверждения необходимо, чтобы оно основывалось на соответствующем хинтерланде и, возможно, вносило в него вклад».
Принцип построения этих сеток лежит в плоскости поиска хинтерландов научного знания, которые собираются из совокупности модальностей. Модальность — это утверждение, скомпилированное ученым из математических моделей и текстов других авторов, включающее условия, ограничения и контексты, обнаруживающиеся в работе с лабораторным оборудованием. Модальность — это описанная субстанция реальности, тщательно отобранная субъектом из сравнения условных «кривых» в моделях, полученных в лабораторных условиях и из изысканий научного сообщества. Модальное высказывание может включать описание работы с устройством записи, результаты исследований и многое другое, что обуславливает научный поиск. «На практике, говорят Латур и Вулгар, большинство утверждений являются модально ограниченными и неопределенными» Жизнь модальностей спекулятивна, потому что находится в подвешенном состоянии между статусом хинтерланда и опровергнутого утверждения. Хинтерланд подобен коллажу из точно сконструированных записей реальности, которые образуют форму ассамбляжа, придавая совокупности модальных элементов композиции новое качество «рутинизированного»
«Это означает, что как только они утрачивают свою модальность, вчерашние модальные высказывания становятся завтрашним хинтерландом».
Каждый хинтерланд оказывается основой для последующих поисков утверждений о бытии, а значит выступает в качестве условия для осуществления реальности через практику записи. В итоге «там-вовне» оказывается не причиной научной работы, а ее следствием. Такой подход к реальному является контруинтуитивным для европейско-американской культуре, потому что говорит о том, что производство отдельных реалий в модальных утверждениях, производство хинтерладнов из этих высказываний, а также технические, инструментальные и человеческие конфигурации практик производятся одновременно и вместе с реальностью как таковой.
Таким образом, в лабораториях формируется сети взаимодействий технических средств и людей-профессионалов, а также контекстов, пришедших со стороны сообщества, что в итоге выливается в производство текстов о реальности, которая была сконструирована во время экспериментальной практики. Подобное же положение вещей можно проследить в CGI, где также выстраивается сетевое производство, но уже художественного образа, а не научного знания.
CG
From Software. Elden Ring. 2022.
Подобно тому, как реальность производиться в научных лабораториях посредством практики, включающей взаимодействие ученых с устройствами записи, создание художественного образа в CG индустрии находиться в прямой зависимости от программного обеспечения и операционных возможностей компьютерного железа. И если продуктом работы лаборатории как институции является текст, то продуктом труда студии разработчиков компьютерной графики является рендер, то есть последовательность картинок, полученная в ходе обсчитывания симуляции света, влияющего на 3д геометрию в сцене, либо только один подобный файл. Конечно, есть возможности демонстрировать трёхмерные объекты в виртуальном пространстве и без создания световых точек, однако эти способы применяются в редких случаях и часто не для художественных целей, а для работы внутренних сетей производства.
В зависимости от устройства записи, то есть программы по созданию 3д графики меняется тип получаемого рендера, который можно использовать для разных целей.
Например, в игровой индустрии применяют real time render технологию, которая позволяет выводить сиквенции в реальном времени, что даёт возможность разработчикам конструировать интерактивные миры в виртуальной реальности, формируя целый медиум из одной технической возможности иметь 60 кадров в секунду, выводящихся на экран игроков в разных точках мира тогда, когда им этого захочется. Такая технология применяется в так называемых игровых движках, которые используют специальные модели обсчитывания световых лучей, которые зачастую работают как фейковый свет, то есть такой, который содержится в текстурной карте 3д модели, а не считается в момент играния в игру.
From Software. Dark Souls 2: Scholar of the first sin. 2015.
Допустим в игре From Software Dark Souls 2: Scholar of the first sin 2015 года практический весь свет в сценах является «ненастоящим», то есть не делается с помощью симуляции лучей света, а «запеченным», то есть перенесенным на поверхность геометрических форм. Даже яркое солнце, бьющее из-за кромки моря, а также луч, оставляющий за собой шлейф дыма, имеют характер фейкового света, потому что никак не взаимодействуют с интерактивной анимационной скульптурой, находящейся в центре игрового процесса. Основное же освещение в сцене является так называемым sky light’ом, то есть таким светом, который равномерно заливает все поверхности и высвечивает их из темноты, не формируя при этом падающих и собственных теней, рефлексов и тд.
From Software. Dark Souls 2: Scholar of the first sin. 2015.
Такой упрощенный способ получения рендера нужен для того, чтобы игрок со слабым компьютером мог воспроизвести для себя художественный образ и поучаствовать в его дальнейшем конструировании. Такое упрощения типа рендеринга в реальном времени является общим местом для индустрии и принимает форму хинтерланда, вписываясь во все последующие произведения этого медиума.
From Software. Elden Ring. 2022.
В более поздних работах команды Хидэтака Миядзаки также присутствует техническое решение с фейковым светом, однако не так очевидно, где его найти, учитывая, что весь свет в сценах является динамическим и отыгрывает на 3д геометрии в реальном времени со сменой погодных или игровых условий. Упрощенный тип рендеринга находится в снятом состоянии (гегелевское снятие) и ждёт своей секунды для того, чтобы воспроизвестись в момент, когда операционные возможности компьютера игрока перестают справляется с осуществлением образа. Если устройство записи зрителя-актора по ту сторону разработки игры не имеет возможности просчитать работы света с 3д моделями, человек может в настройках отключить эту функцию и вернуться на более низкий уровень рендеринга, чтобы иметь возможность поиграть в игру.
From Software. Elden Ring. 2022.
Игровая индустрия формирует сети средств воспроизводства образов, подстраиваясь под возможности акторов с разным техническим обеспечением и часто теряя из-за этого визуальную привлекательность получаемой картинки в угоду интерактивной системе real time рендеринга.
From Software. Dark Souls 3. 2016.
Помимо рендера в реальном времени существует второй тип записи последовательности картинок, а именно Non Real-time rendering. По аналогии с первым типом он рендерит картинку с динамическим светом, поэтому затрачивает в тысячи раз больше времени на получение одного кадра сиквенции. Такой способ используется в производстве абсолютно всех медиумов с применением CG кроме компьютерных игр.
Коваль. Жажда. //22. 2023. Zbrush процесс работы.
Коваль. Жажда. //22. 2023. Autodesk Maya процесс работы.
Рендеринг достаточно простых сцен происходит почти мгновенно. Сцена раскладывается на несколько потоков-семплев, а затем пересобирается в композитную итоговую картинку. Но если речь идёт о сложных многосоставных композициях с множеством эффектов, анимированных скульптур и детальным бэкграундом, то время получение одного зарендериного файла может доходить до получаса или больше в зависимости от мощности аппаратуры. Однако интересно не то, сколько минут занимает рендер, а то, что из-за таких затрат времени на получение финальной картинки художник CG в моменте создания образа не знает до конца, как он будет выглядеть в продукте.
Коваль. //4. Головы. Д. 2023
Например, для получения одного кадра сиквенции в моей работе //4. Головы. Д. мне было необходимо около 20 минут реального времени, а учитывая, что в последовательность картинок в этой работе насчитывает тысячи файлов, можно заявить, что во время создания образа я практически ничего не контролировал.
Коваль. //4. Головы. Д. 2023
В нашем здравом смысле бытует мнение, что создание кино с использованием CG или синематиков для игр это до мелочей выверенная коммерческая деятельность, где каждый элемент композиции продуман заранее, сделан специально таким, какой он выходит на экраны зрителей. Однако дело обстоит диаметрально противоположным образом. Из-за характера производства образов, специфики устройств записи, которые не способны передать их полноту художникам, и ограниченным срока разработки CG артисты работают как бы с закрытыми глазами в итерационном формате, раз за разом перерендеривая готовые сцены.
Многое в художественных сценах отдаётся на откуп возможностям движков рендера. Художники действуют вслепую или с заведомо устаревшим материалом предыдущих итераций, ведь в моменте работы не могут просмотреть всю анимацию в сцене и внешний вид анимационной скульптуры с текстурами, освещенными динамическим светом с рейтрейсингом, а ведь еще есть эффект моушен блюра, который можно увидеть только если смотреть на сиквенцию в реальном времени. В этот момент формируется сеть акторов, где оптика человеческого субъекта тонет в практике взаимодействия с аппаратурой рендеринга, что создает условия для за-рациональной работы с образом.
Коваль. Жажда. //22. 2023.
Коваль. Жажда. //22. 2023.
К этому стоит еще добавить момент цветокоррекции и переведения последовательности картинок в разные кодеки. В зависимости от типа файла картинки jpeg, png, exr и др., рендер получается совсем разным по форме: в случае с jpeg цвета тускнеют, теряется баланс черного, стирается контрастность; png уменьшает действие описанных эффектов, но застревает в 8-ми битной системе цветовой палитры RGB, что также подъедает качество; формат exr действует на 16-ти битной цветовой системе, поэтому поддерживает все цвета, которые может выдать 3д сцена из движка, однако 16-ти битная система поддерживается очень малым количеством кодеков видео, то есть при переведении сиквенции в формат mp4 эффект от exr палитры сойдёт на нет, либо очень странно исказит цветовую картину файла, более того, viewport любой CG программы не поддерживает этот формат воспроизведения картинки, поэтому при работе с этой формой художник будет еще более слепым, чем обычно при работе с устройством записи.
Коваль. Жажда. //22. Рендеры. Цветовые палитры exr и png.
Если поставить рядом файлы в формате exr и png, то можно увидеть разительную разницу в качестве цветопередачи, учитывая, что на этом сайте можно выкладывать только jpeg файлы. Одна и та же сцена со абсолютно одинаковым светом и анимацией, выдаёт такие поразительно разные результаты.
В качестве примеров я привел свои работы видеоарта, потому что могу достоверно рассказать, как проходил девелопмент тех или иных образов и принятие решений. Ролики Жажда и Головы являются моими модальными высказываниями, однако они образованы с использованием хинтерландов CG проектирования на программе Unreal Engine 5, которые используются в индустрии производства синематиков на этом движке.
Очень репрезентативным примером того, что CG артист практически ничего не контролирует и работает в связке с субъектностью устройства записи является работа Disasters under the Sun Джона Рафмана.
Джон Рафман. Disasters under the Sun. 2019.
В проектах он зачастую использует процедурные симуляции, которые работают с анимационными скульптурами непредсказуемым образом. Создав 3д гравитацию внутри программы, художник подвешивает персонажа и отпускает его катиться вниз по заранее выстроенному желобу-геометрии. Далее то, как именно человечек в сцене будет падать и биться об поверхности примитивов контролирует движок и только он. С помощью итеративного подхода, рендеря каждый раз по-новой сцену падения, можно условно рационализировать процесс создания образа, однако это не отменяет того, что оптика человеческого взгляда может повлиять на практику осуществления образа очень опосредовано, исключительно за счет легких манипуляций с 3д моделями в сцене.
Джон Рафман. Disasters under the Sun. 2019.
Программное обеспечение берёт на себя огромную часть формирования художественного образа. В этой инфернальной сцене Рафман контролировал только жернова, остальное сделал движок рендера.
Джон Рафман. Disasters under the Sun. 2019.
Джон Рафман. Disasters under the Sun. 2019.
Еще одним стереотипом здравого смысла о CGI является то, что произведения, сделанные с использованием 3д графики, это сугубо коммерческие работы, которые создаются под пристальным надзором продюсеров и режиссёра-демиурга, контролирующих все процессы. Конечно, на практике это оказывается совсем ложным предположением.
Например, в разработке недавно вышедшего фильма Повелитель Ветра режиссёра Игоря Волошина поучаствовала студия, в которой я работаю. Мы делали превизуализацию сложных CG сцен, выставляли камеры, выстраивали драматургию кадра, задавали настроение целым фрагментам фильма. Удивительным фактом является то, что Волошин не дал практически ни одного комментария нашей работе, принял все решения без обсуждений и отправил на дальнейший девелопмент. В кино моя команда узнала множество шотов, выставленных именно нами в тех или иных моментах кино.
Волошин. Повелитель ветра. 2023. Кадр, поставленный командой Watt Studio.
Такая ситуация с диверсификация разработки крупных проектов является нормой для индустрии. Многое отдаётся на контроль сетям взаимодействий, потому что масштаб медиума не позволяет объять его субъектностью одного человека, тем более такого человека, который не владеет устройствами записи образа даже на самом низком уровне. Зачастую продюссер или режиссёр выступают как менеджеры, нанимающие множество команд для того, чтобы делегировать все задачи профессионалам. За режиссурой остается право финального монтажа и внесения небольших комментариев в процесс постановки сцен. Меритократия.
В создании своих роликов я работаю как CG дженералист, ведь владею всеми 3д программами на приемлемом уровне, чтобы создать образ с нуля до финальных штрихов в After Effects. Рутинизированным хинтерландом для индустрии является то, что производство образа лежит на плечах множества людей с множеством разных по мощности устройств записи. Специалисты по части скульптуры сидят за скульптингом в Zbrush, профессионалы шейдинга и лайтинга постоянно пересвечивают сцены в движках типа Maya или UE5. Все они постоянно соприкасаются в разработке и происходит это не только в личном общении и работе с материалами другу друга, но и специфическим образом в нейминге папок, где хранится база файлов по проекту.
Менеджмент папок в проекте.
Подобно тому, как в научной практике фактор правильной записи наблюдения имеет непосредственное влияние на конструируемую реальность, так и в CG индустрии названия файлов и папок имеют огромное значение для работы в сообществе. Зачастую крупные проекты представляют из себя сотни терабайт информации, где каждый файл имеет значение для итогового рендера, поэтому во время проектирования тимлиды внимательно следят, чтобы все модели, текстуры и тп. лежали в правильных местах, иначе разработка художественного образа может легко развалиться на этапе сборки 3д сцен, ведь каждый элемент ассамбляжа имеет большую ценность для приобретения критической массы нового качества. На этом скриншоте видно, что папки создаются не только под тип файлов, но и для целых программ, потому что для каждого устройства записи есть свои ветвистые системы расположения файлов.
Очевидно, что продюсер и режиссёр не включаются в построение горизонтальных сетей взаимодействия между девелоперами образов в разных его итерациях, поэтому их контроль имеет только эстетический характер, но не технический, а это может значить только то, что и эстетика им не доступна в полной мере, потому что она контролируется внутри практики создания художественных сцен.
Именно поэтому когда я упомянаю серию игр Dark Souls или Elden Ring, я использую формулировку команда Хидэтака Миядзаки или команда From Software, ведь разработка проектов в CG медиумах имеет ансамблевый характер. Товарищество технического и художественного девелопмента пребывает в состоянии толстовской «мировой фуги», где присутствует множество художников на местах и общая логика процесса, в который постоянно вмешиваются ограничения устройств записи или новые возможности, предлагаемых CG артистам со стороны активного мирового сообщества.
WATT Studio. One Day More. 202?.
Включенность в мировой контекст индустрии важнейшая часть создания 3д проектов, аналогично тому, как это происходит в научной среде. Без изобретенных товарищами по профессии хинтерландов практик и иных методов получения рендера не получается делать проекты на острие новых реалий CG образов, однако это работает не так бескомпромиссно, как в случае с лабораторными экспериментами ученых. Команда разработчиков может принять решение не пользоваться последними достижениями медиума для того, чтобы сохранить целостность проекта.
Так, в годы разработки проекта моей студии WATT Studio One Day More (который скоро выйдет на площадке Epic Games). Создатели движка Unreal Engine предложили миру пятую версию программы с радикальными изменениями в технических возможностях для рендеринга, однако команда WATT не посчитала нужным переводить игру с версии UE 4.27. на новую, потому что эта, кажущаяся само собой разумеющейся, модальность не работает без контекста конкретного проекта и художественного решения коллектива, осведомленного об особенных условиях существования образов внутри сложных технологичных сетей.
WATT Studio. One Day More. 202?.
Делая вывод из выше описанного, можно сказать, что акторно-сетевая теория описанная Бруно Латуром и Стивом Вулгаром на примерах практик научного сообщества в лаборатория может быть распространена дальше на многие другие типы практик, включающих построение сетей взаимодействия человека со средствами производства чего-либо. В моем примере я рассмотрел кейс CGI, привел примеры реальных профессиональных практик на студии, работающей с крупными медиумами. Подход к онтологии, развернутый в тексте Ло, как это ни странно является общим местом для работы с проектами в компьютерной графике. Реальность конструируется в практике.
