Китайский виртуоз сыграл голографический фортепианный концерт
На концерте Лэнг Лэнг играл на, так называемой, «тактильной» голограмме рояля Steinway на той же сцене, где голограмма пианиста, казалось, играла на настоящем рояле Steinway. Такое выступление стало возможным благодаря сети 5G, разработанной совместно Telefonica и Ericsson, при творческом и техническом вкладе специалистов по голографической проекции из компании Musion.
Перед началом концерта в Барселоне в штаб-квартире Telefonica в Мадриде прошли четырехдневные испытания. Вот какие ключевые технические проблемы необходимо было решить:
- Задержка: Чтобы свести к минимуму сквозную задержку для аудитории, насчитывающей более 1000 человек, была необходима частная сеть 5G. Совокупная задержка снимающих музыканта камер, передача на видеопроцессор, ввод-вывод в реальном времени и обработка с помощью различных компонентов, должна была составлять менее 100 миллисекунд.
- Производительность: Чтобы получить изображение реального фортепиано и пианиста для создания голограммы, были развернуты три кодера Haivision Pro 460 4K UHD и перенаправлены по сети Telefonica 5G на один декодер Haivision Streamhub. Эти кодеры позволяли локально обрабатывать видео перед передачей на другой конец (декодер), снижая влияние на пропускную способность сети 5G. Они также использовались для передачи аудиосигнала, в данном случае без какой-либо обработки, чтобы сохранить высокое качество звука между двумя пианино.
- Съемка: Для создания голограмм на сцене как Лэнг Лэнга, так и пианино потребовалось три независимых видеоизображения музыканта (снимок всего тела в разрешении 4K UHD 60p и два снимка игры на пианино с разрешением 1080 HD 60p). Полноразмерное видеоизображение голографического пианино Steinway черного цвета, креативное освещение и детальный дизайн декораций завершили видеоинструкцию.
Эта техническая установка от Musion 3D позволила зрителям насладиться полным погружением: они стали свидетелями того, как Лэнг Лэнг, казалось бы, играл на голографическом пианино со статической клавиатурой с “тактильным эффектом” на потолочной светодиодной стене размером 7 х 7 м, в то время как голограмма Лэнг Лэнга, казалось бы, играла на настоящем пианино, нажимая пальцами движущиеся синхронно клавиши. Две PTZ-камеры Panasonic одновременно запечатлели настоящего Лэнг Лэнга за голографическим пианино Steinway, а рядом голографического Лэнг Лэнга, играющего на настоящем пианино Steinway Spirio B (справа).
Для наилучшего воспроизведения звука была использована регулируемая задержка: синхронизаторы кадров FA-9600 и EDA 2000 производства Musion позволяли независимо регулировать задержку видео и звука, облегчая синхронизацию между фортепиано и голограммной версией игры Лэнг Лэнга на фортепиано Spirio.
Директор Musion 3D Иэн О'Коннелл прокомментировал: «Благодаря технологии сотовой связи 5G, создающей необходимую полосу пропускания для одновременной передачи нескольких широкоформатных видеосигналов 60p в разрешении 4K и высокой четкости, а также аудиоданных, возможности для «удаленных» музыкальных трансляций стали на гигантский шаг ближе к коммерческой реальности».
