【insight】Apple空间视频上手
type
status
date
slug
summary
tags
category
icon
password
如何开拍
操作简单到我真的不想写，但是就真的只需在拍视频前横过来（你不是二郎神）打开这个Vision Pro长相的开关就能开录了。
是的，我们在3D元年的差不多14年之后，我们终于可以随手拿起手机就能自己拍摄 真 · S3D 视频了
而对于在座的各位影视老饕们而言，相对于「空间视频 Spatial Video」这个略感陌生的词汇，Stereoscopic 3D / S3D / 立体 这个概念我们会更为熟悉
而此时我们可以实现的欣赏空间视频的方式则是Apple Vision Pro，或者Quest等别家设备。对哦，你可以放心松开捂住钱包的手，不必担心 Vision Pro 花光你的数码预算，有更多便宜的选择能满足起码可以观看的需求（零成本方案在文末）
当然，点进来看这篇文章的你，并不要怀疑自己怎么关注了一个数码博主，在座的各位毕竟都有创作能力，可能更关心的是我们可以怎样用它来跑通制作流程。这中间要确认的细节还是蛮多的，没办法看着官网介绍就能知晓，所以为什么在iPhone发布了这么久之后我们才来讨论这个话题
整理素材
要拍摄空间视频，aka S3D 内容，我们更需要关注怎样拍摄才会得到一个更好的结果。
在拍摄完毕，并从iPhone里拷出素材之后。你会发现好像没有什么明显的特征能帮你去筛选出空间视频还是普通视频，你要是接收到了一堆别人给你的 iPhone 的素材，记得想办法先找出来
MV-HEVC
这里不得不先了解一番空间视频的容器。我们熟悉的HEVC编码其实在规范一开始起草的阶段就规划了多层扩展的特性，而MV-HEVC的标准也差不多诞生9年了，算是现在才被Apple端出来供大家享用。简单理解就是MV-HEVC可以将两个机位的画面塞进一个文件里，并且兼容不支持解码的播放器，也就是你不支持的时候只能看见其中一个画面。当然它还有一个姊妹规格3D-HEVC，能支持更复杂的深度通道来帮助立体效果呈现，具体这里暂不展开
好在 mediainfo 在2024年2月1日更新 v24.01 时加入了对 MV-HEVC 的识别，ffmpeg 暂时慢了半拍，不过二者都能在metadata部分看到有 com.apple.quicktime.spatial.format-version 字段来帮助确认
这只是单独查看，显然可能更多的是需要批量处理。一个零成本但对文件体积不敏感的方法就是用自带的「照片」App：先去「照片」偏好设置中关闭「将项目拷贝到照片图库」选项
随后将可能的视频正常导入至照片图库中，随后左侧的媒体类型中即可看到「空间」分类中出现了筛选后的结果，与移动端操作相同。
随后即可选中这些视频，并拖拽到单独的文件夹位置中，「照片」即可将它们分别从原位置拷贝到此处。
差点忘了提醒，以上操作需要 Sonoma 及以上系统版本，尤其是对于接下来的操作
毕竟新特性仅存在于新版本系统中，况且对于MV-HEVC而言，目前为止读取到其他的View都是依赖macOS本身
收拾一波
得益于MV-HEVC的兼容特性，我们可以直接将素材丢进任何你喜欢的剪辑平台中进行2D剪辑。完成后即可考虑对画面进行 Conform ，并进行3D调色
但此时达芬奇还并不能直接将其读取为 3D 片段，我们需要将左右眼进行拆分，随后再放进达芬奇中进行后续工作
果不其然 达芬奇19 新增了对MV-HEVC素材的支持🎉，自然不必折腾以下步骤了
不少媒体会推荐在iPhone上原地用第三方app将画面拆开，但显然我们不可能拿着手机去干这件事。而在macOS上，目前我们有了一个简单的拆分工具，名字很直接就叫做「Spatial」，能将其分别导出为左右眼两个文件
安装需要使用 brew 或前往原文链接，在作者的blog中直接下载
使用方法即分别指定左右眼输出路径，即可将左右眼画面分别重新编码为两个单独的文件（似乎因为MV-HEVC的特性我们无法简单地无损将其分别导出）
例如，先新建存放左右眼的两个文件夹 Left Right
注意保持其名称相同并加上合理的后缀，便于后续的管理以及在达芬奇中进行 3D Sync
稍等一些时间后即可完成左右眼的分离导出了
开调
拿到分离的两个文件后就简单了，我们可以在达芬奇中将左右眼快速地进行同步并 conform，以及对双目画面进行细致的调整
除创意性的调整外，我们还需要看看技术性的修复
毕竟双目画面是主摄和广角裁切而来，因此二者必然存在一些不一致的情况，虽然iPhone已经做到大部分情况下两个摄像头能呈现几乎一致的色彩，以及人眼本身也存在双目颜色融合（binocular color fusion）来容错，不过问题出现时我们仍然需要去手动校准左右两个画面。一些其他碎碎念则是颜色对深度感知的影响，包括但不限于色度亮度尺寸大小等等，喜欢知识就这么流过大脑的你可以翻阅《高等色度学》的《立体颜色视觉》章节一探究竟
如果要进一步修正一些难以忍受的问题，可能会涉及到同步双眼的光学素质。考虑到两个摄像头的结构差异，我们很容易能注意到如果拍摄到较近的画面内容时，除了把观众整成对眼以外，还会发现左右的景深不一致，具体就看大家如何各显神通，如何去匹配景深了。其次是画面的锐度，如果环境较暗产生不同的涂抹，以及广角本身就存在的裁切而形成的模糊，还需对画面的纹理进行管理和控制，具体可参考前面我们聊过的Texture系列
嘿嘿所以这里我们就发现了，在拍摄时需要额外注意的就是，尽量提前规定好 iPhone 拍摄的方向，这样便于我们确认哪只眼的画面是主摄得到的（画质更好），则另一只眼可以统一进行相同的校准操作，例如亮度反差、锐度等
一键交付（不是
如同其他项目那样，我们只需按正常流程做好检查，设置所需的规格。毕竟本文撰写时的达芬奇还无法一键输出MV-HEVC，我们需将左右眼分别输出并在外部进行合并。格式要求不高，建议使用 ProRes 422 HQ 这样的高质量中间档，便于你将其用于其他3D格式的制作
回到刚才的「Spatial」，能拆也能合并，按照如下示例即可将分离的两个画面输出为一个MV-HEVC视频了
这里成片假定都是由同一款iPhone拍摄的，所以对于 Horizontal field-of-view（水平视场角）、Horizontal disparity adjustment（水平视差调整）（--hfov 63.4 --hadjust 0.02）我们直接用 iPhone 原本的值，2D兼容时看见的画面和主视角（--primary --hero）均指定为右眼画面（假定我们都以同样的方向拍摄，此时右眼都是由主摄拍到的）
前面也说了最好保持同样的拍摄方向，这样的好处还有就是，对于剪辑后的成片而言，我们毕竟只能选择其中一只眼的画面来作为兼容的2D呈现，固定其中一个就可以避免画质忽高忽低的情况
展开聊聊
以上是简单地让你可以跑通拍摄剪辑调色出片的制作流程，对于具体的立体调整其实有非常多的门道需要仔细研究，例如如何设计镜头运动以及画面内容的纵深，如何考虑剪辑顺序对观感的影响，多出来的深度空间如何借助调色来引导视线等等
不过现在空间视频的出现会不会让S3D内容生态繁荣起来也是个问题，像VR元年早就过去好久了，Vision Pro对内容生态产生的影响还得看大佬们，例如平台，怎么去判断
乐观看来以上内容最好可以很快就过时，例如达芬奇直接支持导入就是3D片段什么的
如上文所说，已经于2024年4月发布的 DaVinci Resolve 19 加入了对基于MV-HEVC的空间视频文件的支持
也是等了一段时间才等到好心人写出工具来帮我们完善制作流程，也就是较为关键的拆分/合并左右眼的「Spatial」。在此之前还好奇过这个左右眼的画面效果是如何做到同步的，简单直接的思路就是调试好两个摄像头，而非用某只眼来算出另外一只，还看到有博主煞有介事地分析猜想用算法实现的途径，只能说太年轻，没见过电影行业过去十多年来苦逼的二转三环节有多复杂（虽然大家面对的问题虽不相同但有部分交集）
至于用Vision Pro来拍摄就可以解决左右眼画质不一致的说法…我寻思有这预算为什么不整套别的靠谱的工具呢 [手动狗头]
眼保健操
读到这里估计你真的对拍摄效果感兴趣，但多半手里没有可以观看立体效果的设备，那么可以试图练习一下平行眼（Parallel eyes）大法（真的不是斗鸡眼啦）即可不借助额外的设备裸眼观看左右（FSBS）3D内容，条件是画面只能很小，算是一种简单易行零成本的尝鲜式方法：
原理很简单，就是放松眼睛看向远处，让眼球保持平行，应该不用费力就能保持此状态，类似平时对着窗外发呆的时候；此时举起手机看屏幕应当有重影且模糊
当然提前先打开能观看的内容，例如使用「Spatialify」这款App，或者在b站上找到合适的此规格内容（例如一个叫做「立体视界」的up）
调整手机的距离以及眼球放松的程度（可能此时你没有条件看向无限远处从而不平行）注意观察屏幕模糊的位置，看能否将左右画面重叠并对齐
我自己的一个经验技巧是先歪头或者倾斜手机，找到画面的四角（如果画面没有虚掉也能看见的特征的话）这样更便于找到对齐的点。如果你发现很难对齐，说明手机太近/太远或者画面太大了需要缩小一些
成功对齐并保持不动后，试图学会眼球不动的情况下，将视线聚焦到屏幕，这也是难点所在：眼球不转动保持看向远处的状态，但控制晶状体聚焦到近处。如果能做到你就能看到立体的画面啦