R8 Raytrix相机拍摄的光场视频数据集（带视差图）

图1“ChessPieces”、“Boxer IrishMan Gladiator”和“ChessPieces MovingCamera”三个视频的第一帧

配备35mm镜头的Raytrix R8相机可以精确捕捉10厘米x 10厘米x 10cm体积的场景。所提议的捕捉场景包括在这样的体积中。

2.1 ChessPieces

视频序列“ChessPieces”包含四个棋子、两个骑士和两个在转盘上旋转的棋子，并以日历为背景。R8 Raytrix相机位于距离场景35厘米处。它由300个框架组成。

2.2 Boxer-Irish

地图角斗士视频序列“Boxer-IrishMan-Gladiador”包含三个在转盘上旋转的乐高角色，背景是日历。它由300个框架组成。

2.3 ChessPieces Moving Camera

在视频“ChessPieces MovingCamera”中，由棋子组成的场景是静态的，但相机在移动。后者位于离现场60厘米处。视频包含300帧。

3 视图提取

Raytrix软件RxLive将从R8相机接收的数据存储为Raytrix序列文件。我们使用Raytrix API访问Raytrix序列文件中的每个Raytrix帧，以便提取二十五个视图，就像我们有二十五个虚拟摄影机一样（5行x 5列）。每个摄像头应该离它的邻居4毫米远。

图2：每帧25个虚拟相机，每个提取的视图

为此，我们利用函数Rx::ApiLF::RxSetPar。使用参数“Rx::ApiLF::EPar::VirtCamPinholeStd_ViewOffsetMM_g”调用，它允许指定虚拟相机在垂直于主镜头z轴的平面中的偏移。偏移具有4mm的水平值和4mm的垂直值，并且是从主透镜的中心测量的。提取的视图在可下载的zip文件中编号（参见可供下载的数据），如图2所示（例如：坐标（1，3）为sa_1_3.png）。

4 视差图

对于每个帧的每个视图，计算视差图。由于我们在每帧中提取了25个视图，因此每帧计算25个视差图：每个提取的视图一个视差图。到目前为止，我们使用了中介绍的作品的简化版本，并将其应用于提取的视图。例如，以下是我们为每个视频的第一帧获得的中心视图的视差图（即坐标（3,3））：

图3：“ChessPieces”、“Boxer IrishMan Gladiator”和“ChessPieces MovingCamera”第一帧中心视图的视差图

对于每个视频，下表中给出了两个相邻视图之间的最小和最大视差（以像素为单位）：

表1：视差图的最小值和最大值

这些值可以用于从作为PNG提供的视差图中获得视差值。可以应用Alinear转换，其中0是最小视差，255是最大视差。

5 可供下载的数据

可以从描述和托管每个帧的数据的网站下载几种数据：

•原始图片，即由Raytrix相机的传感器捕获的原始图片，

•5x5，即25个提取视图，

•5x5（即25个视差图），每个视差图都与特定的提取视图相关联。

所有这些数据都是为视频的300帧提供的，但第一帧的数量根据视频而不同：

• ChessPieces : 1,

• Boxer-IrishMan-Gladiator: 400,

• ChessPieces-MovingCamera: 210.

此外，对于每个视频，都提供了一个XML文件，该文件包含在捕获期间的Raytrix相机的校准参数。

附件

传感器和MLA说明

光线追踪API（参见https://www.raytrix.de/Rx.ApiLF.3.1/namespace_e_par.html)提供有关R8相机传感器及其微透镜阵列（MLA）的信息。下表汇总了它们：

表2:Raytrix R8的传感器和MLA特性

校准参数

用于数据集的校准参数可以作为XML文件从每个视频的网站下载。以下是一个示例（与“ChessPieces”相关）：