【科技前沿】NHK STRL正在研究利用人工智能摄像机进行足球赛事现场直播的自动拍摄技术

  日本公共广播机构NHK的科学技术探讨研究实验室STRL正在研究一种自动拍摄技术，以实现体育赛事现场直播中高质量和高效率的节目制作。由于足球赛事现场直播中常常使用可以鸟瞰赛场的“主机位”拍摄，并有许多标准化的拍摄流程，因此能借助自动化技术让直播拍摄工作更轻松。为此，NHK STRL开发了一种由AI（人工智能）驱动的机器人摄像机系统，科研人员利用来自于专业摄像师的实拍操作数据对系统的AI模型进行了训练，并实现全自动拍摄的功能。

  由AI驱动的机器人摄像系统包括一台用于摄取整个球场画面的摄像机、一台特征提取器、一个用于自动构图的AI组件、一套机械控制组件和一台安装在云台上的机器人摄像机（如图1）。首先，特征提取器是由神经网络构建的，它可以从摄像机拍摄到的球场视频中提取场景信息，例如运动员和足球的位置、速度，以及运动员朝向等，然后通过训练神经网络获得特征图。而AI组件的功能是自动构图，它能够准确的通过特征图决定机器人摄像机拍摄的区域。机械控制组件则可以将拍摄区域转换为相应的摄像机控制信息，并将其发送给机器人摄像机最终实现自动拍摄。

  STRL收集了专业摄像师的实操数据，为自动构图AI组件提供了训练数据。AI组件完成训练后，可以自动根据球场上的比赛状态和摄像机在几秒钟内的运动情况来决定需要拍摄的区域。在训练该AI组件的神经网络模型时，需要用足球比赛的整场录像视频数据及摄像师在这些比赛中的操作数据。摄像师的操作数据能够最终靠一种特殊云台获得，该云台可以感知摄像师对摄像机姿态的改变，并将相关操作数据来进行记录（如图2）。

  AI驱动的机器人摄像系统存在的问题之一就是系统的处理时间会引起拍摄延迟。在使用该系统现场直播正式足球比赛的实验中，可以观察到大约有一到两秒的拍摄延迟。目前，STRL正在研究在该系统的模型中引入有关拍摄的预测性处理，以加快对所需拍摄区域的推理速度，从而减小延迟。

  另一个问题则是由于训练数据的不足，最终实现的自动拍摄水平不够稳定，泛化能力差，无法应对各种比赛状况。STRL预计通过增加用于AI模型训练的数据量来解决此问题，旨在实现与专业摄像师具有相同操作水平的高精度自动拍摄。STRL的研究人员也会为此持续收集来自经验比较丰富的专业摄像师的操作数据。

  NHK STRL正在努力解决上述这样一些问题，旨在使该系统能够应用于正式的赛事直播。