动物监控系统，动物视频数据集的巢穴监控

各位看官阅读之前，请您点击一下“关注”，既方便您讨论与分享，又能给您带来不一样的参与感，感谢您的支持。

文丨吐不满的痰娱

编辑丨吐不满的痰娱

视觉感知任务的进步主要是由大规模数据集注释的数量和类型驱动的，人们专注于完全监督的设置，以使用基于离线历元的方案来训练模型。手动注释数据集的局限性和成本阻碍了事件感知任务的进一步发展。

视频中对象的检测和定位，由于注释的缺乏动物学应用中更加明显，大多数视频最多十分钟长。自监督感知预测框架通过构建事件相关对象的稳定表示来解决时间事件分割问题，依赖于由标准深度学习主干计算的高级特征的预测。

空间分割的注意力机制使用对象的稳定表示来在预测步骤之前过滤输入特征，作为感知预测的副作用，自学习的注意力图有效地定位了对象。连续野生动物视频监控的长视频上展示了该视频跨越多天。

通过定位事件来促进自动化民族志记录，流输入上以在线方式进行训练的，并且只需要一次通过视频，没有单独的训练集。鉴于缺乏长期且现实的数据集，引入了一个新的野生动物视频数据集的巢穴监控来衡量方法。

数据集包含对卡古自然栖息地进行连续监测十天的视频，用边界框和事件标签来注释每一帧，每一帧都注释有一天中的时间和照明条件。该方法显著优于其他自监督的基线，将空间分割的自监督方法的性能提高了一倍。

计算机视觉科学领域的大量努力致力于跟踪和理解人类的行为，很少有作品探索其他物种的相同任务。注释的稀缺和数据收集的困难是该领域进展缓慢的一个重要原因，记录技术的最新发展为野外动物行为提供了新的机会。

最新发展不仅增加了数据量，还提高了数据生成的速度。监控视频系统生成数据的速度比人工智能系统处理数据的速度更快，从而产生了快速数据的概。批量学习系统无法处理快速数据，可能有无数个项目按时间顺序到达。

重新访问旧数据不仅浪费计算资源，而且还需要存储数据，这对于大量数据来说是不切实际的，阻碍了学习系统的可扩展性。对于流输入应用，存储成本可能超过计算成本。目标是处理和总结流输入数据，以仅存储有用的高级信息，同时忽略时间背景杂波。

流学习旨在构建流数据的自适应模型，模型必须在每个数据点之后更新，而无需访问任何过去的数据。系统需要通过适应流数据的变化来解决分发变化，训练方案完全忽略网络处理后的数据点。

动物行为学是动物行为的科学，动物行为图以完全客观的方式定义和分类动物行为。行为图中描述动物行为时，避免主观性和偏见非常重要。行为定义必须基于观察到的机械行为，而不是任何意向性，激发该行为的表达。

行为描述所需的客观性使得计算机视觉算法成为自动化行为图的合适候选者，通过将低级属性与高级行为相关联，可以实现民族图谱的自动化。检测行为图中用于描述动物行为的低级属性，以便这些属性可以用于自动生成客观行为标签。

事件可以在不同的时间尺度上出现，动作是在较小的时间尺度上发生的事件类型。鸟给雏鸟喂食的时间可以由多个喂食动作组成，这里的喂食指的是活动。为了真正理解视频，算法必须能够从背景噪声中检测和分割重要事件。

将检测到的事件编码在嵌入空间中以进行表示学习，处理用于野生动物监测甚至其他环境视频监测的长视频时，检测突出事件的任务变得更加重要。为了感知事件需要构建检测高级特征的动态和模式的算法，设计的架构应该理想地捕捉这些功能随时间的演变。

很少有出版物展示跨几天视频的事件检测，主要是评估大型数据集带来的挑战。通过使用修剪的动作视频来关注以事件为中心的数据集，从图像中去除背景并仅使用对象掩模来训练对象分类器，现实世界的数据集包含更具挑战性的未修剪事件。

大多数野生动物监测使用带有运动触发器的相机陷阱来存储动物图像，消除现实世界的照明变化和环境条件。通过收集和注释卡古巢穴的十天连续监测数据集来解决问题，新喀里多尼亚的一种不会飞的鸟。

事件分割是人类感知的一个持续过程，有助于形成记忆和学习的基础。人类可以使用基于当前感知的感官信息预测未来状态的感知预测模型，以纯粹自下而上的方式识别事件边界，人类感知系统根据视频中的外观和运动线索来识别事件边界。

机器学习模型严重依赖于完全监督和手动注释的数据集，马西斯使用手动注释来训练深度学习架构并促进动物的行为分析。动物视频监控析领域最近开始在视觉界越来越受欢迎，大多数工作都集中在图像级物种分类，以及最近的姿态和关键点估计。

卡古古拉等人巢穴监测的视频数据集包含大约十天的连续监测，用紧密边界框形式的空间定位标签对整个数据集进行了完整注释。时间事件分割标签作为五种独特的鸟类活动，喂食事件代表鸟儿喂雏鸡的时间段。

当鸟类在孵化期间在巢上工作时，就会发生筑巢事件。推树叶是一种筑巢行为，鸟类坐在巢上时，用腿将树叶推向巢的边缘，从而形成一个弹坑。投掷树叶是另一种筑巢行为，鸟类在大多数时间都在巢外时，用喙向巢投掷树叶。

走进和走出事件代表从空巢到孵化或育雏的过渡事件，根据一天中的时间和照明条件提供五个附加标签。忽略了照明条件，只关注以对象为中心的活动。包含这些标签来评估和对比不同条件下的不同表现，具有强大鸟类表现力的模型应在所有照明条件下始终表现良好。

一个好的模型会学习提取有用的特征并抑制背景特征，数据集中的图像样本展示了事件计数及其持续时间的分布。事件计数和事件持续时间均按白天和夜间条件进一步分类，从堆积条形图中可以看出走入、走出和喂食贡献的事件数量最多，而投掷事件的总持续时间最长。

大多数赛事的昼夜比例较高，投掷赛事除外。赛事持续时间发生在黄昏时段，喂食活动仅发生在白天。计数图和持续时间图都显示每种事件类型相同的昼夜比率，每个事件的平均持续时间不会根据一天中的时间而变化。

不同事件类型和鸟类状态的持续时间，事件持续时间根据其类型而有很大差异。投掷事件可以持续两分钟以上，而短事件只需要几秒钟。鸟要么静止在巢中，要么静止在图像帧之外，这种持续时间的变化使得数据集对活动检测算法更具挑战性。

时间分割是对未修剪视频中的事件进行分割的任务，目标是检测和定位事件，以便将重要活动准确地修剪到其开始和结束边界。活动检测的目标是检测整个事件并区分开始和结束边界，边界检测仅将事件边界的检测视为事件之间的分离。

活动检测的评估基于预测事件和地面真实事件的一对一映射，以最大化为目标。边界检测则根据预测边界和地面真实边界之间的距离进行评估，事件的时间分段的示例通过对错误信号进行阈值处理来检测事件。

评估指标与行为图的质量直接相关，准确定位事件及其边界可以提高行为图质量，因为行为属性只能在事件的边界内找到。提高召回率并减少误报非常重要，以确保检测和分析所有重要事件，同时忽略错误和不相关的活动。

帧级评估捕获模型正确分类帧是否属于事件的能力，与帧级不同，活动级评估侧重于捕获未修剪视频中完整事件的存在和位置的能力。边界距离度量测量预测边界与真实边界的时间精度。

帧级时间分割的帧级评估衡量算法对每个帧是否属于事件进行分类的能力，帧级中的召回值计算为真阳性帧与注释数据集中的阳性帧数量的比率，而假阳性率表示为假阳性帧占总数的比率注释数据集中的负帧的数量。

活动级别评估衡量算法检测事件的能力，利用匈牙利匹配算法来实现真实标记事件和检测到的事件之间的一对一映射。根据每分钟的误报率绘制召回值，误报率定义为检测到的误报事件总数与数据集总持续时间的比率。

检测到的边界和注释的边界之间应用一对一匹配来量化边界检测的性能，计算结果匹配之间的距离并设置阈值。如果边界距离低于指定阈值，则被视为真阳性。随着阈值的增加，从而导致更高的召回率和精度值。

分数指标用于将方法与其他基线的整体性能进行比较，提供精度和召回值来分析和比较每个检测器在不同距离阈值下的行为，所有阈值下的性能至少是所有其他方法的两倍。根据光照变化检测镜头边界当，与其他基线相比，它会产生更高的精度值。

光流输出像素运动模式的大小和方向，用每个像素行进距离的大小来预测鸟的位置。除了使用幅度进行定位之外，还使用最大幅度作为置信度分数来检测鸟是否不在巢内，这对于平均精度计算是必要的。

背景减除与光流有着相同的目标，但它不是比较两个连续的帧，而是随着时间的推移构建场景的背景模型并将其与当前帧进行比较。背景模型不断地被新图像更新，以确保不断适应不断变化的背景特征。

使用不同阈值对丢失信号进行门控可以导致不同粒度的分割，引入新的非常长的野生动物监测数据集，该数据集对于事件分割任务更加现实且更具挑战性。进一步采用这种方法进行自动行为图绘制，将通过减少数据集注释的体力劳动来促进动物行为的进展。

文章描述过程、图片都来源于网络，此文章旨在倡导社会正能量，无低俗等不良引导。如涉及版权或者人物侵权问题，请及时联系我们，我们将第一时间删除内容！如有事件存疑部分，联系后即刻删除或作出更改。