稳定帧实时跟踪

问题：目标没变，相机却在动

相邻画面中的位移，可能同时来自目标运动和相机抖动。依赖上一帧附近搜索的孪生跟踪器，容易把突然变化的画面当成目标丢失；小目标和相似背景尤其困难。这篇学生时期的工作关注输入画面的稳定性，提出可接在已有跟踪器前面的 S-Siam 框架。

方法：稳像、跟踪、坐标还原

方法先用 ORB 提取关键点，再通过 Lucas–Kanade 光流估计相邻帧的对应关系，得到二维运动变换。对累计运动轨迹做平滑，并限制异常位移与角度，生成稳定后的图像；跟踪器在这套坐标中定位目标，最后把预测结果映射回原始画面。

这一流程复用 SiamFC、SiamRPN++ 和 SiamMask 的预训练模型，不需要重新训练它们。论文第 3 页图 2 展示了三段处理流程，第 4—5 页说明了运动估计、缓存和阈值约束。

理解这一设计时，可以把相机运动看作输入坐标系的变化：先尽量减轻这种变化，让跟踪器更容易使用原有的搜索假设，再把答案换回实际画面的坐标。它也提示了一个工程问题：新增模块的收益，必须连同额外耗时一起评价。

证据：稳定性收益与速度成本

论文在 VOT2016、VOT2018、VOT2019 上比较同一跟踪器加入稳像前后的表现。第 6 页表 1 中，VOT2018 的 SiamMask_E 分支加入 S-Siam 后，EAO 从 0.432 提升到 0.449，失败相关指标 R 从 0.267 降到 0.243；对应速度由 55 降到 33 FPS。这些结果说明稳像可以减少跟丢，但也增加计算成本。

如何理解它的边界

抖动补偿依赖可靠的帧间运动估计，遮挡、背景混淆和估计错误仍会导致失败。表 4 中 rabbit 序列的丢失次数就从 2 次增加到 3 次。不同骨干的速度也不同，S-SiamRPN++ 在表 1 中为 23 FPS，不能把所有变体都概括为超过 30 FPS。

从今天回看，这项工作与我后续工业建模的联系，是先区分输入中的有效变化与干扰，再讨论网络能力。这里是对研究脉络的理解，具体实验结论仍限于论文中的视觉跟踪任务。

署名与原文

我以 Zixuan Wang 署名，列第一作者；论文发表于 CVPR Workshops 2020。解析依据 CVF 官方公开 PDF 的 8 页全文。

English overview

S-Siam stabilizes video frames before Siamese tracking and restores predictions to the original coordinates. Experiments show a trade-off between fewer tracking failures and additional computation. I am the first author of this CVPR Workshops 2020 paper.