Insta360最新全景综述：全景视觉的挑战、方法与未来

本文作者团队来自 Insta360 影石研究院及其合作高校。目前，Insta360 正在面向世界模型、多模态大模型、生成式模型等前沿方向招聘实习生与全职算法工程师，欢迎有志于前沿 AI 研究与落地的同学加入！简历投递邮箱：research@insta360.com

在虚拟现实、自动驾驶、具身智能等新兴应用中，全景视觉正逐渐成为不可或缺的研究方向。相比于常规透视图像（正常平面图像，也是大部分 CV 任务使用的标准输入），全景图像捕捉的是 360°×180° 的完整球面视域（包含四周、头顶天空与脚下地面），仿佛将站立点周围的整个空间展开成一张“大照片”。正因两者在几何投影、空间采样与边界连续性上的本质差异，直接把基于透视视觉开发的算法迁移到全景视觉往往失效。

本文基于 300+ 篇论文、覆盖 20+ 代表性任务，首次以 “透视-全景 gap” 为主线，系统梳理了三大 gap、两条核心技术路线与未来方向展望，既帮助研究者 “按任务选解法”，也为工程团队 “按场景落地” 提供清晰坐标。

• 论文标题：One Flight Over the Gap: A Survey from Perspective to Panoramic Vision
• 项目地址：https://insta360-research-team.github.io/Survey-of-Panorama/
• 综述文章链接： https://arxiv.org/pdf/2509.04444
• 全景文章汇总链接：https://github.com/Insta360-Research-Team/panoramic-vision-survey

研究背景与动机

左侧展示了由全景相机获取的球面影像，经过投影后变成常见的等距矩形投影 (ERP) 全景图像。相比下方的透视图像，虽然能完整覆盖 360° 场景，却引入了三大核心挑战：

1. 几何畸变：球面展开到平面时，两极区域被严重拉伸，物体形状被破坏。
2. 非均匀采样：赤道像素密集、极区像素稀疏，同一物体在不同纬度分辨率差异明显。
3. 边界连续性：ERP 左右边界实际上在球面上相邻，但在二维图像上却被分割，导致模型学习时出现连续性问题。

这三大 gap 正是透视方法难以直接适配全景场景的根源，也构成了后续研究创新的出发点。相较现有的全景视觉综述多沿 “单一任务线” 纵向梳理，本文以 “透视→全景” 的 gap 为问题原点进行分类与分析，从数据、算法到应用层面揭示两者差异及全景研究滞后的原因，这是一个更具动机张力、且现有综述未充分展开的创新视角。

策略速览

四类方法、一张图看懂任务适配

在全景视觉中，分割/修复等依赖全局语义一致性，而深度/光流等强调局部几何精度，因此形成了不同策略谱系。图（c）给出跨方法（cross-method）纵向对照：明确 Distortion-Aware / Projection-Driven / Physics-/Geometry-based 的适用分工，并与代表性任务逐一进行策略适配。其价值在于提供一个统一参考：研究者可从整体视角理解任务需求，快速选型或设计最合适的方法，也为多策略融合与后续创新奠定基础。

图（a）和图（b）分析了两种典型的策略：

① Distortion-Aware（失真感知方法）：直接在 ERP 全景格式上建模，通过畸变设计、畸变图权重或自适应注意力来补偿极区问题。

• 优势：保留全局像素级别的语义对应，不丢失信息；与主流架构高度兼容；端到端设计，简洁易用。
• 局限：极区残余畸变依旧影响准确率；在几何敏感任务（如深度、光流）上鲁棒性不足。

② Projection-Driven（投影驱动方法）

• 思路：通过立方体投影（Cubemap）、切平面投影（Tangent）、二十面体投影（Icosahedron）等，将球面转换为多个畸变较小的子视图。
• 优势：有效缓解极区畸变与接缝问题；能直接复用透视模型和大规模预训练网络；在几何敏感任务中表现突出；可根据应用灵活选择不同投影。
• 局限：多视图信息碎片化，需要额外融合机制；计算与存储开销更高；部分投影方式需定制网络结构。

③选型分析：

• Distortion-Aware 适配：全局语义一致性与感知质量的任务（超分辨率、修复、补全、分割、检测。
• Projection-Driven 适配：强调局部几何精度的任务（深度估计、光流、关键点匹配、新视角合成；多模态融合任务。

两大策略的交叉适配：

1. 超分辨率：视频播放 / 沉浸显示→ Distortion-Aware（强调整体一致性）；结构 / 精细重建→Projection-Driven（强调几何保真）。
2. 文生图 / 视频生成：保证整体语义对齐→Distortion-Aware；提供更细粒度的局部几何控制→Projection-Driven。

Physics-driven 适配：一些特异性的任务依赖物理先验（如光照估计、反射去除、布局检测）。

任务工具箱

20+ 任务一览，按任务选策略

这是全文的横向 cross-task 对照表：将全景视觉的 20+ 代表性任务按四大板块归类（增强与评估、理解、多模态、生成），并在每个任务下标注了具有代表性的方法路线与代表工作。它与前一张 “cross-method” 图形成互补：前者 “纵向看方法→适配哪些任务”，这张表 “横向看任务→常用哪些策略 / 里程碑工作”。

具体地，左侧是任务清单。每一行右侧列出该任务的主流路线及典型论文。这让读者可以反向索引：从任务入手，快速定位合适的技术路线与关键文献。值得一提的是关于新范式加速渗透的整理：Diffusion / 生成式模型在 T2I/V、IC、NVS 与世界模型方向快速涌现，强调语义一致与可控性；3DGS：在 NVS / 场景重建中带来高效高保真渲染；多模态对齐尤其是音频 / 文本 / LiDAR 与全景的对齐成为新热点。

未来展望

关于全景视觉的未来，要想从 “可用” 走向 “好用”，需要在数据—模型—应用三条主线上同步推进：

（1） 数据瓶颈（图左上）

1. 数量：缺少大规模、跨任务、跨场景的标准 360° 数据，限制通用训练与可复现评测。
2. 多样性：过度集中于室内 / 城市场景，自然 / 空中 / 混合环境覆盖不足，难以走向开放世界。
3. 质量：高质量、细粒度标注（深度 / 分割 / 检测 / 跟踪 / 建图）稀缺，真实场景标注成本高。
4. 多模态：图文、视音频、LiDAR 等跨模态资源不足，制约 VQA、生成与对齐研究进程。

（2） 模型范式（图右上）

1. 基础模型：将对比 / 掩码 / 自监督迁移到全景视觉；从大规模透视模型迁移到全景域，强调零样本鲁棒性。
2. 专家模型：面向检测 / 分割 / 深度 / 时序等，设计参数高效的全景专家模块，与预训练骨干解耦协同。
3. 多模态：语言 - 音频 - 全景的空间连续性与对齐仍是难点；亟需理解+生成一体化与世界模型式框架。
4. 全景生成：评测指标缺失、极区一致性、真实畸变复现、曲线运动轨迹建模与全景视频时空一致性是核心痛点。

（3） 下游应用（图下）

1. 空间智能与自动系统：具身智能、自动驾驶、UAV 导航，依赖无盲区全局感知与稳健决策。
2. XR 与沉浸式交互：全景录制与高分辨生成 + 空间音频 / 触觉等多感官，走向轻量化穿戴端。
3. 三维重建与数字孪生：全景→完整重建 / 数字孪生，支撑智慧城市 / 文博修复等。
4. 广泛的社会应用：安防、教育、文娱、医疗等行业化场景，强调可部署性与合规性。

结语

透视到全景并非一次简单的 “投影转换”，而是一场贯穿数据、模型与应用的系统性升级。本综述以 “透视—全景 gap” 为主线，梳理挑战、方法与未来应用，为研究者与工程团队提供按任务选型的 “路线图”。我们也欢迎社区共同完善基准与数据，推动全景视觉在 XR、机器人系统与数字孪生等关键场景中真正 “好用、可用、可落地”。

更多细节与完整方法清单，请查阅论文与项目主页。

文章来自于微信公众号 “机器之心”，作者 “机器之心”