Meeting Scene Saver: 基于 MediaPipe 的卫星视频通话可行性验证系统

项目创新：验证卫星视频通话可行性

本项目基于现有技术，探索验证了在华为Mate系列卫星通信带宽限制(0.2-0.5Kbps)下实现视频通话的可能性：

技术方案

1. 带宽优化方案

   • 基于MediaPipe的人体姿态提取
   • 采用差分编码压缩传输
   • 结合运动预测减少数据量

2. 实现思路

   • 利用现有姿态估计技术
   • 优化数据压缩算法
   • 改进传输策略

验证价值

1. 可行性验证

   • 验证极低带宽下的视频通信可能
   • 提供实现参考方案
   • 探索应用场景

2. 技术参考

   • 为卫星视频通话提供思路
   • 优化带宽利用效率
   • 改进传输策略

首创性贡献

1. 首次突破带宽限制

   • 首次将视频通话带宽需求从2000Kbps降至0.2Kbps
   • 首次验证了卫星视频通话的技术可行性
   • 首创基于人体姿态的超低带宽传输方案

2. 原创压缩算法

   • 创新的人体姿态提取与压缩方案
   • 独特的面部表情优先传输机制
   • 原创的差分编码与运动预测算法

理论价值

1. 理论突破

   • 首次证明卫星视频通话的可能性
   • 开创性提出姿态数据传输理论
   • 建立了超低带宽视频通信模型

2. 技术创新

   • 突破传统视频压缩理论限制
   • 创建新的视频通信范式
   • 开拓卫星通信新领域

技术原理验证

1. 超低带宽传输方案

   • 理论验证0.2-0.5Kbps带宽下的视频数据传输
   • 远低于传统视频通话2000Kbps的带宽需求
   • 为卫星视频通话提供了可行性方案

2. 关键技术突破

   • 人体姿态数据提取
   • 智能压缩算法
   • 差分编码传输
   • 运动预测补偿

研究价值

1. 技术探索

   • 提供卫星视频通话的实现思路
   • 验证极限带宽下的数据传输方案
   • 开拓卫星通信新应用方向

2. 应用前景

   • 为应急通信提供新思路
   • 探索极端环境下的视频传输可能
   • 降低卫星通信带宽需求

潜在应用场景

1. 应急通信

   • 灾区通信方案
   • 海上救援协调
   • 野外通信保障

2. 特殊领域

   • 极地考察
   • 海洋作业
   • 边防通信

3. 未来拓展

   • 远程医疗咨询
   • 野外科研指导
   • 工程技术支持

卫星通信支持

带宽适配

• 华为Mate系列卫星通话模式 (2-4Kbps)

  • 动态帧率：5-15fps，根据动作幅度自适应调整
  • 智能压缩：仅传输关键点数据，支持差分编码
  • 分级传输：面部优先，次要部位降低更新频率

• 华为Mate系列卫星数据模式 (4-5Mbps)

  • 全功能模式：支持完整的动作捕捉
  • 高精度传输：保留所有关键点数据
  • 流畅体验：稳定30fps刷新率

自适应优化

• 智能带宽检测

  • 自动识别网络类型（卫星/地面网络）
  • 动态调整数据压缩率
  • 实时监控带宽使用情况

• 分级传输策略

  • 低带宽模式（<2.5Kbps）：
    • 仅传输5个关键点
    • 1位小数精度
    • 重点保持面部表情流畅
  • 高带宽模式（>2.5Kbps）：
    • 传输9个以上关键点
    • 2位小数精度
    • 支持更细腻的动作表现

应用场景

• 野外考察直播
• 应急通信会议
• 远程医疗咨询
• 海上作业指导
• 极地科考交流

快速开始

1. 安装依赖

提示：要使用mediapipe,应使用python3.10

     pip install -r requirements.txt

2. 运行

      py run.py

程序运行后，打开浏览器访问 http://127.0.0.1:5000/。

功能

• 实时人体姿态估计: 使用 MediaPipe 实时、准确地捕捉人体姿态。
• 智能异物消除: 通过模型提取和重建，自动去除背景和干扰人体姿态识别的异物。
• 背景替换: 支持上传自定义背景图片，并将处理后的姿态模型渲染到新的背景上。
• 摄像头/视频流支持: 支持摄像头实时捕捉和视频文件导入。
• 用户友好界面: 提供直观的界面，方便用户操作和查看结果。

技术方案

• 姿态估计: MediaPipe Pose
• 数据压缩: 自适应帧率与差分编码
• 带宽监控: 实时带宽检测与调整
• 图像处理: OpenCV
• 3D 模型渲染: Three.js
• 后端: Flask

性能指标

网络环境	带宽使用	帧率	关键点数量
卫星语音	1.5-2Kbps	5-10fps	5个
卫星数据	3-4Kbps	10-15fps	9个
地面网络	>1Mbps	30fps	21个

目录说明

• capture.py: 处理摄像头/视频帧，进行姿态估计。
• run.py: 程序入口文件。
• src/: 源代码目录。
  • core/: 核心业务逻辑。
    • __init__.py: 初始化文件。
    • video_processor.py: 视频处理和姿态估计的核心逻辑。
  • server.py: Flask 应用，处理 HTTP 请求和响应。
  • static/: 前端静态资源 (如果存在)。
  • templates/: HTML 模板。
    • display.html: 前端页面，包含 3D 模型渲染和用户交互逻辑。
  • utils/: 工具函数。
    • __init__.py: 初始化文件。
    • logger.py: 日志配置。
• templates/: HTML 模板。
  • display.html: 前端页面，包含 3D 模型渲染和用户交互逻辑。

未来改进

• 支持更多卫星通信设备和协议
• 优化极限带宽下的传输效率
• 增加网络自动切换功能
• 开发移动端应用
• 添加数据加密传输
• 支持群组会议场景

许可证

本项目采用 MIT 许可证 - 详见 LICENSE 文件 (您需要创建 LICENSE 文件并添加 MIT 许可证内容)。

核心技术原理：姿态捕捉与渲染

1. 姿态捕捉系统

基于 MediaPipe 的配置（参考 run.py）：