Monodepth2是ICCV2019发表的自监督单目深度估计方法，为Monodepth升级版。其结合双目图像与单目序列自监督方法，含深度预测和位姿变换预测网络，引入多种优化策略获当时SOTA。本文介绍其复现过程，用KITTI数据集，经640x192训练及1024x320微调，abs_rel达0.104，还含数据集、代码结构等信息。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

1. 简介

Monodepth2是通过自监督学习进行单目深度估计的一种方法，发表于ICCV2019，是发表于CVPR2017的Monodepth的升级版。Monodepth基于标定过的双目图像，通过预测中间变量disparity(视差)来对一侧图像进行变换重构另一侧图像，并以重构损失进行训练,有关Monodepth的复现可以参考我的另一个项目。

Monodepth2在此基础上加入了比较流行的单目序列自监督方法，即通过预测单目相邻帧之间的位姿变换与深度图来重构相邻帧。Monodepth2将两种训练方式统一到了基于一个位姿变换的框架下，上图为其的框架结构及针对部分问题的改进。框架中包含两个网络，一个是深度预测网络，给定一张图片，预测深度图，这个也是我们最后想得到的网络；另一个是位姿变换预测网络，给定一对图片，预测两者之间的位姿变换，一般给定的是相邻的前后两帧，此网络用于辅助训练；训练时选取左相机某一帧作为基准，计算深度图，其前后两帧及右相机同帧图像进行作为参考，计算位姿变换（右相机位姿变换为常数，不需要进行预测），利用预测得到的深度图将基准图像变换为点云、进行位姿变换、再重投影得到重构图像计算重构损失。

除此之外，Monodepth2引入了一些新trick来提升性能：

• 使用resnet预训练模型，极为显著地提升性能。
• 对于每个像素点，计算由不同视角进行重构所产生误差的最小值作为loss，使得loss对于受遮挡的物体更加鲁棒。
• 将不同尺度的视差图resize到原始尺寸对原图进行，显著降低了深度图中不合理的纹理特性。
• 自动mask掉会动的物体，使得收到监督的像素都满足静态场景的假设。

综合这些trick，Monodepth2得到了当时自监督深度估计的SOTA效果，但仍然与监督方法有着一定差距。

以下为本项目模型在KITTI测试图像上的预测结果：

论文: Digging Into Self-Supervised Monocular Depth Estimation

美图云修

商业级AI影像处理工具

50 查看详情

参考repo: monodepth2

2. 数据集

KITTI是一个自动驾驶领域常用的数据集，其由配置了传感器的汽车于德国卡尔斯鲁厄采集，数据中包含了双目彩色图像、深度图像、雷达点云等传感数据，并提供目标检测、实例分割等常见CV任务的标签。本项目使用AI Studio上的KITTI压缩数据集，全部数据可从此处下载。在训练过程中只需要双目图像，所以只解压jpg_images.tar.*即可。

KITTI数据集存在两种划分，一种是官方标准划分，称为KITTI划分，另一种是Eigen et. al.提出的Eigen划分方式。领域内更常用Eigen划分进行评估。由于在评估时需要点云数据来计算深度图的groundtruth，解压全部点云数据集占用硬盘空间过大，我们对Eigen划分的测试集进行了单独的打包，可在此处下载。

3. 复现精度

首先训练输入分辨率为640x192的模型：加载resnet18预训练模型，batch size 12，epoch 20，优化器Adam，初始学习率1e-4，15个epoch后减小为1e-5。原文和仓库并没有提供最优模型的选择方法，我们保存验证集loss最低的模型为最优模型。此时得到的最优模型abs_rel为0.109，未达到验收精度。

之后将以640x192为输入分辨率的最优模型在1024x320的输入分辨率上进行finetune，batch size 4，epoch 2，优化器Adam，学习率5e-5。得到的模型abs_rel为0.104，达到验收标准。

注意：为了固定数据增强的随机性，项目中使用setup_seed对Dataloader中的所有worker进行了初始化，这就导致了结果是和worker的数量相关的，想要完全复现项目中的结果，第一部分训练的num_workers=16，第二部分训练的num_workers=4。

	abs_rel	sq_rel	rms	log_rms	a1	a2	a3
640 x 192 原文精度	0.106	0.818	4.750	0.196	0.874	0.957	0.979
1024 x 320 原文精度	0.106	0.806	4.630	0.193	0.876	0.958	0.980
640 x 192 复现精度	0.109	0.880	4.903	0.200	0.868	0.955	0.979
1024 x 320 复现精度	0.104	0.798	4.619	0.192	0.879	0.958	0.980

训练日志链接：640x192 train log, 1024x320 finetune log, 640x192 test log, 1024x320 test log

权重文件链接：pytorch resent18 pretrained weight, our best 640x192 weights, our best 1024x320 weights

4. 快速开始

Step 1：准备数据

In [1]

!cat ~/data/data15348/jpg_images.tar.* | tar -x -C ~/data/
!rm ~/data/data15348/jpg_images.tar.*

In [2]

!tar -xzf ~/data/data124009/eigen_test.tgz -C ~/data

Step 2：配置环境

In [3]

%cd /home/aistudio/work/monodepth2-paddle
!pip install -r requirements.txt

Step 3：训练

In [ ]

    # train the model at resolution of 640 x 192
    !python train.py --model_name mono+stereo_model_640x192 --frame_ids 0 -1 1 --use_stereo --data_path ~/data/kitti \
        --log_dir logs --num_workers 4 --weights_init weights/resnet18-pytorch

In [7]

# finetune the best 640 x 192 model at resolution of 1024 x 320!python train.py --model_name mono+stereo_model_1024x320 --frame_ids 0 -1 1 --use_stereo --data_path ~/data/kitti \
    --height 320 --width 1024  --load_weights_folder weights/best_640x192/ \
    --log_dir logs --num_workers 4 --batch_size 4 --num_epochs 2 --learning_rate 5e-5

In [11]

!python evaluate_depth.py --load_weights_folder weights/best_1024x320/ --eval_stereo --data_path ~/data/eigen --num_workers 4

In [ ]

!python demo.py --image_path assets/test_image.jpg --load_weights_folder weights/best_1024x320/

5. 代码结构

├── assets # demo图像├── datasets # 数据集定义├── logs # 日志文件夹├── network # 网络定义├── splits # 数据集数据划分文件├── weights # 存放权重文件├── LICENSE
├── README.md
├── demo.py # 单张图像深度估计脚本├── evalute_depth.py # 测试脚本├── export_gt_depth.py # 计算groundtruth├── kitti_utils.py # 与KITTI数据集相关的功能函数├── layers.py # 基础模块定义├── options.py # 超参数定义├── trainer.py # 训练方式定义├── train.py # 训练入口脚本├── requirements.txt # 依赖包└── utils.py # 功能函数

6. 复现心得

• paddle.grid_sample的反向传播存在Bug，当grid.stop_gradient=False时，x.stop_gradient必须为False，否则会报错，已提交PaddlePaddle issue。
• Paddle Hub中的Resnet预训练参数与PyTorch Hub的不同，使用Paddle的预训练参数在640x192上训练最好只能达到0.113，加载PyTorch的预训练模型可达到0.109。

以上就是Monodepth2-基于自监督学习的单目深度估计模型的详细内容，更多请关注其它相关文章！

# ai  # qq钓鱼网站建设  # 天津抖音seo关键词排名技术  # 电器网站建设管理  # 湖南整合营销网络推广seo  # 进行了  # 官网  # 升级版  # 发表于  # 两种  # 最优  # 美图  # 一言  # 中文网  # 重构  # udio  # python  # 灵寿个人网站推广哪家好  # 常德网站搜索优化多少钱  # 淘宝客还能网站做推广码  # 东莞广告网站推广策划  # seo优化价格为0  # 融安县seo优化服务 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 轩逸e-power挡位b是什么意思  typescript怎么解析vue TypeScript在vue中的使用最新解读  市盈率20a21e是什么意思  春运订票什么时候抢票  2026年将会大爆发的15个新科技  如何更新固态硬盘固件  云笔记本电脑有什么用  typescript怎么设置滚动条  typescript是什么类型的语言  命令行如何打开文件  云淡风轻什么意思  苹果16哪些型号好用  电脑显示屏上power是什么意思  春运抢票到哪里抢票啊  win10如何打开dos命令窗口大小  单片机log怎么看  mysql的datediff函数怎么用  喇叭上POWER4欧是什么意思  如何以命令符运行程序  typescript和es6先学哪个  苹果16改进了哪些  萝卜快跑的收费标准是什么  typescript如何使用  type-c输入接口是什么  faq是什么意思  本科一批和本科二批是什么意思  sqlite中datediff函数怎么用 SQLite中DATEDIFF()函数的用法分享  ai显示无法找到链接的文件是什么意思  j*a map数组怎么取值  j*a数组怎么保存类  j*a二数组怎么创建  折叠屏手机为什么没火  在遥控器中power是什么意思  vue组件typescript怎么用  为什么夸克下载不到  微信最多可以加多少好友  满射为什么没有逆映射  苹果16会升级哪些  苹果16充电方式有哪些  苹果16颜色有哪些  三星固态硬盘如何保修  空调控制面板power灯一直亮是什么意思  苹果16会有哪些更新  如何更新苹果ios16  苹果16都有哪些型号  春运抢票用不用取票码  如何看固态硬盘信息  今天是农历多少号  什么是base64  命令行ftp如何创建目录