新闻中心

扩散模型新突破!无需微调,就能高效稳定移除目标物体

2025-02-24
浏览次数:
返回列表

aixiv 专栏重磅发布:无需微调,高效目标移除的扩散模型新方法——attentive eraser

AIxiv 专栏持续关注并报道全球顶尖AI研究成果。过去数年,我们已发布超过2000篇学术技术文章,涵盖各大高校和企业实验室的最新研究。欢迎投稿或联系我们报道您的优秀工作!投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

研究团队: 浙江工商大学统计与数学学院硕士生孙文灏、阿里巴巴算法工程师崔奔雷(共同第一作者),浙江工商大学统计与数学学院董雪梅教授(通讯作者)。

扩散模型在图像生成领域取得了显著进展,尤其在处理高维复杂数据方面优势明显。然而,将其应用于图像目标移除任务时,仍面临诸多挑战,例如移除目标后残留伪影等问题。为解决这些问题,本文提出了一种无需微调的基于扩散模型的目标移除方法——Attentive Eraser,显著提升了预训练扩散模型的目标移除能力。AAAI 2025 录用并选为 Oral Presentation。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

核心创新:

Attentive Eraser 的核心在于其双重创新:

  1. 注意力激活和抑制 (AAS): 通过巧妙地修改预训练扩散模型的自注意力机制,增强模型对背景的关注,同时抑制对前景目标的关注。 此外,引入相似性抑制 (SS) 机制,有效避免因自注意力机制导致的对背景中相似目标的误判。

  2. 自注意力重定向引导 (SARG): 利用 AAS 修改后的自注意力机制,引导逆向扩散采样过程,从而更精准地移除目标并生成与背景自然融合的内容。

图片

研究背景与方法:

当前,扩散模型如 Stable Diffusion (SD) 在图像生成方面表现出色。然而,直接应用于目标移除任务时,常出现伪影。虽然已有基于微调或提示工程的方法,但这些方法成本高且效果不稳定。Attentive Eraser 则提供了一种无需微调的解决方案,有效解决了这些问题。

图片

实验结果:

Reachout.ai Reachout.ai

一个AI驱动的视频开发平台,专为忙碌的企业家和销售团队打造

Reachout.ai 142 查看详情 Reachout.ai

实验结果表明,Attentive Eraser 在多种预训练扩散模型上均表现出色,甚至优于一些基于微调的方法。其在目标移除的质量和稳定性方面均取得了显著提升。用户偏好研究和 GPT-4o 评估进一步验证了其优越性。

图片

图片

图片

鲁棒性和可扩展性:

Attentive Eraser 对不同精细度的掩码具有鲁棒性,并可扩展到其他预训练扩散模型(例如,生成动漫图像的模型)。

图片

图片

论文及代码:

  • 论文标题:Attentive Eraser: Unleashing Diffusion Model's Object Removal Potential via Self-Attention Redirection Guidance
  • 论文链接:https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29c
  • Github 地址:https://www.php.cn/link/41111c8e0e924d1df17bf19f0da5c100
  • Diffusers Pipeline:https://www.php.cn/link/38d526e00fad4f0b9b4534405e5badfd
  • Model Scope Demo:https://www.php.cn/link/eb7bfee7a00af6aedab37fdb7fc71d64
  • Hugging Face Demo:https://www.php.cn/link/8210d4caae707aa1f8be6d3fd558812b

图片

图片

欢迎访问论文链接了解更多细节。

以上就是扩散模型新突破!无需微调,就能高效稳定移除目标物体的详细内容,更多请关注其它相关文章!


# 浙江  # 公司网站怎么优化好  # 大品牌建材网站建设  # 江苏seo助手推荐  # 凉山seo网站优化  # 重庆seo工具怎么做  # 番禺抖音seo推广排名  # 杭州机械行业网站优化  # 韭菜seo  # 武汉seo快速  # 石排生物医药网站推广  # 开源  # 你该  # 句话  # 工程  # 应用于  # 新突破  # 网易  # 就能  # 神技  # 移除  # Stable Diffusion  # Hugging Face  # 2025  # red  # 邮箱  # ai  # git 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 雅迪电动车上的power是什么意思  索尼type-c接口是什么  typescript要用什么工具  市盈率当中17A 18E是什么意思  命令行如何运行j*a  液位传感器power是什么意思  苹果16系统有哪些系列  1kb等于多少字节  j*a如何运行curl命令行  喇叭上标的power30w是什么意思  vi命令如何使用方法  md5解密是什么意思  typescript 如何解决 null  单片机串口接收怎么实现  旧固态硬盘如何卖出  单片机速度怎么看  夸克还原排版是什么意思  单片机怎么定义字符长度  如何去掉拍电脑的纹路详细教程  联想手机如何输入命令行  苹果16哪些会降价的  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  为什么ai老是说链接面板中缺少某些文件  苹果16有哪些bug  51单片机怎么连接端口  苹果16改掉了哪些  春运抢票需要什么软件抢  苹果16会有哪些更新  固态硬盘如何外接  得物怎样不扣手续费 如何通过得物不支付手续费  typescript中文怎么读  360n7锁屏壁纸怎么固定  电脑type-c接口是什么意思  市盈率动亏损是什么意思  哪些编程软件需要typescript  typescript能开发什么  typescript文件怎么打开  单片机怎么控制内功率  如何通过命令行聊天  三星相机里power是什么意思  苹果16送哪些配件  电脑5G怎么上传手机  如何用命令查看数据库日志文件  春运抢票多久可以买到票  ao3镜像网站永久地址入口  苹果16有哪些变化尺寸  怎么打印数组j*a  vue组件typescript怎么用  爱奇艺会员qq登录可以几个人用?  win7旗舰版wifi怎么打开 

搜索