AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

皮仁杰：香港科技大学博士三年级学生，师从张潼教授和周晓方教授。于 2025 年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的 ai。

张鉴殊：武汉大学本科三年级学生，目前在张潼教授的指导下担任研究实习生，主要研究方向是大语言模型，多模态大语言模型以及持续学习。当下在寻找 2025 fall 博士入学机会。

在当今的多模态大模型的发展中，模型的性能和训练数据的质量关系十分紧密，可以说是 “数据赋予了模型的绝大多数能力”。

在这其中，图像 - 文本数据集发挥着至关重要的作用，在图像理解、文本生成和图像检索等多个领域发挥着关键作用。

然而，现有的图像描述数据集主要来源于网络抓取和人工标注，存在着质量参差不齐、细节缺失、描述噪音多等问题。尽管人类可以为图像提供详细的描述，但高昂的标注成本限制了其规模和可行性。因此，迫切需要一种高效、可扩展的方法来生成准确且详细的图像描述。

为了应对上述挑战，来自香港科技大学、武汉大学、浙江大学、UIUC的研究者联合提出了一种创新的自动化框架 ——Image-Textualization（IT），该框架通过整合多模态大语言模型（MLLMs）和多种视觉专家模型的协作，将图片信息进行文本化，最后利用拥有强大的推理能力的纯文本大语言模型将这些文本化的信息转化为高质量的图像描述。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文：Image Textualization: An Automatic Framework for Creating Accurate and Detailed Image Descriptions

• 论文地址：https://arxiv.org/pdf/2406.07502v1

• 项目地址：https://github.com/sterzhang/image-textualization/

                                ^{利用多模态模型造的图片描述 vs 利用 IT 生成的图片描述}

总的来说，本文贡献包括：

• 创新框架：我们提出了图像文本化框架，利用多模态大模型的的粗粒度图像理解能力，视觉专家模型的精细感知能力，以及纯文本大语言的模型的推理能力去自动生成细节丰富且语言表达清晰的图像描述。

• 评估基准与实验：提出了多个评估细节丰富的图片描述的基准，通过广泛的实验验证了框架的有效性。

• 数据集与代码发布：利用我们的图像文本化框架，我们生成了一个大规模高质量的图像描述数据集（IT-170K）。为了促进未来的研究，我们已将所有源代码和生成的数据集公开发布。

Image Textualization 方法

Image-Textualization（IT）框架包括以下三个阶段：

1. 粗粒度的图片文本化（Holistic Textualization）：首先利用多模态大语言模型对图片生成参考描述，尽管这些描述可能存在细节缺失和幻觉，但它们为图像的视觉信息和语言表达提供了基本结构。这里视觉的结构主要体现在参考描述中往往会包含一些大的，核心的物体，这个可以为后续的细节提供类似 “锚点” 的作用，能够使得最后的文本化重述（Textualized Recaptioning）更好的添加细节。另外，语言表达上的结构主要体现在多模态大模型包含的纯文本大语言模型使得其拥有较强的语言能力，这使得这里生成的参考描述能够在语言上有良好的组织，比如会先说出这个图片大概描述了些什么，然后展开细节，最后总结，这种描述风格较为偏向人类的偏好。这也能够使得最后的文本化重述（Textualized Recaptioning）能够在一个语言能力较好的模板上进行加工。

2. 视觉细节文本化（Visual Detail Textualization）：这个阶段我们同时从图片端和文本端进行细节的提取。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

首先是文本端，由于在上一阶段中我们利用多模态大模型生成的参考描述可能含有幻觉，所以这里首先做的是 “幻觉检测”。我们首先利用 LLM 去抓取参考描述中含有的实体，再利用了一个开集检测器去图片里对这个实体进行匹配，如果没有被检测出来，则将这个实体判断为幻觉。这里我们把检测出来的幻觉也进行了文本化，在最后的文本化重述（Textualized Recaptioning）进行删除。

在视觉端，我们利用在高分辨率图片上训练出来的各个任务上的视觉专家模型提取图像中的细节信息。想要将一个图片上的物体的细节信息利用文本表达出来仅仅用物体的 caption 是不够的，我们首先利用提取这些物体的 bounding box 来把这些物体的左右关系给用文本的方式体现出来。但图片中的物体不仅仅有左右信息，还有前后信息。对此，我们首先利用分割模型将这些物体的 mask 给提取出来，再将原本的图片转化为深度图，通过计算深度图中特定物体 mask 对应的深度分数来将深度信息由文本体现出来。至此，我们能利用文本还原出图片中各个物体的大小，左右位置，前后关系等细节信息。

3. 文本化重述（Textualized Recaptioning）：结合前两个阶段的图片信息文本化的结果，加上我们通过精心设计的改写 prompt，纯文本的大语言模型能够很好的通过纯文本还原出图片的信息，并通过强大理解和推理能力生成详细且准确的图像描述。

全面评估与实验验证

为了验证我们框架的有效性，我们构建了三个评估基准，分别是 DID-Bench（详细图像描述基准）、D2I-Bench（描述到图像基准）和 LIN-Bench（语言基准）。我们进行了广泛的实验，结果表明 IT 框架生成的图像描述在细节丰富度和准确性方面显著优于现有方法。尤其是，通过我们的 IT 框架生成的数据集训练的 MLLMs，如 LLaVA-7B，展现出了更强的图像描述能力，减少了幻觉现象。

DID-Bench（详细图像描述基准）：用于评估图片描述和人类手动标的详细的图片描述的相似性。可以看到我们的修改后的 IT-{LLaVA} 和 IT-{GPT4-V} 图片描述都比修改前的要更详细和准确，更贴合人类标注出来的描述。

D2I-Bench（描述到图像基准）：利用文生图模型将生成的描述转化为图片，和原图进行相似度的对比，这里我们选取了 CLIP-score 和 DINO-score 进行评估，都能达到更高的分数。

另外我们还在 POPE 和 LIN-Bench 上验证了利用我们框架生成数据进行训练的 LLaVA-7B 能够在生成描述更详细更复杂的情况下（表右侧 LIN-Bench），还能降低幻觉（表左侧 POPE 基准）。

最后，我们对生成出的数据进行了统计上的对比，可以看到我们修改后的描述中各个词性的数量上都能有较大的提升。

未来展望

我们的工作不仅解决了现有图像描述数据集的局限性，也为设计更高效、可扩展的方法提供了灵感。我们期待 IT 框架在更多应用领域中展示其潜力，推动图像理解和生成技术的进一步发展。

以上就是将图像自动文本化，图像描述质量更高、更准确了的详细内容，更多请关注其它相关文章！

# 日韩  # 网站建设的前景和现状  # 邢台网站建设评价  # 品牌网站推广度高的产品  # 谷歌seo ai写作  # 百度营销推广各时段  # 山东seo查询案例  # 网站关键词优化怎么做好  # 丰台网站建设价格  # 上海奉贤网络营销推广  # 徐州关键词排名哪里有  # 可以看到  # 工程  # 多个  # 语言表达  # 进行了  # 转化为  # 提出了  # 多模  # 更准确  # 更高  # type  # descript  # git 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 电脑如何查看固态硬盘  win10系统如何打开cmd命令  市盈率是什么意思高好还是低好  ssd固态硬盘如何安装  j*a怎么清除数组  命令控制台如何执行sql文件  ao3镜像网站哪个好  linux如何切换到命令行模式  51单片机怎么连接端口  新找到ao3镜像网站链接入口  如何用ftp连接命令行  j*a数组求和怎么算  汽车的type-c接口是什么  awful是什么意思  虽千万人吾往矣什么意思  如何以管理员身份打开命令提示符  主板如何禁用固态硬盘  夸克网盘是什么都有吗  启辰星power标志是什么意思  33000日元等于多少人民币  j*a中怎么截取数组  单片机程序负数怎么表示  电动车仪表盘上的power是什么意思  喇叭上标的power30w是什么意思  51单片机怎么用flash  typescript掌握哪些可以做项目  typescript怎么写react  16苹果有哪些机型  输入命令如何换行  performance是什么意思  如何卸载typescript  系统如何装在固态硬盘  typescript怎么设置滚动条  如何拍屏幕不出条纹详细方法  如何进入 dos 命令行  如何用命令查看数据库日志文件  苹果电脑如何输入命令  linux环境中如何使用ping命令  360桌面壁纸怎么弄掉  1s等于多少ms  夸克为什么老是投屏失败  typescript变量是什么  如何让固态硬盘坏掉  python如何命令行换行  如何修改cad命令  市盈率静是什么意思  nfc近场通讯功能是什么意思  typescript能干什么  a03怎么根据编号找文链接入口  typescript为什么现在才火