看书阁

手机浏览器扫描二维码访问

第380章 排好（第2页）

al.，

2020）.

在这项调查中，我们包括了所有格式不同于自然语言的模式，其中包括图像、代码、结构化知识（如......例如

表、知识图谱）、音频和视频。

3多模态检索-增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。3.1图像预训练模型的最新进展为一般图像-文本多模态模型提供了启示。

然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数--因为它们需要记忆大量的世界知识。更关键的是，它们无法有效处理新知识或领域外知识。为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加

"想象力"。视觉问题解答（vqa）

为了解决开放域的

vqa

问题，ra-vqa

（lin

和

byrne，

2022b）

通过对检索到的文档进行近似边际化预测，联合训练文档检索器和答案生成模块。它首先利用现有的对象检测、图像标题和光学字符识别（ocr）工具将目标图像转换为文本数据。然后，它执行密集段落检索（dpr）。

也将

llm

视为隐式知识库，并从

gpt-3

中提取相关隐式信息。即插即用

利用

根据初始问题定位相关部分。然后，它对检索到的图像补丁执行图像标题处理，以获取增强上下文。除了纯文本增强上

同时检索文本和图像数据，并将图像作为视觉标记。ramm（玉an

et

al.，

2023）

检索类似的生物医学图像和标题，并通过不同的网络对其进行编码。图像标题

生成多种风格的标题、

周和龙

（2023）在生成标题前使用了一种风格感知视觉编码器来检索图像内容。除了对视觉信息进行简单的编码外，cho

等人还使用了视觉编码器、

cho

et

al.

（2022）

进一步使用图像-文本对之间的多模态相似性作为奖励函数来训练更精细的字幕模型。除了检索图像元素外、

过检索新闻文章中的视觉基础实体来处理新闻图片标题。视觉基础对话lee

et

al.，

2021b）

我手握无限物资，砸出末世安全区  沙雕攻以为他虐了白月光  穿成花瓶美人，反派老公破产了  快穿：盘古居然是我哥  我在修仙游戏世界中浑水摸鱼  小马宝莉：星空之下  京港月光  都市神医，开局扇醒拜金女  医林萧韵  逼我做妾？真太子为我入赘将军府  穿越明朝之我救了马皇后  凛冬末日：全民避难所求生  空间通末世，我带飞全家很合理吧  七零娇美人，甩掉知青当首富  跌落山崖的我，习得神级功法  七零大厂美人，改造反派崽暴富  新来的转校生竟比校霸还野  八零守寡小娇娇，冷面糙汉被钓疯  我在无限游戏中永生  武侠游戏：只有我知道剧情