专利名称 基于跨模态对齐与融合的多模态实体和关系抽取方法及系统
申请号/专利号 专利权人(第一权利人) 延边大学
申请日 2025-02-25 授权日 2025-09-02
专利类别 战略新兴产业分类 新一代信息技术
技术主题 通用技术|技术研发|语义分析|工程技术|技术创新|应用技术|神经学习方法|节能计算|发明专利
应用领域
意向价格 具体面议
专利概述 本发明公开了基于跨模态对齐与融合的多模态实体和关系抽取方法及系统,包括:对输入文本和图像进行处理和编码,获得多种图像和文本特征;以图像的语义表示为锚点,分别对细粒度和粗粒度的文本特征与像素级图像表示进行特征对齐,将图像和文本特征映射到同一语义空间;通过文本引导动态门控聚合、视觉前缀跨模态融合、跨模态图文匹配,进行多粒度特征融合,增加特征互补性的同时建模文本中名词短语与图像对象的关联,获得多粒度的多模态特征表示;通过实体引导注意力门控融合多粒度的多模态特征,聚集文本实体相关的视觉信息,获得最终的多模态融合表示;根据多模态融合表示,分别进行多模态命名实体识别和多模态关系抽取的任务预测。
图片资料 基于跨模态对齐与融合的多模态实体和关系抽取方法及系统
合作方式 具体面议
联系人 孟爽 联系电话 18088660757