基于微调生成式模型的多模态新闻事件类型抽取

摘要：

由于缺少细粒度对齐的多模态新闻事件类型抽取数据集，当前仍采用弱监督方法训练多模态新闻事件类型抽取模型。为了丰富训练过程中单一模态数据的模态多样性，同时扩充更多细粒度对齐的多模态数据用于模型训练，提出一种基于微调生成式模型的多模态新闻事件类型抽取方法FGMNETE。首先，采用经过微调后的图像描述模型以及图像生成模型扩充文本与图像模态数据，以此生成更加符合新闻事件内容的多模态数据，之后采用三阶段训练策略，以此平衡不同模态间的学习速率并减少数据集以及生成数据所带来的噪音干扰。在公开数据集M2E2上的广泛实验表明，该方法在提升生成数据质量与多模态新闻事件类型抽取性能方面有着显著优势。

关键词：

多模态新闻事件类型抽取；模型微调；图像生成；图像描述；数据噪音；

1. 相关工作

随着多模态相关研究的深入发展，模态间信息特征的互补作用也愈发被研究人员所重视。多模态新闻事件类型抽取（Multimodal News Event Type Extraction）任务作为多模态信息抽取领域的分支，能够为很多下游研究提供重要的数据支持。同时不同模态的信息特征可以提高模型对新闻事件类型的识别准确度，提升新闻事件类型抽取模型的性能，多模态新闻事件类型抽取也逐步成为新兴的研究方向被更多研究人员所关注。

缺少大规模用于监督训练的多模态新闻事件类型抽取数据集是阻碍模型提取能力的重要原因之一。Li 等人[1]提出了基于弱监督训练的WASE（Weakly Aligned Structured Embedding）模型，并发布了多模态新闻事件抽取测试集M2E2。Liu 等人[2]构建了基于统一对比学习的多模态新闻事件表示框架，提高了模型多模态新闻事件抽取以及零样本图像新闻事件抽取的能力。受生成式人工智能模型的启发，Du等人[3]成功地利用人工生成的多模态训练数据，使用现成的图像生成器和图像字幕生成器生成缺失的模态，并构建了模型 CAMEL（Cross-modality Augmented Multimedia Event Learning）。

综上所述，多模态新闻事件类型抽取研究取得了一定的成果，但在不同模态数据补充方面仍存在生成内容错误、模型幻觉以及非自然伪影等问题。因此探究如何提高生成式模型生成更加符合新闻领域的文本描述与图像内容，并减少生成数据的多种噪音问题，仍面临较大的挑战。

2. 模型

本文提出了一种基于微调生成式模型的多模态新闻事件类型抽取模型（Multimodal News Event Type Extraction Based on Fine-tuned Generative Modeling, FGMNETE），模型结构如图1所示。

图1 模型架构图

2.1 基于微调的生成式模型

图像生成模型选用Stable Diffusion v2.1模型[4]为ACE2005数据集[5]中的每个文本事件生成相关的图像，为每一条文本事件生成4张图像数据。微调模型方面，借助Lora微调技术[6]对模型进行微调训练。当图像生成模型接收一组文本语句作为模型的输入，对应的一组图像作为模型输出标签。模型的初始参数权重矩阵为，通过增加一个额外的参数矩阵进行一个降维再升维的计算获得变化权重参数矩阵，通过模型微调后的参数矩阵可由以下公式表示。

同理，针对imSitu数据集[7]，选用BLIP模型进行图像描述内容的生成。使用VOA数据集中的图像序列作为模型输入，与之对应的文本语句作为输出标签。对于数据集中的每一个图像设置只生成一个图像描述。

2.2 基于三阶段模型训练的新闻事件类型抽取

2.2.1 数据特征提取与跨模态特征融合

对于文本事件，使用DebertaV3[8]编码器对句子中的每个单词进行编码，将其表示为。同时我们通过微调CLIP模型构建了一个多模态低维特征表示空间对句子进行编码从而获得句子的维全局特征表示。同时对图像事件也经过低维特征表示空间进行编码从而获得图像的维特征表示。具体讲该多模态低维特征表示空间使用VOA数据集进行对比学习预训练，之后使用imSitu数据集进行微调。预训练与微调期间均使用动量蒸馏技术进行额外的监督，从而减少数据噪音的影响。跨模态特征融合采用跨模态注意力网络进行特征间的有效交互与融合。

2.2.2 新闻事件类型抽取

文本事件类型提取，将文本中每个单词的特征表示作为跨模态特征融合的查询向量，将与之匹配的所有图像特征与单词特征作跨模态特征查询从而获得融合特征。之后将文本事件语句的全局特征表示与融合特征进行连接获得文本事件特征表示，最终通过线性分类器获得模型对该文本事件类型的预测。

图像事件类型方面，使用图像的全局特征作为查询向量，并将与之对应的文本特征进行跨模态特征融合从而获得融合特征，最后将图像事件的全局特征表示与融合特征进行连接获得图像事件特征表示，最终通过线性分类器获得模型对该图像事件类型的预测。

2.2.3 三阶段迭代渐进式模型训练策略

通过弱监督方法，利用ACE2005和imSitu数据集训练模型，并通过M2E2数据集进行评估。由于不同数据集之间的分布差异显著，可能会削弱模型的鲁棒性。因此，需要学习能够良好泛化的鲁棒特征表示，以应对上述问题。采用三阶段迭代渐进式训练策略，整个训练过程分为三个阶段。在第一阶段，分别训练图像新闻事件类型和文本新闻事件类型抽取模型。在此阶段，除对应生成数据的特征提取器外，其余模型参数均参与训练。在第二阶段，依次完成图像事件类型和文本事件类型抽取的训练。此时，图像与文本编码器均被冻结，仅对模态融合模块和事件类型分类器进行训练，以使图像分类器适应第一阶段中文本编码器变化带来的影响，反之亦然。最后，在第三阶段，通过冻结所有模型参数，仅针对图像事件类型分类器进行微调。

2.3 跨模态事件共引

对于多模态新闻事件类型抽取任务，需要将文本与图像事件相结合从而实现两者间的共引用。通过预训练与微调的多模态语义特征表示空间对文本与图像进行余弦相似度计算。当文本与图像具有相同的事件类型同时两者的相似度大于阈值，则可以将两者组合成一个事件集。

3. 实验设计与结果分析

3.1 实验数据集及相关设置

模型预训练与微调阶段涉及VOA图像标题对数据集以及imSitu数据集，其中VOA新闻图像标题对数据集包含123078个图像标题对，均来自美国之音（VOA）网站2006-2017年的108693篇多媒体新闻文档。imSitu数据集共包含504个活动动词与1788个语义角色。模型训练阶段，图像事件类型抽取采用imSitu数据集进行训练，文本事件类型抽取使用ACE2005数据集。ACE2005数据集共包含了33种事件类型与36个语义角色。最后采用M2E2数据集进行模型评估。该数据集是由245篇多媒体新闻文档中的6167个句子和1014张图片组成，共涵盖8种新闻事件类型。模型评价采用精确率（P）、召回率（R）以及F1 score（F1）三个指标。

表1 对比实验结果

3.2 对比实验分析

为了验证所提出模型的有效性，选取当前多模态新闻事件类型抽取研究领域较为流行的几种模型进行对比实验。其中带有“※”的模型所展示的实验结果，均为经过复现得出的实际结果。

由表1可知，本文所提出的FGMNETE模型相较于基线模型在精确率P、召回率R以及F1值方面取得了一定的提升。JMEE、GAIL、WASEobj以及UniCL※模型在训练与测试阶段均未引入生成式模型为训练过程提供额外数据支持，通过引入生成式模型所生成的数据作为模型训练依据，FGMNETE模型在文本新闻事件的F1值均超过了上述模型，由此可见引入生成式模型可以有效减少因数据集规模导致模型性能不佳的问题。对比CAMEL※可知，FGMNETE模型在使用经过微调生成式模型所生成的数据进行模型训练后，无论是文本新闻事件类型抽取、图像新闻事件类型抽取以及都模态新闻事件类型抽取的召回率以及F1值均有显著的提升，而精确率P方面除了图像新闻事件类型抽取略有下降外，也都实现了一定的改进提升。

4 结束语

针对现有缺乏大规模训练多模态新闻事件类型抽取得数据，同时数据存在较多噪音影响模型性能问题，本文提出了一种基于微调生成式模型的多模态新闻事件类型抽取模型FGMNETE。该模型首先对图像生成模型和图像描述模型进行Lora微调，随后对单模态数据集进行多模态数据扩充。在多模态事件抽取模型的训练阶段，针对文本和图像事件类型采用了三阶段渐进式训练策略，有效缓解了不同模态学习速度不一致的问题以及数据中可能出现的伪影、幻觉以及数据分布变化等问题。通过实验，结果表明该模型能够借助生成式模型进行模态数据的扩充并有效减少数据噪音问题，实现了模型高效的多模态新闻事件类型抽取能力。

参考文献

[1] Li M, Zareian A, Zeng Q, et al. Cross-media structured common space for multimedia event extraction[C]//58th Annual Meeting of the Association for Computational Linguistics, ACL 2020. Association for Computational Linguistics (ACL), 2020: 2557-2568.

[2] Liu J, Chen Y, Xu J. Multimedia event extraction from news with a unified contrastive learning framework[C]//Proceedings of the 30th ACM International Conference on Multimedia. 2022: 1945-1953.

[3] Du Z, Li Y, Guo X, et al. Training multimedia event extraction with generated images and captions[C]//Proceedings of the 31st ACM International Conference on Multimedia. 2023: 5504-5513.

[4] Rombach R, Blattmann A, Lorenz D, et al. High-resolution image synthesis with latent diffusion models[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022: 10684-10695.

[5] Doddington G R, Mitchell A, Przybocki M A, et al. The automatic content extraction (ace) program-tasks, data, and evaluation[C]//Lrec. 2004, 2(1): 837-840.

[6] Hu E J, Wallis P, Allen-Zhu Z, et al. LoRA: Low-Rank Adaptation of Large Language Models[C]//International Conference on Learning Representations.

[7] Yatskar M, Zettlemoyer L, Farhadi A. Situation recognition: Visual semantic role labeling for image understanding[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 5534-5542.

[8] He P, Gao J, Chen W. DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing[C]//The Eleventh International Conference on Learning Representations.