跑通多模态情感分析：Multimodal-Sentiment-Analysis 图文融合实战指南

跑通多模态情感分析：Multimodal-Sentiment-Analysis 图文融合实战指南

【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERT+ResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis

用户发了一条带图吐槽，系统却只读到了文字，情感判断自然偏了。Multimodal-Sentiment-Analysis 解决的就是这个问题：RoBERTa 读文本、ResNet50 读图像，内置 5 种多模态融合策略，对图文输入输出 3 类情感标签。项目自带训练脚本和示例数据，跟着下面 4 步就能跑起来。

📦 项目速览

• 做什么：对「文本 + 图像」配对输入做 3 类情感分类
• 技术底座：HuggingFace Transformers + PyTorch / torchvision，文本端 RoBERTa，图像端 ResNet50
• 维护者：数据学院人工智能课程的实验项目，代码量小、结构直接
• 5 种融合模型分别放在Models/目录的 5 个文件里，改Config.py一个参数即可切换

🔍 多模态情感分析核心能力拆解

能处理哪些输入组合？

图文双模态是默认模式；训练/测试时加--text_only或--img_only参数即可退化为单模态，方便做消融对比。

多模态融合策略怎么选型？

5 种策略分两档：NaiveCat（直接拼接）和 NaiveCombine（加权合并）适合当 baseline；CMAC（跨模态注意力）、HSTEC（对隐藏状态做 Transformer 编码）、OTE（对模态输出向量做 Transformer 编码）适合追求更高精度。

效果有参考数据吗？

官方 3 分类实验：OTE 最高 74.625%，NaiveCombine 73.625%，HSTEC 73.125%，NaiveCat 71.25%，CMAC 67.1875%。消融实验里纯文本 71.875%、纯图像 63%，说明图像单独信号弱，但图文结合仍优于文本单模态。

谁需要它：多模态情感分析的落地场景

• 电商运营：给「商品图 + 评价文字」的评论做情感打标，比纯文本方案多一层证据
• 客服系统：用户带图投诉时，把图文情绪一起判掉再决定工单优先级
• 多模态方向学习者：5 种融合结构跑在同一套数据和训练流程下，天然适合做对比实验

⚡ 5 分钟上手

1. 克隆仓库：git clone https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis
2. 安装依赖：pip install -r requirements.txt（注意锁定的是 torch 1.8.2 / transformers 4.18.0，新环境可能要自行升级）
3. 准备数据：按 README 指引下载数据集并解压到data/目录（仓库里data/train.json可当格式参考）
4. 开始训练：python main.py --do_train --epoch 10 --text_pretrained_model roberta-base --fuse_model_type OTE

训练产物会存到output/目录；测试时把--do_train换成--do_test，再加--load_model_path指向保存的模型即可。

延伸阅读

• Models/：5 个融合模型各自的完整实现，配合上文架构图对照着看
• Trainer.py：训练、验证、预测主循环，想换指标或日志格式从这里改
• Config.py：学习率、batch size、注意力头数等全部超参集中在一个类里

如果你正在给带图评论做情感标注，建议先用默认配置跑一版 OTE，再对照单模态消融结果，就能直观看到图像端到底贡献了多少。

【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERT+ResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis