当前位置：首页 > news >正文

发布会现场音视频分析：观众情绪热力图生成

news 2026/7/15 14:06:44

发布会现场音视频分析：观众情绪热力图生成

1. 引言：从“听清”到“读懂”观众情绪

你有没有参加过这样的发布会？台上讲得激情澎湃，台下却一片沉默，你根本不知道大家是被震撼到了，还是觉得无聊透顶。传统的音视频分析只能告诉你“说了什么”，但真正决定一场活动成败的，往往是那些没说出口的情绪——笑声、掌声、惊叹，甚至是短暂的骚动。

今天我们要做的，不是简单地把语音转成文字，而是让机器真正“听懂”现场的氛围。借助阿里开源的SenseVoiceSmall 多语言语音理解模型（富文本/情感识别版），我们可以从一段发布会录音中提取出丰富的情感与事件信息，并进一步生成一张观众情绪热力图，直观展示整场活动中观众情绪的起伏变化。

这不仅仅是一个炫技项目，它能帮助产品经理评估用户反馈、让市场团队优化演讲节奏、甚至为AI客服系统提供真实场景的情绪训练数据。接下来，我会带你一步步实现这个能力，即使你是第一次接触语音AI，也能轻松上手。

2. 模型能力解析：不只是语音转写

2.1 SenseVoiceSmall 到底能做什么？

SenseVoiceSmall 是阿里巴巴达摩院推出的一款轻量级音频基础模型，它的强大之处在于“富文本识别”能力。相比传统ASR（自动语音识别）只输出文字，它还能同时识别：

多语言语音内容：支持中文、英文、日语、韩语、粤语等主流语种。
说话人情绪：识别开心（HAPPY）、愤怒（ANGRY）、悲伤（SAD）等情绪标签。
环境声音事件：检测背景音乐（BGM）、掌声（APPLAUSE）、笑声（LAUGHTER）、哭声（CRY）等。

这意味着，一段普通的音频输入，经过处理后会变成类似这样的输出：

[LAUGHTER] 大家好，今天我们带来了一个非常炸裂的产品 [HAPPY] 它的速度比上一代快了三倍！[APPLAUSE]

这些标签就是我们构建情绪热力图的关键原料。

2.2 为什么选择这个镜像？

本文使用的镜像是基于官方模型封装的预置环境镜像，它已经集成了以下关键组件：

FunASR 库：阿里自研的语音识别框架，支持 SenseVoice 模型加载。
Gradio WebUI：提供可视化界面，无需编码即可上传音频并查看带标签的识别结果。
GPU 加速支持：在 4090D 等显卡上可实现秒级转写，适合处理长音频。

这种开箱即用的设计，让我们可以把精力集中在“如何利用结果”上，而不是浪费时间在环境配置和依赖冲突上。

3. 快速部署与本地运行

3.1 启动 Web 服务

如果你使用的是云平台提供的镜像实例，通常会自动运行服务。如果没有，请通过终端执行以下命令启动 Gradio 界面：

python app_sensevoice.py

该脚本的核心逻辑如下：

# app_sensevoice.py import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化模型 model = AutoModel( model="iic/SenseVoiceSmall", trust_remote_code=True, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, language=language, use_itn=True, merge_vad=True, merge_length_s=15, ) raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text # 构建界面 with gr.Blocks() as demo: gr.Markdown("# 🎙 SenseVoice 智能语音识别控制台") audio_input = gr.Audio(type="filepath", label="上传音频") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择" ) text_output = gr.Textbox(label="识别结果", lines=15) submit_btn = gr.Button("开始 AI 识别") submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)

3.2 本地访问方式

由于安全组限制，你需要通过 SSH 隧道将远程服务映射到本地：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，在浏览器打开： http://127.0.0.1:6006

你将看到一个简洁的网页界面，上传任意发布会录音，点击按钮即可获得带有情感和事件标签的富文本输出。

4. 提取情绪数据：从原始标签到结构化信息

4.1 解析富文本输出

模型返回的结果包含大量方括号标签，例如：

[APPLAUSE] 这是我们今年最重要的发布 [HAPPY] 我们相信它会改变行业 [LAUGHTER]

我们需要从中提取两类关键信息：

时间戳信息（如果开启分段识别）
情感与事件标签

虽然默认generate接口不直接返回时间戳，但我们可以通过设置参数启用分段输出：

res = model.generate( input=audio_path, language="auto", output_timestamp=True, # 开启时间戳输出 batch_size_s=30, # 每30秒处理一段 )

每段输出会包含起始和结束时间，以及对应的文本和标签。

4.2 构建情绪数据结构

我们将每一段音频的情绪信息整理成字典格式：

{ "start_time": 120.5, "end_time": 150.0, "text": "这是我们今年最重要的发布", "emotions": ["HAPPY"], "events": ["APPLAUSE"] }

然后遍历整个音频的所有片段，收集所有带有情绪或事件的段落。

4.3 统计情绪频率

接下来，我们可以按时间窗口（如每分钟）统计各类情绪和事件的出现次数：

时间区间（秒）	开心	掌声	笑声
0-60	0	1	0
60-120	2	3	1
120-180	5	6	2

这个表格就是我们绘制热力图的基础数据。

5. 生成观众情绪热力图

5.1 什么是情绪热力图？

情绪热力图是一种可视化工具，用颜色深浅表示某种情绪或事件在不同时间段的活跃程度。横轴是时间线，纵轴是情绪类型，颜色越深代表该情绪出现频率越高。

它能让你一眼看出：

哪个环节观众最兴奋？
哪里出现了冷场？
演讲节奏是否合理？

5.2 使用 Python 绘制热力图

我们可以使用matplotlib和seaborn来生成这张图：

import matplotlib.pyplot as plt import seaborn as sns import numpy as np import pandas as pd # 示例数据：每分钟的情绪计数 data = { 'Time (min)': ['0-1', '1-2', '2-3', '3-4', '4-5'], 'HAPPY': [0, 2, 5, 3, 1], 'APPLAUSE': [1, 3, 6, 4, 2], 'LAUGHTER': [0, 1, 2, 3, 1], 'BGM': [0, 0, 0, 1, 1] } df = pd.DataFrame(data) df.set_index('Time (min)', inplace=True) # 绘制热力图 plt.figure(figsize=(10, 6)) sns.heatmap(df, annot=True, fmt="d", cmap="YlOrRd", cbar_kws={'label': '出现次数'}) plt.title("发布会观众情绪热力图") plt.ylabel("情绪类型") plt.xlabel("时间区间（分钟）") plt.xticks(rotation=0) plt.tight_layout() plt.show()

![情绪热力图示意图]

这张图清晰地告诉我们：第2到3分钟是全场情绪高潮，掌声和开心情绪达到峰值；而第4分钟开始加入背景音乐后，现场互动略有下降。