当前位置：首页 > news >正文

Phi-3 Forest Lab部署教程：添加模型响应质量评分与人工反馈闭环

news 2026/7/26 15:33:56

Phi-3 Forest Lab部署教程：添加模型响应质量评分与人工反馈闭环

1. 项目介绍与环境准备

Phi-3 Forest Lab是一个基于微软Phi-3 Mini 128K Instruct模型构建的极简主义AI对话终端。它不仅保留了原模型强大的推理能力，还通过精心设计的UI和交互方式，为用户提供了独特的"森林治愈系"体验。

1.1 系统要求

操作系统：Linux (推荐Ubuntu 20.04+) 或 Windows 10/11
Python版本：3.9或更高
GPU：NVIDIA显卡(推荐RTX 3090/4090)，至少16GB显存
内存：32GB或更高
存储空间：至少20GB可用空间

1.2 快速安装

# 克隆项目仓库 git clone https://github.com/your-repo/phi3-forest-lab.git cd phi3-forest-lab # 创建并激活虚拟环境 python -m venv venv source venv/bin/activate # Linux/macOS # venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt

2. 基础部署与运行

2.1 模型下载与配置

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "microsoft/Phi-3-mini-128k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

2.2 启动Streamlit UI界面

streamlit run app.py

启动后，在浏览器中访问http://localhost:8501即可看到Forest Lab的界面。

3. 添加响应质量评分功能

3.1 评分系统设计原理

我们设计了一个多维度评分系统，从以下方面评估模型响应质量：

相关性：回答与问题的匹配程度
完整性：回答是否全面覆盖问题要点
逻辑性：回答是否逻辑清晰、推理合理
语言质量：语法正确性、表达流畅度

3.2 实现自动评分功能

from sentence_transformers import SentenceTransformer from sklearn.metrics.pairwise import cosine_similarity # 初始化评分模型 scoring_model = SentenceTransformer('all-MiniLM-L6-v2') def calculate_response_score(question, response): # 计算语义相关性 embeddings = scoring_model.encode([question, response]) relevance = cosine_similarity([embeddings[0]], [embeddings[1]])[0][0] # 其他评分维度(简化示例) completeness = min(1.0, len(response.split()) / 50) # 假设50词为完整回答 logic_score = 0.8 # 可通过更复杂方法计算 # 综合评分(权重可调整) total_score = 0.4*relevance + 0.3*completeness + 0.3*logic_score return round(total_score * 5, 1) # 转换为5分制

3.3 集成到对话界面

在Streamlit应用中添加评分显示：

import streamlit as st # 在对话显示后添加评分 if st.session_state.responses: latest_response = st.session_state.responses[-1] question = st.session_state.questions[-1] score = calculate_response_score(question, latest_response) st.markdown(f""" <div style="background-color:#f0f8f0;padding:10px;border-radius:8px;"> <p style="color:#2e8b57;">🌱 回答质量评分: {score}/5.0</p> </div> """, unsafe_allow_html=True)

4. 实现人工反馈闭环系统

4.1 用户反馈收集界面

在Streamlit侧边栏添加反馈组件：

with st.sidebar: st.subheader("🌿 反馈系统") if st.session_state.get('last_response'): feedback = st.radio( "这个回答有帮助吗？", ["👍 很有帮助", "👎 不太满意", "🤔 一般般"], key="feedback" ) if st.button("提交反馈"): save_feedback_to_db( question=st.session_state.questions[-1], response=st.session_state.responses[-1], feedback=feedback, auto_score=st.session_state.last_score ) st.success("感谢您的反馈！")

4.2 反馈数据存储与分析

使用SQLite存储反馈数据：

import sqlite3 from datetime import datetime def init_feedback_db(): conn = sqlite3.connect('feedback.db') c = conn.cursor() c.execute('''CREATE TABLE IF NOT EXISTS feedbacks (id INTEGER PRIMARY KEY AUTOINCREMENT, question TEXT, response TEXT, feedback TEXT, auto_score REAL, timestamp DATETIME)''') conn.commit() conn.close() def save_feedback_to_db(question, response, feedback, auto_score): conn = sqlite3.connect('feedback.db') c = conn.cursor() c.execute("INSERT INTO feedbacks VALUES (NULL, ?, ?, ?, ?, ?)", (question, response, feedback, auto_score, datetime.now())) conn.commit() conn.close()

4.3 反馈数据可视化

添加反馈数据分析面板：

def show_feedback_analytics(): conn = sqlite3.connect('feedback.db') df = pd.read_sql_query("SELECT * FROM feedbacks", conn) conn.close() if not df.empty: st.subheader("📊 反馈数据分析") # 计算满意度比例 feedback_counts = df['feedback'].value_counts(normalize=True) * 100 st.bar_chart(feedback_counts) # 显示自动评分与人工反馈的对比 st.write("自动评分与人工反馈对比:") fig, ax = plt.subplots() sns.boxplot(x='feedback', y='auto_score', data=df, ax=ax) st.pyplot(fig)

5. 模型持续改进机制

5.1 基于反馈的模型微调

定期使用收集的反馈数据微调模型：

from transformers import TrainingArguments, Trainer def fine_tune_model(feedback_data): # 准备训练数据 train_data = [] for _, row in feedback_data.iterrows(): if row['feedback'] == "👍 很有帮助": train_data.append({"question": row["question"], "response": row["response"]}) # 创建数据集 dataset = Dataset.from_pandas(pd.DataFrame(train_data)) # 定义训练参数 training_args = TrainingArguments( output_dir="./results", per_device_train_batch_size=4, num_train_epochs=1, save_steps=10_000, save_total_limit=2, ) # 创建Trainer并开始训练 trainer = Trainer( model=model, args=training_args, train_dataset=dataset, tokenizer=tokenizer, ) trainer.train()

5.2 自动优化提示工程

根据低分反馈自动调整系统提示：

def optimize_system_prompt(feedback_data): low_score_data = feedback_data[feedback_data['feedback'] == "👎 不太满意"] if len(low_score_data) > 10: common_issues = analyze_common_issues(low_score_data) # 更新系统提示 new_prompt = f""" 你是一个乐于助人的AI助手，居住在宁静的森林实验室中。 特别注意以下方面: {common_issues} 请用温暖、专业的方式回答用户问题。 """ with open("system_prompt.txt", "w") as f: f.write(new_prompt) return True return False