当前位置：首页 > news >正文

Nanbeige 4.1-3B部署教程：OpenTelemetry集成实现像素终端全链路追踪

news 2026/8/26 6:44:29

Nanbeige 4.1-3B部署教程：OpenTelemetry集成实现像素终端全链路追踪

1. 项目概述

Nanbeige 4.1-3B是一款具有独特像素游戏风格的AI对话前端，专为提升用户体验而设计。这个项目将复古JRPG视觉元素与现代AI技术完美结合，创造出一个沉浸式的对话环境。

核心特点：

采用4px像素边框和高饱和度色彩方案
对话气泡区分用户(蓝色)和AI(绿色)
支持<think>标签展示模型思考过程
流式文本渲染模拟老式游戏机效果

2. 环境准备

2.1 系统要求

确保您的系统满足以下最低配置：

操作系统：Ubuntu 20.04或更高版本
GPU：NVIDIA显卡，显存≥16GB
Python：3.8或更高版本
CUDA：11.7或更高版本

2.2 依赖安装

使用以下命令安装必要依赖：

pip install torch transformers streamlit opentelemetry-api opentelemetry-sdk opentelemetry-instrumentation

3. 基础部署

3.1 模型下载与加载

从Hugging Face获取Nanbeige 4.1-3B模型：

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "nanbeige/nanbeige-4.1-3B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

3.2 Streamlit界面搭建

创建基础对话界面：

import streamlit as st st.title("Nanbeige 4.1-3B 像素冒险终端") user_input = st.text_input("你的指令:") if user_input: with st.spinner("大贤者思考中..."): inputs = tokenizer(user_input, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=2048) response = tokenizer.decode(outputs[0], skip_special_tokens=True) st.markdown(f'<div class="bot-bubble">{response}</div>', unsafe_allow_html=True)

4. OpenTelemetry集成

4.1 初始化追踪

设置OpenTelemetry追踪：

from opentelemetry import trace from opentelemetry.sdk.trace import TracerProvider from opentelemetry.sdk.trace.export import BatchSpanProcessor, ConsoleSpanExporter provider = TracerProvider() processor = BatchSpanProcessor(ConsoleSpanExporter()) provider.add_span_processor(processor) trace.set_tracer_provider(provider) tracer = trace.get_tracer("nanbeige.tracer")

4.2 关键追踪点

在对话流程中添加追踪：

def generate_response(user_input): with tracer.start_as_current_span("generate_response") as span: span.set_attribute("user_input", user_input) with tracer.start_as_current_span("tokenize_input"): inputs = tokenizer(user_input, return_tensors="pt").to("cuda") with tracer.start_as_current_span("model_generate"): outputs = model.generate(**inputs, max_new_tokens=2048) with tracer.start_as_current_span("decode_output"): response = tokenizer.decode(outputs[0], skip_special_tokens=True) span.set_attribute("response_length", len(response)) return response

5. 像素风格实现

5.1 CSS样式注入

添加像素游戏风格CSS：

pixel_style = """ <style> .stApp { background-color: #FDF6E3; border: 4px solid #2C2C2C; font-family: 'Courier New', monospace; } .player-bubble { background-color: #4D96FF; padding: 10px; border-radius: 8px; margin: 5px; } .bot-bubble { background-color: #6BCB77; padding: 10px; border-radius: 8px; margin: 5px; } </style> """ st.markdown(pixel_style, unsafe_allow_html=True)

5.2 流式渲染优化

实现字符逐个显示效果：

import time def stream_text(text): container = st.empty() for i in range(len(text)): container.markdown(f'<div class="bot-bubble">{text[:i+1]}</div>', unsafe_allow_html=True) time.sleep(0.02)

6. 全链路追踪实践

6.1 追踪数据可视化

将追踪数据导出到Jaeger：

from opentelemetry.exporter.jaeger.thrift import JaegerExporter from opentelemetry.sdk.resources import SERVICE_NAME, Resource resource = Resource(attributes={ SERVICE_NAME: "nanbeige-pixel-terminal" }) jaeger_exporter = JaegerExporter( agent_host_name="localhost", agent_port=6831, ) provider = TracerProvider(resource=resource) jaeger_processor = BatchSpanProcessor(jaeger_exporter) provider.add_span_processor(jaeger_processor) trace.set_tracer_provider(provider)