gte-base-zh实战入门必看：3步完成Xinference本地部署与API调用

gte-base-zh实战入门必看：3步完成Xinference本地部署与API调用

想在自己的电脑或服务器上快速搭建一个中文文本嵌入模型服务吗？今天，我们就来手把手教你如何用Xinference，在本地轻松部署阿里巴巴达摩院开源的gte-base-zh模型。这个模型在中文信息检索、语义相似度计算等任务上表现非常出色。

整个过程非常简单，只需要三步：准备环境、启动服务、调用API。即使你之前没怎么接触过模型部署，跟着这篇教程也能顺利完成。我们会用最直白的语言，配上清晰的代码和截图，让你一看就懂，一学就会。

1. 环境准备与快速部署

在开始之前，我们先简单了解一下要用到的两个核心工具。

gte-base-zh模型：这是阿里巴巴达摩院基于BERT框架训练的中文文本嵌入模型。简单来说，它能把一段中文文本（比如一句话、一段话）转换成一串有意义的数字（向量）。这串数字就像是这段文本的“指纹”，包含了它的语义信息。之后，通过比较不同文本“指纹”的相似度，我们就能判断它们的意思是否相近。这个模型在问答、搜索、文本分类等场景下非常有用。

Xinference：你可以把它理解为一个“模型服务管理器”。它帮我们把训练好的模型（比如gte-base-zh）包装成一个可以通过网络访问的API服务。这样，我们自己的程序或者其他应用，就能像调用一个普通函数一样，远程使用这个强大的模型能力了，而不用关心模型底层复杂的加载和计算过程。

我们的目标，就是把gte-base-zh模型交给Xinference来托管，然后通过它提供的接口来使用。

1.1 确认模型与脚本位置

根据提供的资料，gte-base-zh模型已经预先下载到了你的系统里。请先确认以下关键路径是否存在：

• 模型本地地址：/usr/local/bin/AI-ModelScope/gte-base-zh
• Xinference启动脚本：通常通过命令xinference-local调用
• 模型服务启动脚本：/usr/local/bin/launch_model_server.py

如果这些路径正确，我们就可以直接进入启动环节了。

1.2 启动Xinference服务

第一步，我们需要先把Xinference这个“服务管理器”运行起来。打开你的终端（命令行窗口），执行以下命令：

xinference-local --host 0.0.0.0 --port 9997

命令解释：

• xinference-local：启动Xinference服务的命令。
• --host 0.0.0.0：让服务监听所有网络接口，这样同一网络下的其他设备也能访问（如果仅本机使用，可改为127.0.0.1）。
• --port 9997：指定服务运行的端口号为9997。

执行后，如果看到类似下图的输出，没有报错，并且最后一行显示服务正在运行，就说明Xinference启动成功了。

注意：这个终端窗口需要保持打开状态，一旦关闭，服务就停止了。如果你想在后台长期运行，可以在命令前加上nohup并使用&符号放到后台。

1.3 启动gte-base-zh模型服务

现在，Xinference服务已经跑起来了，但它里面还没有加载我们想要的模型。接下来，我们需要告诉Xinference：“请把gte-base-zh模型加载进来，并准备好接受请求。”

打开另一个新的终端窗口（因为上一个窗口要留着运行Xinference），执行模型启动脚本：

python /usr/local/bin/launch_model_server.py

这个脚本的作用，就是调用Xinference的接口，把位于/usr/local/bin/AI-ModelScope/gte-base-zh的模型发布成一个可用的服务。

初次加载需要耐心：模型文件比较大，第一次启动时会需要一些时间加载到内存中，请耐心等待几十秒到一两分钟。

如何判断启动成功了呢？我们可以查看启动日志：

cat /root/workspace/model_server.log

如果日志中最后出现了类似下图的成功信息，比如显示模型加载完毕、服务注册成功等字样，就说明模型服务已经就绪了。

至此，我们的模型服务就已经在本地部署完成了！Xinference运行在9997端口，而gte-base-zh模型作为它的一个能力被挂载了上去。

2. 快速上手与功能体验

服务部署好后，我们先不急着写代码，用一个更直观的方式来验证一下它是否工作正常，并了解它能做什么。

2.1 访问Web管理界面

Xinference提供了一个非常友好的网页管理界面。打开你的浏览器，在地址栏输入：

http://你的服务器IP地址:9997

如果是本地操作，就输入http://127.0.0.1:9997或http://localhost:9997。

回车后，你应该能看到Xinference的Web UI界面。在这里，你可以看到所有已启动的模型实例，它们的状态、使用的硬件资源等信息。

2.2 使用内置功能测试模型

在Xinference的Web UI中找到我们刚刚启动的gte-base-zh模型，通常会有一个“Open”或“交互”按钮。点击后，会进入这个模型的专属交互界面。

这个界面通常提供以下功能，我们可以直接体验：

1. 文本嵌入：输入一段中文文本，模型会返回对应的向量（一串很长的数字）。
2. 相似度计算：输入两段文本，模型会计算并返回它们之间的语义相似度分数（0到1之间，越接近1越相似）。

例如，在界面的输入框里分别填入：

• 文本1：今天天气真好
• 文本2：阳光明媚的一天

然后点击“计算相似度”或类似按钮。稍等片刻，界面就会显示一个相似度分数，比如0.85。这说明模型认为这两句话的意思非常相近。

通过这个简单的测试，我们确认了模型服务不仅运行正常，而且功能符合预期。接下来，就是最重要的部分：如何在自己的程序里调用它。

3. 通过API调用模型服务

Web界面适合手动测试，但真正的威力在于通过API集成到我们自己的应用中。Xinference提供了标准的HTTP API接口，我们可以用任何编程语言（Python、Java、JavaScript等）来调用。

这里我们以最常用的Python为例，展示如何调用文本嵌入和相似度计算这两个核心功能。

3.1 调用文本嵌入接口

这个接口的作用是，给你一段文本，返回它的向量表示。

import requests import json # 1. 定义API地址和模型UID # 注意：模型UID可以在Xinference Web UI中查到，通常格式是类似 “gte-base-zh-xxxx” XINFERENCE_ENDPOINT = "http://127.0.0.1:9997" MODEL_UID = "gte-base-zh" # 请替换为你的实际模型UID # 2. 准备请求数据 text_to_embed = "自然语言处理是人工智能的重要方向" api_url = f"{XINFERENCE_ENDPOINT}/v1/embeddings" payload = { "model": MODEL_UID, "input": text_to_embed } # 3. 发送POST请求 headers = {"Content-Type": "application/json"} response = requests.post(api_url, headers=headers, data=json.dumps(payload)) # 4. 处理响应 if response.status_code == 200: result = response.json() # 提取嵌入向量 (embedding) embedding_vector = result['data'][0]['embedding'] print("文本嵌入向量（前10维）:", embedding_vector[:10]) print(f"向量总长度: {len(embedding_vector)}") else: print(f"请求失败，状态码: {response.status_code}") print(response.text)

代码解释：

• 我们向http://127.0.0.1:9997/v1/embeddings发送一个POST请求。
• 请求体里告诉API我们要用哪个模型（model）以及对什么文本进行嵌入（input）。
• 成功的响应中，data[0].embedding字段就是我们要的文本向量。这个向量是一个浮点数列表，长度是固定的（例如768维）。

3.2 调用相似度计算接口

虽然Xinference可能没有直接的“相似度”API，但我们可以利用嵌入接口，自己计算两段文本向量的余弦相似度，这是衡量语义相似度的常用方法。

import requests import json import numpy as np def get_embedding(text, endpoint, model_uid): """获取单段文本的嵌入向量""" api_url = f"{endpoint}/v1/embeddings" payload = {"model": model_uid, "input": text} headers = {"Content-Type": "application/json"} response = requests.post(api_url, headers=headers, data=json.dumps(payload)) if response.status_code == 200: return np.array(response.json()['data'][0]['embedding']) else: raise Exception(f"获取嵌入失败: {response.text}") def cosine_similarity(vec_a, vec_b): """计算两个向量的余弦相似度""" dot_product = np.dot(vec_a, vec_b) norm_a = np.linalg.norm(vec_a) norm_b = np.linalg.norm(vec_b) return dot_product / (norm_a * norm_b) # 配置信息 XINFERENCE_ENDPOINT = "http://127.0.0.1:9997" MODEL_UID = "gte-base-zh" # 请替换为你的实际模型UID # 准备两段文本 text1 = "深度学习需要大量的数据和算力" text2 = "人工智能训练模型消耗大量计算资源" try: # 获取两段文本的向量 print("正在获取文本向量...") vec1 = get_embedding(text1, XINFERENCE_ENDPOINT, MODEL_UID) vec2 = get_embedding(text2, XINFERENCE_ENDPOINT, MODEL_UID) # 计算余弦相似度 similarity = cosine_similarity(vec1, vec2) print(f"文本1: {text1}") print(f"文本2: {text2}") print(f"语义相似度得分: {similarity:.4f}") # 简单解读 if similarity > 0.8: print("解读: 两段文本语义高度相似。") elif similarity > 0.5: print("解读: 两段文本语义有一定相关性。") else: print("解读: 两段文本语义不太相关。") except Exception as e: print(f"出错: {e}")

运行这段代码，你就能得到两段文本之间量化的相似度分数。你可以尝试更换不同的句子，观察分数的变化，感受模型对语义的理解能力。

3.3 实际应用小例子：简易问答匹配

假设我们有一个简单的问答库，现在用户提出了一个新问题，我们想从库里找到最相关的答案。

import numpy as np # 模拟一个问答知识库 (问题, 答案) qa_knowledge_base = [ ("如何重启服务器？", "可以使用 'sudo reboot' 命令来重启服务器。"), ("Python怎么安装requests库？", "使用pip安装：'pip install requests'。"), ("如何查看磁盘使用情况？", "使用 'df -h' 命令查看磁盘空间。"), ("怎样创建一个新的目录？", "使用 'mkdir 目录名' 命令创建新目录。"), ] # 用户的新问题 user_question = "我想安装Python的requests模块，该怎么做？" # 步骤1: 为用户问题生成嵌入向量 print(f"用户问题: {user_question}") user_vec = get_embedding(user_question, XINFERENCE_ENDPOINT, MODEL_UID) best_match_score = -1 best_match_answer = None best_match_question = None # 步骤2: 遍历知识库，计算每个问题的相似度 print("\n正在知识库中搜索最佳答案...") for q, a in qa_knowledge_base: q_vec = get_embedding(q, XINFERENCE_ENDPOINT, MODEL_UID) score = cosine_similarity(user_vec, q_vec) print(f" 与「{q}」的相似度: {score:.4f}") if score > best_match_score: best_match_score = score best_match_question = q best_match_answer = a # 步骤3: 输出最佳匹配结果 print(f"\n最佳匹配问题: {best_match_question}") print(f"匹配相似度: {best_match_score:.4f}") print(f"推荐答案: {best_match_answer}")

这个例子展示了gte-base-zh模型一个非常典型的应用场景：通过语义相似度匹配，实现智能问答或文档检索。即使表述方式不同（“安装requests库” vs “安装requests模块”），模型也能识别出它们说的是同一件事。

4. 总结

回顾一下，我们通过三个清晰的步骤，完成了gte-base-zh模型的本地部署与应用：

1. 启动服务：一行命令启动Xinference，再用一个脚本加载模型，本地服务就搭建好了。
2. 验证功能：通过Web界面直观地测试了模型的文本嵌入和相似度计算能力，确保服务运行正常。
3. 集成调用：学习了如何通过Python代码调用HTTP API，获取文本向量并计算相似度，甚至实现了一个简易的问答匹配示例。

整个过程不需要深厚的机器学习背景，重点在于理解“模型即服务”的概念和API调用的方法。gte-base-zh作为一个优质的中文嵌入模型，为你打开了构建智能文本应用的大门，无论是做搜索增强、智能客服、还是文档归类，它都是一个可靠的起点。

现在，你可以尝试用自己的文本数据，探索更多有趣的应用可能了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。