用SGLang部署EGM-Qwen3-VL-8B：超简单Python代码实现视觉定位请求

用SGLang部署EGM-Qwen3-VL-8B：超简单Python代码实现视觉定位请求

【免费下载链接】EGM-8B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-8B

EGM-Qwen3-VL-8B是一款功能强大的视觉语言模型，结合SGLang工具可以轻松实现视觉定位请求。本文将为你介绍如何通过简单的Python代码，使用SGLang快速部署EGM-Qwen3-VL-8B模型，实现精准的视觉定位功能。

一、准备工作：安装SGLang环境

要使用SGLang部署EGM-Qwen3-VL-8B，首先需要安装SGLang工具。打开终端，执行以下命令：

pip install "sglang[all]>=0.5.5"

这条命令会安装SGLang及其所有必要的依赖组件，确保你能够顺利运行后续的部署和推理任务。

二、启动SGLang服务：部署EGM-Qwen3-VL-8B模型

安装完成后，我们需要启动SGLang服务器来部署EGM-Qwen3-VL-8B模型。在终端中输入以下命令：

python -m sglang.launch_server \ --model-path nvidia/EGM-8B \ --chat-template=qwen3-vl \ --port 30000

这里，--model-path指定了模型的路径为nvidia/EGM-8B，--chat-template设置为qwen3-vl以适配模型的对话格式，--port则指定了服务器运行的端口为30000。启动成功后，服务器将在本地的30000端口监听请求。

三、发送视觉定位请求：编写Python代码

服务器启动后，我们就可以编写Python代码来发送视觉定位请求了。下面是一个完整的示例：

import openai import base64 client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="EMPTY") # 加载本地图片并转换为base64格式 with open("example.jpg", "rb") as f: image_base64 = base64.b64encode(f.read()).decode("utf-8") # 发送视觉定位请求 response = client.chat.completions.create( model="nvidia/EGM-8B", messages=[ { "role": "user", "content": [ {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_base64}"}}, {"type": "text", "text": "Please provide the bounding box coordinate of the region this sentence describes: the person on the left."}, ], } ], temperature=0.6, top_p=0.95, max_tokens=8192, ) # 打印模型返回的视觉定位结果 print(response.choices[0].message.content)

在这段代码中，我们首先导入了openai和base64库。然后，创建了一个OpenAI客户端，将请求的基础URL设置为本地SGLang服务器的地址http://127.0.0.1:30000/v1，API密钥设置为"EMPTY"（因为SGLang服务器不需要实际的API密钥）。

接下来，我们加载本地的图片文件example.jpg，并将其转换为base64编码格式，以便能够在请求中传递图片数据。然后，通过client.chat.completions.create方法发送请求，其中包含了图片数据和用户的视觉定位指令：“Please provide the bounding box coordinate of the region this sentence describes: the person on the left.”（请提供这句话所描述区域的边界框坐标：左边的人。）

最后，我们打印出模型返回的视觉定位结果，该结果将包含所请求区域的边界框坐标信息。

四、模型架构简介：了解EGM-Qwen3-VL-8B的核心组件

EGM-Qwen3-VL-8B模型的架构如下表所示：

这些组件共同协作，使得EGM-Qwen3-VL-8B能够高效地处理视觉和语言信息，实现精准的视觉定位等复杂任务。

通过以上简单的步骤，你就可以使用SGLang部署EGM-Qwen3-VL-8B模型，并通过Python代码实现视觉定位请求了。无论是进行图像分析还是视觉问答，这款模型都能为你提供强大的支持。赶快尝试一下，体验视觉语言模型带来的便捷与强大吧！

【免费下载链接】EGM-8B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-8B