当前位置：首页 > news >正文

Qwen3-14B-Int4-AWQ快速部署：JDK17环境验证与Java SDK调用示例

news 2026/7/17 5:26:35

Qwen3-14B-Int4-AWQ快速部署：JDK17环境验证与Java SDK调用示例

1. 引言

最近大模型推理部署越来越火，但很多Java开发者发现，不少教程都只关注Python环境。今天咱们就来解决这个问题，手把手教你在JDK17环境下部署Qwen3-14B-Int4-AWQ模型，并用纯Java调用它。

如果你正在用Java做企业级应用开发，或者你的生产环境强制要求JDK17，这篇教程就是为你准备的。我们会从最基本的JDK环境验证开始，到完整的Java SDK调用示例，全程无Python依赖。

2. 环境准备

2.1 验证JDK17环境

首先打开终端，运行这个命令检查Java版本：

java -version

你应该看到类似这样的输出：

openjdk version "17.0.8" 2023-07-18 OpenJDK Runtime Environment (build 17.0.8+7-LTS) OpenJDK 64-Bit Server VM (build 17.0.8+7-LTS, mixed mode, sharing)

如果版本不对，可以去Oracle官网下载JDK17安装包。

2.2 安装必要的工具

确保你已经安装了以下工具：

Maven 3.6+
curl（用于测试API端点）
至少16GB内存（AWQ量化版虽然省内存，但大模型还是需要一定资源）

3. 模型部署

3.1 下载模型权重

假设你已经准备好了Qwen3-14B-Int4-AWQ的模型权重，目录结构应该是这样的：

qwen3-14b-int4-awq/ ├── config.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors └── tokenizer.json

3.2 启动推理服务

推荐使用vLLM作为推理引擎，启动命令如下：

python -m vllm.entrypoints.api_server \ --model /path/to/qwen3-14b-int4-awq \ --quantization awq \ --port 8000

等看到"Uvicorn running on http://0.0.0.0:8000"就说明服务启动成功了。

4. Java SDK调用示例

4.1 创建Maven项目

新建一个标准的Maven项目，在pom.xml中添加这些依赖：

<dependencies> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.15.2</version> </dependency> <dependency> <groupId>org.apache.httpcomponents.client5</groupId> <artifactId>httpclient5</artifactId> <version>5.2.1</version> </dependency> </dependencies>

4.2 构建请求体

我们先定义一个简单的请求类：

public class ChatRequest { private String model = "qwen3-14b-int4-awq"; private List<ChatMessage> messages; private boolean stream = true; // 省略getter/setter } public class ChatMessage { private String role; private String content; // 省略getter/setter }

4.3 流式调用实现

这是完整的流式调用代码，使用了Java 11+的HTTP Client：

public class Qwen3Client { private static final ObjectMapper mapper = new ObjectMapper(); private static final HttpClient httpClient = HttpClient.newHttpClient(); public void chatStream(String prompt) throws Exception { ChatMessage message = new ChatMessage(); message.setRole("user"); message.setContent(prompt); ChatRequest request = new ChatRequest(); request.setMessages(List.of(message)); HttpRequest httpRequest = HttpRequest.newBuilder() .uri(URI.create("http://localhost:8000/v1/chat/completions")) .header("Content-Type", "application/json") .POST(HttpRequest.BodyPublishers.ofString(mapper.writeValueAsString(request))) .build(); httpClient.send(httpRequest, HttpResponse.BodyHandlers.ofLines()).body() .forEach(line -> { if (line.startsWith("data: ")) { String json = line.substring(6); if (!json.equals("[DONE]")) { try { JsonNode node = mapper.readTree(json); String content = node.path("choices") .get(0) .path("delta") .path("content") .asText(); if (content != null) { System.out.print(content); } } catch (Exception e) { e.printStackTrace(); } } } }); } }

4.4 使用示例

调用这个客户端非常简单：

public class Main { public static void main(String[] args) throws Exception { Qwen3Client client = new Qwen3Client(); System.out.println("Qwen3回复："); client.chatStream("用Java写一个快速排序算法"); } }

5. 性能优化建议

5.1 连接池管理

对于生产环境，建议使用Apache HttpClient5的连接池：

PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(); connManager.setMaxTotal(100); connManager.setDefaultMaxPerRoute(20); CloseableHttpClient httpClient = HttpClients.custom() .setConnectionManager(connManager) .build();

5.2 超时设置

别忘了设置合理的超时：

RequestConfig config = RequestConfig.custom() .setConnectTimeout(30, TimeUnit.SECONDS) .setConnectionRequestTimeout(30, TimeUnit.SECONDS) .setResponseTimeout(30, TimeUnit.SECONDS) .build();