Qwen2.5-Coder-1.5B应用案例：自动生成Bash脚本处理日志文件
Qwen2.5-Coder-1.5B应用案例：自动生成Bash脚本处理日志文件
1. 日志处理场景与痛点分析
1.1 运维工程师的日常挑战
在服务器运维工作中，日志分析是最常见也最耗时的任务之一。想象一下这样的场景：
- 你需要检查10台服务器上50个不同的服务日志
- 每个日志文件大小从几百MB到几GB不等
- 关键错误信息被淹没在海量日志条目中
- 手动grep不仅效率低下，还容易遗漏重要信息
传统解决方案通常需要：
- 编写复杂的shell脚本
- 反复调试正则表达式
- 处理各种边缘情况（空文件、权限问题等）
- 花费数小时才能得到可靠的分析结果
1.2 Qwen2.5-Coder-1.5B的解决方案优势
Qwen2.5-Coder-1.5B作为专为代码生成优化的模型，能够：
- 根据自然语言描述直接生成可执行的Bash脚本
- 自动处理常见边缘情况和错误处理
- 生成带注释的代码，方便后续维护
- 平均响应时间<3秒，大幅提升工作效率
2. 实战案例：自动生成日志分析脚本
2.1 基础日志统计脚本生成
需求描述： "写一个Bash脚本，统计/var/log目录下所有.log文件中包含'ERROR'的行数，并按出现次数降序输出"
模型输入：
写一个Bash脚本，完成以下功能： 1. 遍历/var/log目录下所有.log文件 2. 统计每个文件中"ERROR"关键词出现的次数 3. 按出现次数从高到低排序输出 4. 输出格式为：文件名 出现次数 5. 添加适当的错误处理和注释模型输出：
#!/bin/bash # 统计/var/log目录下所有.log文件中的ERROR出现次数并排序输出 # 检查目录是否存在 if [ ! -d "/var/log" ]; then echo "Error: /var/log directory not found" >&2 exit 1 fi # 查找所有.log文件并处理 find /var/log -type f -name "*.log" | while read -r file; do # 统计ERROR出现次数（忽略大小写） count=$(grep -c -i "ERROR" "$file" 2>/dev/null) # 只输出有ERROR的文件 if [ "$count" -gt 0 ]; then echo "$file $count" fi done | sort -k2 -nr # 按第二列数字降序排序关键优化点：
- 添加了目录存在性检查
- 使用
-i参数忽略大小写 - 通过
2>/dev/null屏蔽错误输出 - 只显示包含ERROR的文件
- 清晰的注释说明
2.2 进阶日志分析脚本
需求升级： "扩展上面的脚本，增加以下功能：
- 支持自定义搜索关键词（不限于ERROR）
- 输出包含时间范围的统计（最早和最晚出现时间）
- 生成简明的HTML报告"
模型输入：
基于之前的脚本，增加以下功能： 1. 通过命令行参数接收搜索关键词（默认仍为ERROR） 2. 对每个匹配文件，提取该关键词最早和最晚出现的时间戳 3. 生成HTML格式的报告，包含表格和基本样式 4. 保持原有的排序功能模型输出：
#!/bin/bash # 高级日志分析脚本：支持自定义关键词、时间范围统计和HTML报告生成 # 设置默认搜索词 SEARCH_TERM=${1:-"ERROR"} REPORT_FILE="log_report_$(date +%Y%m%d_%H%M%S).html" # HTML报告头部 cat > "$REPORT_FILE" <<EOF <html> <head> <title>日志分析报告 - $SEARCH_TERM</title> <style> body { font-family: Arial, sans-serif; margin: 20px; } table { border-collapse: collapse; width: 100%; } th, td { border: 1px solid #ddd; padding: 8px; text-align: left; } th { background-color: #f2f2f2; } tr:nth-child(even) { background-color: #f9f9f9; } </style> </head> <body> <h1>日志分析报告: $SEARCH_TERM</h1> <p>生成时间: $(date)</p> <table> <tr> <th>文件名</th> <th>出现次数</th> <th>最早出现</th> <th>最近出现</th> </tr> EOF # 处理日志文件 find /var/log -type f -name "*.log" | while read -r file; do # 统计出现次数 count=$(grep -c -i "$SEARCH_TERM" "$file" 2>/dev/null) if [ "$count" -gt 0 ]; then # 提取最早和最晚时间戳（假设时间戳格式为YYYY-MM-DD HH:MM:SS） first=$(grep -i "$SEARCH_TERM" "$file" | head -1 | grep -oE "[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}" | head -1) last=$(grep -i "$SEARCH_TERM" "$file" | tail -1 | grep -oE "[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}" | head -1) # 添加到HTML报告 echo "<tr><td>$file</td><td>$count</td><td>${first:-N/A}</td><td>${last:-N/A}</td></tr>" >> "$REPORT_FILE" fi done # HTML报告尾部 cat >> "$REPORT_FILE" <<EOF </table> </body> </html> EOF echo "报告已生成: $REPORT_FILE"功能亮点：
- 支持命令行参数指定搜索词
- 自动提取时间范围信息
- 生成专业美观的HTML报告
- 保留原有的排序逻辑（通过处理顺序实现）
- 增加了N/A处理以防时间戳缺失
3. 工程实践建议
3.1 脚本优化技巧
对于生成的脚本，可以考虑以下优化方向：
性能优化：
# 使用xargs并行处理（适用于多核CPU） find /var/log -type f -name "*.log" | xargs -P 4 -I {} sh -c ' file="{}" count=$(grep -c -i "$SEARCH_TERM" "$file" 2>/dev/null) # 其余处理逻辑... '日志轮转处理：
# 包含压缩的日志文件（如.gz） find /var/log -type f \( -name "*.log" -o -name "*.log.gz" \) | while read -r file; do if [[ "$file" == *.gz ]]; then zgrep -c -i "$SEARCH_TERM" "$file" 2>/dev/null else grep -c -i "$SEARCH_TERM" "$file" 2>/dev/null fi done结果持久化：
# 将结果存入SQLite数据库 DB_FILE="log_analysis.db" sqlite3 "$DB_FILE" "CREATE TABLE IF NOT EXISTS log_stats ( id INTEGER PRIMARY KEY, filename TEXT, search_term TEXT, count INTEGER, first_occurrence TEXT, last_occurrence TEXT, scan_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP );" # 插入数据示例 sqlite3 "$DB_FILE" "INSERT INTO log_stats (filename, search_term, count, first_occurrence, last_occurrence) VALUES ('$file', '$SEARCH_TERM', $count, '${first:-NULL}', '${last:-NULL}');"
3.2 错误处理最佳实践
权限处理：
# 检查文件可读性 if [ ! -r "$file" ]; then echo "警告: 无权限读取文件 $file" >&2 continue fi内存管理：
# 处理大文件时限制内存使用 grep -i "$SEARCH_TERM" "$file" | head -1000 | awk '{print $1}' | \ sort | uniq -c | sort -nr超时控制：
# 为每个文件处理设置超时 timeout 30s grep -c -i "$SEARCH_TERM" "$file" 2>/dev/null
4. 总结与扩展应用
4.1 方案价值总结
通过Qwen2.5-Coder-1.5B生成的日志处理脚本：
- 效率提升：将原本需要数小时的手动分析缩短到几分钟
- 准确性提高：避免人工检查的遗漏和错误
- 可维护性强：带注释的代码方便后续修改
- 扩展性好：基础脚本可轻松适配更多复杂需求
4.2 其他应用场景扩展
安全审计：
# 检查可疑IP访问 grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" access.log | sort | uniq -c | sort -nr性能分析：
# 提取请求耗时大于1秒的记录 awk '$NF > 1 {print $0}' nginx.log | sort -k10 -nr自定义报表：
# 生成CSV格式的日报 echo "日期,错误类型,出现次数" > report.csv grep "ERROR" app.log | cut -d' ' -f1,3 | sort | uniq -c | \ awk '{print $2","$3","$1}' >> report.csv
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。