Node.js实战：手把手教你调用EduCoder API获取实训数据（附完整代码）
Node.js实战：构建EduCoder自动化数据采集系统
1. 理解EduCoder平台的技术架构
EduCoder作为国内知名的编程实训平台，其技术架构采用了典型的前后端分离设计。前端基于React/Vue等现代框架构建，后端则提供RESTful API接口供前端调用。理解这一架构对我们后续开发自动化脚本至关重要。
平台的核心数据流大致如下：
- 用户通过Web界面或移动端APP发起操作请求
- 前端将请求转换为API调用
- 后端处理请求并返回JSON格式数据
- 前端根据返回数据更新界面
关键API端点分析：
| API路径 | 方法 | 功能描述 | 所需参数 |
|---|---|---|---|
| /api/accounts/login.json | POST | 用户登录 | login, password |
| /api/users/{login}/shixuns.json | GET | 获取用户实训列表 | login, page, per_page |
| /api/shixuns/{identifier} | GET | 获取实训详情 | identifier |
| /api/shixuns/{identifier}/challenges.json | GET | 获取实训关卡列表 | identifier |
| /api/tasks/{identifier}/get_answer_info.json | GET | 获取答案信息 | identifier |
| /api/tasks/{identifier}/unlock_answer.json | POST | 解锁关卡答案 | identifier |
2. 搭建Node.js开发环境
在开始编写自动化脚本前，我们需要配置合适的开发环境。以下是推荐的配置方案：
# 初始化项目 mkdir educoder-automation && cd educoder-automation npm init -y # 安装核心依赖 npm install axios cheerio dotenv puppeteer项目结构设计：
educoder-automation/ ├── config/ │ └── default.json # 配置文件 ├── lib/ │ ├── api.js # API封装模块 │ ├── session.js # 会话管理模块 │ └── db.js # 数据库操作模块 ├── scripts/ │ ├── login.js # 登录脚本 │ ├── shixun.js # 实训操作脚本 │ └── answer.js # 答案管理脚本 ├── .env # 环境变量 └── package.json提示：使用dotenv管理敏感信息如账号密码，避免直接硬编码在脚本中
3. 实现稳健的API调用模块
现代JavaScript提供了多种HTTP客户端选择，我们推荐使用axios而非过时的request-promise。下面是一个更健壮的Session类实现：
const axios = require('axios'); const { CookieJar } = require('tough-cookie'); class EduSession { constructor() { this.jar = new CookieJar(); this.instance = axios.create({ baseURL: 'https://www.educoder.net/api/', timeout: 10000, withCredentials: true }); // 请求拦截器 this.instance.interceptors.request.use(async (config) => { const cookies = await this.jar.getCookies(config.url); config.headers.Cookie = cookies.map(c => c.cookieString()).join('; '); return config; }); // 响应拦截器 this.instance.interceptors.response.use( (response) => { const setCookie = response.headers['set-cookie']; if (setCookie) { setCookie.forEach(cookie => { this.jar.setCookieSync(cookie, response.config.url); }); } return response.data; }, (error) => { if (error.response) { throw new Error(`API Error: ${error.response.status} - ${error.response.data.message}`); } throw error; } ); } async request({ method = 'GET', url, data, params }) { try { return await this.instance({ method, url, data: method === 'POST' ? data : undefined, params: method === 'GET' ? data : undefined }); } catch (error) { console.error('Request failed:', error.message); throw error; } } }错误处理最佳实践：
- 网络错误：重试机制（指数退避）
- API错误：状态码检查
- 业务错误：自定义错误类
class EduCoderError extends Error { constructor(code, message) { super(message); this.code = code; this.name = 'EduCoderError'; } } function checkResponse(res) { if (res.status && (res.status > 100 || res.status < 0)) { throw new EduCoderError(res.status, res.message); } return res; }4. 构建完整的数据采集流程
4.1 用户认证与会话保持
实现可靠的登录流程需要考虑多种情况：
const fs = require('fs'); const path = require('path'); const EduSession = require('../lib/session'); async function login(credentials) { const session = new EduSession(); try { const result = await session.request({ method: 'POST', url: 'accounts/login.json', data: credentials }); checkResponse(result); // 保存会话状态 const sessionFile = path.join(__dirname, '../.session'); fs.writeFileSync(sessionFile, JSON.stringify({ cookies: session.jar.toJSON() })); return session; } catch (error) { if (error instanceof EduCoderError) { console.error('登录失败:', error.message); } else { console.error('网络错误:', error.message); } throw error; } }4.2 实训数据采集策略
高效的实训数据采集需要考虑分页和缓存：
async function collectShixuns(session, userId, options = {}) { const { pageSize = 10, maxPages = 5 } = options; let allShixuns = []; for (let page = 1; page <= maxPages; page++) { const result = await session.request({ method: 'GET', url: `users/${userId}/shixuns.json`, data: { page, per_page: pageSize } }); checkResponse(result); if (!result.shixuns || result.shixuns.length === 0) { break; } allShixuns = [...allShixuns, ...result.shixuns]; // 避免请求过快被限制 await new Promise(resolve => setTimeout(resolve, 1000)); } return allShixuns; }4.3 答案获取与存储方案
对于答案数据的处理，我们建议采用以下流程：
- 检查答案是否已解锁
- 如未解锁，评估是否需要解锁
- 获取答案内容
- 标准化存储格式
const { MongoClient } = require('mongodb'); class AnswerDB { constructor(uri) { this.client = new MongoClient(uri); this.dbName = 'educoder'; this.collectionName = 'answers'; } async connect() { await this.client.connect(); this.db = this.client.db(this.dbName); this.collection = this.db.collection(this.collectionName); } async saveAnswer(answer) { const { identifier } = answer; return this.collection.updateOne( { identifier }, { $set: answer }, { upsert: true } ); } async close() { await this.client.close(); } } async function processAnswer(session, taskIdentifier, db) { try { // 检查答案状态 const status = await session.request({ method: 'GET', url: `tasks/${taskIdentifier}/get_answer_info.json` }); checkResponse(status); let answerContent; if (status.status === 3) { // 答案已解锁 answerContent = status.contents; } else { // 解锁答案（谨慎操作） const unlockResult = await session.request({ method: 'POST', url: `tasks/${taskIdentifier}/unlock_answer.json` }); checkResponse(unlockResult); answerContent = unlockResult.contents; } // 标准化存储 const answerDoc = { identifier: taskIdentifier, content: answerContent, createdAt: new Date(), updatedAt: new Date() }; await db.saveAnswer(answerDoc); return answerDoc; } catch (error) { console.error(`处理答案失败: ${taskIdentifier}`, error.message); throw error; } }5. 高级技巧与优化策略
5.1 并发控制与速率限制
为避免被平台限制，需要实现合理的请求控制：
const Bottleneck = require('bottleneck'); // 限制为每秒2个请求 const limiter = new Bottleneck({ minTime: 500, maxConcurrent: 1 }); async function safeRequest(session, options) { return limiter.schedule(() => session.request(options)); }5.2 浏览器自动化辅助
对于某些需要浏览器交互的操作，可以结合Puppeteer：
const puppeteer = require('puppeteer'); async function browserLogin(credentials) { const browser = await puppeteer.launch({ headless: false }); const page = await browser.newPage(); try { await page.goto('https://www.educoder.net/users/sign_in'); // 填写登录表单 await page.type('#user_login', credentials.login); await page.type('#user_password', credentials.password); // 提交表单 await Promise.all([ page.waitForNavigation(), page.click('input[type="submit"]') ]); // 获取cookies const cookies = await page.cookies(); await browser.close(); return cookies; } catch (error) { await browser.close(); throw error; } }5.3 数据缓存与增量更新
实现高效的数据同步策略：
const { Redis } = require('ioredis'); class DataCache { constructor() { this.redis = new Redis(); } async getShixunCacheKey(userId) { return `educoder:shixuns:${userId}`; } async cacheShixuns(userId, data) { const key = await this.getShixunCacheKey(userId); await this.redis.set(key, JSON.stringify(data), 'EX', 3600); // 1小时过期 } async getCachedShixuns(userId) { const key = await this.getShixunCacheKey(userId); const data = await this.redis.get(key); return data ? JSON.parse(data) : null; } }6. 系统监控与错误恢复
构建健壮的自动化系统需要完善的监控机制：
const Sentry = require('@sentry/node'); Sentry.init({ dsn: 'YOUR_DSN_HERE', tracesSampleRate: 1.0 }); process.on('unhandledRejection', (reason) => { Sentry.captureException(reason); console.error('未处理的Promise拒绝:', reason); }); process.on('uncaughtException', (error) => { Sentry.captureException(error); console.error('未捕获的异常:', error); process.exit(1); }); // 实现断点续传 async function resumeFromLastTask(session, userId, db) { const lastProcessed = await db.getLastProcessedTask(); if (lastProcessed) { console.log(`从上次中断的任务恢复: ${lastProcessed.identifier}`); return processAnswer(session, lastProcessed.identifier, db); } return null; }7. 项目部署与持续集成
将自动化脚本部署为长期运行的服务：
# Dockerfile示例 FROM node:16-alpine WORKDIR /app COPY package*.json ./ RUN npm install --production COPY . . ENV NODE_ENV=production CMD ["node", "scripts/main.js"]CI/CD配置示例：
# .github/workflows/ci.yml name: CI Pipeline on: push: branches: [ main ] schedule: - cron: '0 3 * * *' # 每天凌晨3点运行 jobs: test: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - uses: actions/setup-node@v2 with: node-version: '16' - run: npm ci - run: npm test deploy: needs: test runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - uses: docker/build-push-action@v2 with: push: true tags: your-registry/educoder-automation:latest在实际项目中，我们还需要考虑数据加密存储、操作审计日志、多账号轮换等高级功能。这套系统经过适当改造，也可以应用于其他在线教育平台的自动化数据采集需求。