当前位置：首页 > news >正文

AI赋能教育行业的项目复盘：智能题库生成系统的架构演进与踩坑记录

news 2026/7/21 1:16:47

AI赋能教育行业的项目复盘：智能题库生成系统的架构演进与踩坑记录

一、问题定义与项目初衷：从人工出题到AI辅助

在线教育平台的核心资产之一是题库。在一个合作项目中，运营团队每月需要手工编撰约3000道题目，覆盖K12数学、英语和语文三个学科。每道题从命题、审核到录入系统，平均耗时45分钟。一个10人的内容团队几乎全年无休。人力成本按每人月薪1.2万元计算，仅出题一项年支出约144万。

需求很明确：能否用大模型辅助出题，把人从重复劳动中解放出来？初期预期并不激进——先做到"辅助生成、人工审核"，将单题耗时压缩到15分钟以内。后续再考虑全自动流水线。

但落地过程远比想象复杂。模型幻觉、难度失控、格式不一致等问题接连出现。这个项目迭代了近8个月，经历了三次架构重写。以下是完整的复盘。

二、核心架构：三层流水线的设计原理

系统经历了三个阶段的架构演进。

V1：直连模式（废弃）——直接调用GPT-4，传入"请生成一道关于二次函数的单选题"这样的prompt，返回结果写入Excel。问题：格式完全不受控，10道题中仅4道格式合格。难度分布呈U型——要么极简单要么极难。幻觉率约为18%，常出现捏造的公式。

V2：模板约束模式（部分可用）——引入结构化模板，将题目拆解为"题干+选项+答案+解析+知识点标签"五个字段，通过JSON Schema约束输出。格式问题基本解决，合格率提升到82%。但难度控制仍然不足——LLM对"中等难度"的理解与教学标准偏差很大。

V3：多模型+评测闭环（当前）——核心改动有三点。第一，将生成与评测分离：一个模型负责生成，另一个模型以"模拟学生"身份作答，对比预计正确率与目标正确率来量化难度。第二，引入题库相似度去重——用text-embedding-3-small将候选题目向量化，与现有题库做余弦相似度检测，阈值设为0.85。第三，加入人工纠错反馈回路——审核员标记的问题题目，其修正结果反写回prompt模板。

三、关键代码实现：多模型生成与校验管道

以下是核心的生成-校验流水线的简化实现：

interface QuestionTemplate { type: 'single_choice' | 'fill_blank' | 'short_answer'; grade: number; subject: string; knowledgePoints: string[]; difficulty: 'easy' | 'medium' | 'hard'; targetCorrectRate: number; // 期望学生正确率 } interface GeneratedQuestion { stem: string; options?: string[]; answer: string; analysis: string; knowledgeTags: string[]; difficultyScore: number; } async function generateQuestion( template: QuestionTemplate, existingQuestions: { id: string; embedding: number[] }[] ): Promise<GeneratedQuestion> { // 第一步：调用生成模型 const prompt = buildPrompt(template); const raw = await callLLM(prompt, { model: 'gpt-4o', response_format: { type: 'json_object' }, temperature: 0.7, max_tokens: 2000, }); const candidate = parseResponse(raw); if (!candidate) { throw new GenerationError('模型返回格式无法解析'); } // 第二步：难度自动评估 const difficultyScore = await evaluateDifficulty(candidate); const rateDelta = Math.abs( difficultyScore - template.targetCorrectRate ); // 如果难度偏差超过15%，重新生成 if (rateDelta > 0.15) { return generateQuestion( { ...template, difficulty: adjustDifficulty(rateDelta) }, existingQuestions ); } // 第三步：相似度去重 const candidateEmbedding = await getEmbedding( candidate.stem + candidate.answer ); for (const q of existingQuestions) { const similarity = cosineSimilarity(candidateEmbedding, q.embedding); if (similarity > 0.85) { throw new DuplicateError(`与已有题目q_${q.id}相似度过高: ${similarity.toFixed(2)}`); } } return candidate; } async function evaluateDifficulty(question: GeneratedQuestion): Promise<number> { // 使用独立的评测模型模拟学生作答 const evalPrompt = ` 你是一名${question.grade}年级学生，请尝试解答以下题目。 如果你不确定答案，请选择"不会"。 题目：${question.stem} ${question.options?.join('\n') || ''} 只回答：会/不会 `; // 批量评估：同一道题模拟5个不同水平的学生 const results = await Promise.all( Array.from({ length: 5 }, () => callLLM(evalPrompt, { model: 'gpt-4o-mini', temperature: 0.3, })) ); const correctCount = results.filter(r => r === '会').length; return correctCount / 5; // 返回实际正确率 }

这套管道实际运行中，单题生成耗时约8-12秒，其中难度评估占6-8秒（5次并行调用）。实际正确率与目标正确率的平均偏差从最初的±22%收敛到±9%。