Leveraging Large Language Models for Identifying Knowledge Components
一、文章主要内容总结
该研究聚焦于利用大型语言模型（LLMs）自动识别知识组件（KCs），以解决传统人工提取KCs耗时费力的问题。知识组件是智能教育软件中技能模型的核心，支撑自适应学习系统的运作。
研究以Moore等人提出的“模拟教科书”方法为基础，进行了两方面拓展：1）将数据集规模从80道多项选择题（MCQs）扩大至646道（来自E-Learning数据集）；2）通过余弦相似度计算合并语义相似的KCs，解决原始方法存在的标签冗余问题。
研究采用三回合提示策略与GPT-4o-mini交互提取KCs：先识别5个领域特定主题，再结合布鲁姆修订分类法用动作动词改写，最后筛选最优主题作为KC。通过三折交叉验证和加性因子模型（AFM）评估，以项目分组均方根误差（RMSE）为指标，对比专家设计的KC模型（LOs-new-MCQ）。结果显示，原始模拟教科书方法生成569个KCs，RMSE（0.4285）高于专家模型（0.4206）；而设置0.8的余弦相似度阈值合并相似KCs后，模型生成428个KCs，RMSE降至0.4259，显著提升了性能。
二、文章创新点
- 规模化拓展：将原有“模拟教科书”方法从80道MCQs扩展到646道大规模数据集，验证了该方法在更大样本量下的适用性与性能表现。
- 冗余标签处理：提出基于余弦相似度的KC合并策略，通过设置0.7、0.8、0.9三个阈值，将语义相近但表述略有差异的KC标签合并，有效解决了自动生成KC时的冗余问题，简化模型的同时提升了预测准确性。
- 精细化提示工程