The Empowerment of Science of Science by Large Language Models: New Tools and Methods
文章主要内容与创新点总结
一、主要内容
本文系统围绕大型语言模型（LLMs）赋能科学学（SciSci）展开研究，核心内容分为三大模块：
1. 大型语言模型（LLMs）基础解析
- 定义与核心特征：LLMs是具备海量参数和复杂计算结构的基础模型，具有可扩展性、涌现性和通用性，是自然语言处理与人工智能领域的里程碑，被视为通用人工智能（AGI）的重要路径。
- 发展历程：以OpenAI的GPT系列为代表，从2018年GPT-1（12层Transformer、11亿参数、5GB数据）迭代至2023年ChatGPT-4（120层Transformer、1.76万亿参数），参数规模与数据量呈指数级增长，能力从文本处理扩展到多模态任务。
- 分类维度：按输入数据类型分为语言模型（如GPT-3、ChatGLM）、视觉模型（如VIT系列、华为盘古CV）和多模态模型（如ChatGPT-4、Sora）；按架构分为Transformer类和混合专家（MoE）类；还可分为通用模型与垂直模型、编码器基与解码器基模型等。
- 核心技术：从用户视角梳理五大关键技术（复杂度递增）：提示工程（优化输入引导模型输出）、知识增强的检索增强生成（RAG，解决幻觉问题）、微调（适配特定任务/领域）、预训练（模型能力基础）、工具学习（整合API实现复杂任务）。