近日，信息学院李征教授所在的软件工程与智能计算研究团队在《IEEE Transactions on Software Engineering》上发表了题为“Prompt Alchemy: Automatic Prompt Refinement for Enhancing Code Generation”的长文（regular paper）。
该工作关注大语言模型（LLMs）在代码自动生成任务中的性能表现，提出了一种名为Prochemy的新框架，用于自动优化和改进代码生成任务的LLM提示词。Prochemy首先构建了一个用于评估的训练集，该训练集包含现有数据和由LLM生成的变体数据。随后，该框架进入优化循环，该循环包含变异、评估和选择三个核心步骤，用以对初始提示词进行迭代优化。Prochemy是一种即插即用的解决方案，能够与现有方法（如思维链和多代理系统）无缝集成，而无需修改其底层架构。
IEEE Transactions On Software Engineering（TSE）是软件工程领域的顶级期刊，是中国计算机学会（CCF）推荐的A类期刊和中科院一区SCI TOP期刊。该论文的第一作者叶思翔为信息学院2024级硕士研究生，李征教授和刘勇见习教授指导，北京化工大学为第一完成单位，合作单位包括中国科学院软件所和北京大学。该工作得到了国家自然科学基金、华为胡杨林基金等项目的资助。
论文下载网址：https://arxiv.org/abs/2503.11085