近日,国际电信联盟电信标准分局第十六研究组(ITU-T SG16)于法国雷恩召开全体会议,《基于人工智能的代码生成技术要求和评估方法》国际标准项目成功获得立项通过。据了解,该项目由中国信通院牵头,联合华为云等产学研机构共同提出,这也是国际上首个代码大模型的标准项目。
随着预训练大模型、生成式人工智能等技术的迅速发展,智能化应用的深度和广度持续提升,软件工程也正在经历一场智能化变革,大模型所具备的生成和理解等能力驱使软件工程走向智能化道路,以代码大模型为基石的智能化软件工程新体系已初步形成。随着代码大模型的规模不断壮大,各大榜单的评估结果却存在较大差异性。因此,建立一套客观公平、体系完整的代码大模型评估体系迫在眉睫。
《基于人工智能的代码生成技术要求和评估方法》国际标准围绕代码大模型相关的通用能力、专用场景能力和应用成熟度,主要从输入多样性、任务多样性、语言完备度、结果可接收性、结果准确度等维度,对代码大模型提出了全栈技术和管理要求。
国际电信联盟(ITU)是国际三大标准化组织之一,其成员包括190多个国家、900多个公司与学术机构,是全球影响最广、参与国家和成员最多、最具权威性的国标标准机构之一。此次国际标准项目的成功立项,有助于推动全球范围对代码大模型的整体技术框架形成认同和共识,提升代码大模型的能力,促进代码大模型的规范化应用,也标志着我国科技企业在智能化软件工程领域的技术探索受到国际认可。
华为云多年来在智能化软件工程领域持续开展深入研究,此国际标准的研制中,华为云充分贡献了前期研究成果。早在2022年,华为诺亚方舟实验室联合华为云PaaS技术创新实验室,基于华为的基础大模型,研制出代码大模型。2023年,华为云在此基础上进一步推出能力更强大的代码大模型,在使用相对更少的训练数据和计算资源的情况下,代码生成一次通过率大幅超越同等规模的模型,甚至可以做到远超参数量规模更大的模型。
华为云CodeArts Snap是基于华为云盘古研发大模型的智能开发助手,重塑智能化软件研发的新范式,让开发者更加聚焦业务创新,事半功倍。基于智能生成、智能问答2大核心能力,覆盖代码生成、研发知识问答、单元测试用例生成、系统测试脚本代码生成、代码解释、代码注释、代码翻译、代码调试、代码检查等多种研发场景,释放软件研发生产力。
软件研发过程需经过多轮分层测试,包括单元测试、集成测试、系统测试、E2E场景验收测试等。传统自动化时代,需要消耗大量的测试开发人力开发测试代码,以实现测试执行自动化。
华为云CodeArts Snap的测试脚本生成功能可以基于测试人员所写的测试步骤自然语言描述,智能生成测试脚本代码。该功能适用于面向企业各产品领域特定测试框架和自定义一方、二方、三方测试方法库的测试生成场景,实现根据测试业务上下文检索并增强生成测试方法和参数赋值。