认知智能全国重点实验室成立基础模型认知能力评测研究中心
6月21日,认知智能全国重点实验室成立基础模型认知能力评测研究中心,中国科大刘淇教授担任中心主任。
大模型作为人工智能领域的重要研究方向,其在语言理解、逻辑推理、文本生成等多个方面展现出强大的能力,随之而来的,如何科学地评价大模型能力已逐渐成为学界和业界的关注焦点。
为科学评价和引导大模型的健康发展,认知智能全国重点实验室成立了基础模型认知能力评测研究中心,这标志着国内在大模型评估领域的研究力量得到进一步加强。依托实验室共建单位中国科大和科大讯飞的科研实力及技术积累,新成立的基础模型评测中心旨在对基础模型的认知能力进行深入分析和科学评价,致力于构建一个公正、科学、全面的大模型评测体系,推动通用人工智能技术的创新发展和应用普及。
中国科大和科大讯飞在认知能力评测方面已有深厚的合作基础和研究成果,提出了多个创新的认知诊断模型和算法,为基础模型评测中心的工作奠定了理论基础;开发了一系列具有实际应用价值的诊断工具、方法和系统,这些成果可以直接应用于基础模型的评估和优化。
此前,实验室已于2023年6月牵头设计了通用认知大模型评测体系,覆盖7大类481个细分任务,打造可持续验证的模型能力评测底座。在此基础上,实验室进一步设立专门的研究中心,聚焦标准化评测工具、多维度评测标准、技术伦理与安全性等方面,希望通过科学、公正的评估,推动通用人工智能技术的健康和可持续发展。