港口企业在数字化转型中积累了大量非结构化知识资源，基于大语言模型与检索增强生成（RAG）技术构建的智能问答系统为港口知识管理提供了新的技术路径。然而，现有评价研究多聚焦于算法性能指标，缺乏面向高安全、高合规工业场景的综合效能评价框架。本文面向港口企业知识库智能问答系统的应用评价需求，基于 D&M信息系统成功模型，引入认知负担理论与 SECI 知识转化模型，构建了包含知识与内容质量、系统与技术效能、用户 体验与管理效益 3 个一级指标和 9 个二级指标的多维评价体系。运用德尔菲法进行指标筛选，采用层次分析法（AHP）确定指标权重，并通过一致性检验保障权重分配的逻辑合理性。在此基础上，以某港口企业实际部署的融合知识图谱与向量检索的 KG-RAG 智能问答系统为评价对象，基于自建 PortBiz-QA-200 测试集开展消融实验与真实业务盲测。结果表明，KG-RAG 架构较传统单路 RAG 在事实准确与无幻觉率、多跳逻辑关联能力两项核心指标上分别提升了25.2% 和 45.5%，系统综合加权得分达 91.35 分。研究表明，所构建的评价体系能够较为全面地反映智能问答系统在高风险业务场景中的技术性能与管理应用价值，可为港口及其他高安全行业的知识管理系统评价提供参考。

智能问答系统；多维评价体系；层次分析法；检索增强生成；知识图谱

[1]张斌,魏扣,郝琦.国内外知识库研究现状述评与比较[J].图书情报知识,2016(3):15-25.

[2]张敏,邹盛,沈高锋,等.电力设计企业知识管理关键技术及应用功能探讨[J].企业改革与管理,2021(20):40-41.

[3]Lewis P,Perez E,Piktus A,et al.Retrieval-augmented generation for knowledge-intensive NLP tasks[C]//Advances in Neural Information Processing Systems33.2020:9459-9474.

[4]Pan S,Luo L,Wang Y,et al.Unifying large language models and knowledge graphs:A roadmap[J].IEEE Transactions on Knowledge and Data Engineering,2024,36(7):3007-3026.

[5]胡佳慧,李姣,姚宽达,等.大语言模型融合知识图谱的医学问答系统构建研究[J].中国数字医学,2024,19(06):91-95.

[6]石致远,张佳蕾,孔志伟,等.结合知识图谱与大语言模型的风电装备智能问答系统[J].东方电气评论,2024,38(3):77-84.

[7]Kang M,Kim J.A comprehensive survey on enterprise knowledge graph construction and application[J].IEEE Access,2022,10:106981-107005.

[8]Chang Y,Wang X,Wang J,et al.A survey on evaluation of large language models[J].ACM Transactions on Intelligent Systems and Technology,2024,15(3):1-45.

[9]DeLone W H,McLean E R.The DeLone and McLean model of information systems success:A tenyear update[J].Journal of Management Information Systems,2003,19(4):9-30.

[10]张金营,王天堃,么长英,等.基于大语言模型的电力知识库智能问答系统构建与评价[J].计算机科学,2024,51(12):286-292.

[11]Sweller J.Cognitive load theory,learning difficulty,and instructional design[J].Learning and Instruction,1994,4(4):295-312.

[12]Nonaka I,Takeuchi H.The knowledge-creating company:How Japanese companies create the dynamics of innovation[M].Oxford University Press,1995.

[13]赵雪琴.基于RAG的科技奖励知识库构建与应用研究[J].情报探索,2024(11):75-81.

[14]王东清,芦飞,张炳会,等.大语言模型中提示词工程综述[J].计算机系统应用,2025,34(1):1-10.

[15]Munim Z H,Dushenko M,Jimenez V J,et al.Big data and artificial intelligence in the maritime industry:a bibliometric review and future research directions[J].Maritime Policy&Management,2020,47(5):577-597.