近日，华南理工大学土木与交通学院土木工程（卓越全英班）2025届本科毕业生、2025级硕士研究生张鼎伦的研究论文“DOKE-RAG: bridging expert knowledge and LLMs via multi-modal graph retrieval for deep vertical domains”在计算机类国际权威期刊Expert Systems With Applications发表。该成果是其在学院教师陈太聪指导下完成的学校优秀本科毕业论文成果。
《结构力学》等土木工程核心课程具有概念关系复杂、公式图表密集、知识层次性强等特点。传统大语言模型在回答此类专业问题时，容易出现知识依据不充分、推理链条不清晰、专业术语不准确等问题。针对这一挑战，论文提出面向领域的知识增强多模态图检索增强生成框架（DOKE-RAG），探索将专家知识、知识图谱和大语言模型结合，用于结构力学等深度垂直领域的智能知识问答。
面向领域的知识增强多模态图检索增强生成框架
该框架可从复杂PDF、课程讲授音频、数学公式、工程图表和表格等异构资料中提取多模态知识，并将其组织为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验结果表明，DOKE-RAG在结构分析领域专业问答任务中较现有RAG和Graph RAG方法取得了更优表现。
在论文研究和插图绘制过程中，张鼎伦还尝试将AI绘图方法用于科研图示表达，并将相关经验整理为方法论文章，发表于AI开源学习社区Datawhale公众号，获得10万+阅读量。
该文章发布后，受到人民邮电出版社关注。出版社邀请张鼎伦围绕AI科研绘图主题开展图书写作，其独立撰写的《AI科研绘图Nano Banana极速实战指南》目前已正式出版。
《AI科研绘图Nano Banana极速实战指南》封面
近年来，学校土木与交通学院持续推进新工科建设和拔尖创新人才培养，依托土木工程全英班、智能建造相关课程体系、大学生创新创业训练项目和高水平科研平台，引导本科生参与真实工程问题和前沿交叉研究，获广东省本科教学成果二等奖两项。张鼎伦本科期间曾参与学科交叉领域大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型等方向积累了交叉研究基础。该成果体现了土木与交通学院在土木工程传统优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向开展交叉融合培养的阶段性成效。
·相关成果链接：https://doi.org/10.1016/j.eswa.2026.133291
