港大首推「轻量级RAG神器」MiniRAG，5B模型手机端轻松运行，引领新潮流

MiniRAG针对小型语言模型(SLMs)的局限，重新设计了信息检索和生成流程，实现了高效的知识增强系统，无需依赖大型语言模型，同时保护用户数据隐私。主要设计思路基于对SLMs的三个关键发现，并据此提出了两个核心创新组件：异构图索引和轻量级基于图的知识检索。为评估MiniRAG在实际应用中的表现，研究团队推出了评测数据集LiHua-World，全面覆盖端侧场景下的需求。

实验结果显示，MiniRAG在替换大型语言模型为小型语言模型时，展现出优秀的稳定性，性能降幅远小于其他RAG系统。同时，MiniRAG在存储空间上实现了显著优化。研究团队还通过消融实验和实际场景案例研究，深入分析了MiniRAG各组件的性能贡献和实际应用中的优势。MiniRAG的成功标志着设备端RAG系统研究的重要进展，为边缘AI应用提供了新的发展方向。

标签：

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。