Deepresearch的MCP实践
deepresearch是目前最流行的大模型应用范式，将agent应用于调研报告上，实现了用户只需要输入自己的问题，大模型自动搜索信息完成报告的过程。
区别于rag的单次检索过程和定制化的流程，deepresearch建立在deepsearch的的基础上，由LLM自主控制整个流程。 deepsearch的核心在于搜索、阅读、推理的循环。接收到查询时，进行搜索和阅读，然后根据当前搜索结果，决定是否终止或是扩展查询继续搜索。 参考： https://jina.ai/news/a-practical-guide-to-implementing-deepsearch-deepresearch
本项目， …
多模态RAG设计及实践
多模态RAG系统 多模态的RAG相比于文本的RAG多了图片和表格等数据模态，能够给用户更丰富的问答体验，提高沟通效率。
下面从数据来源，数据解析，预处理，分块策略，数据库设计，索引策略，检索策略，生成策略，精准引用策略，评估方法，效果实测，项目局限和未来发展等方面介绍本项目。
项目特色：
①领域：垂直领域的论文问答。
②模态：支持检索相关的图片和表格，给回复以佐证。
③引用：自动添加合适的参考文献，可定位到原文的句子。
④效果：在RAGS上评估，各项指标均比较优秀。
数据来源 20年至2024.12.8的图情和计算机方向的舆情分析核心期刊论文。共近200篇。
数据解析 采用MinerU库 …
Rags自动生成测试集
搭建一个RAG只需要一下午，但是优化却要一年。RAG的评估至关重要，现在最流行的就是RAGS了，社区非常活跃。
关于评估的指标，无非是从检索、生成、端到端这三部分来评估。 参见
今天的实践是自动生成测试集。官网链接：链接
后续真正能用的测试集，还得是自己定义数据加载方法，也可以把数据库的记录导出来。 还有非英语的处理，还有多种角色的定义。
数据加载 需要任意格式的文件。RAGS是默认使用langchain加载数据的，但是会报错：file is not a zip file的bug，需要安装nltk，bug链接，但是国内又下不了。
于是采用llama_index。代码是：
path = …
RAG给回复加上引用
我们希望RAG的幻觉减少，最有力的证明就是关键句子参考的某篇文献或报告。然而，大模型的随机性导致提供的引文可能都不存在，所以直接让大模型输出的方式目前是不可靠的。下面总结下添加引文的常见方法。
一、外面加上引文 最直接和最简单的方法。当使用检索到的chunk时，就直接把这些chunk的元数据引用。
优点：简单，直接。 缺点：检索到的不一定支持回答。
# 美化参考来源标题 console.print(Panel.fit("[bold blue]参考来源：[/bold blue]", style="magenta")) # 美化参考来源列表 if …
1
