FlashRAG：一个面向高效研究 RAG 的模块化的工具包。来自人民大学

包含四个组件：
- Judger。评估查询是否需要检索。
- Retriever。对于稀疏检索，支持使用 BM25 方法。对于密集检索，我们支持各种基于 BERT 的嵌入模型，例如 DPR、E5 和 BGE。
- Reranker。支持各种广泛使用的 Cross-Encoder 模型，例如 bgereranker 和 jina-reranker。
- Refiner。优化Generator的输入文本，以减少令牌使用并减少检索到的文档的干扰。
- Generator。集成了vllm和 FastChat，也支持 Transformers 库的原生接口。

特性：
- 可扩展可定制的模块化框架。实现了覆盖四个类别的 13 个组件
- 实现了 12 种高级 RAG 算法，例如 Self-RAG 和 FLARE，涵盖顺序 RAG、条件 RAG、分支 RAG 和循环 RAG 类别
- 整理了32个常见的RAG基准数据集
- 提供了一整套辅助脚本

评测数据：
提供了 12 种已有高级 RAG 算法的评测对比数据
项目仓库 https://t.co/yA4PsnAws0

个人评价：
RAG 领域的算法和论文层出不穷，很难用一套框架来覆盖。而在真实生产环境，也不可能实现所有算法并在线 AB 实验。基于 workflow 来自定义 RAG 流程，也足够简单且灵活。

我的 RAG 论文 Coze bot：
https://t.co/8agQfFmIss

我的论文研究：
https://t.co/ypZjIAnot9

点击图片查看原图

点击图片查看原图