🔍 灵鉴 RAG评测系统 | RAGEval

✨ 开箱即用的RAG系统自动化评估工具

One-stop RAG Evaluation Solution

快速开始 • 功能特性 • 在线演示 • 功能截图 • 系统架构 • 参与贡献

⭐ 如果这个项目对你有帮助，请给我们一个Star！⭐
您的支持是我们持续改进的动力

---

🎯 项目简介

灵鉴（RAGEval） 是一款专业的RAG（检索增强生成）系统评测工具，为AI应用开发者提供从数据准备、自动评测到报告生成的全流程解决方案。

🎬 在线演示

🌐 测试网址：https://rag-eval.chongwenz.cn

👤 测试账号：t1@rag.com / 1

📺 演示视频：快速介绍视频（该视频版本较旧，4月初的版本）

🚀 快速开始

默认管理员账号：admin@rag.com / admin

🐳 一键部署（推荐）

# 1. 克隆项目
git clone https://github.com/momomo623/RAGEval.git
cd RAGEval

# 2. 启动所有服务
cd docker
docker-compose up -d

# 3. 等待服务启动（约1-2分钟）
docker-compose logs -f

# 4. 访问应用
http://localhost

🌐 手动部署

# 1. 克隆项目
git clone https://github.com/momomo623/RAGEval.git
cd RAGEval
# 2. 安装后端依赖
cd rag-evaluation-backend
pip install -r requirements.txt
# 3. 启动后端服务
uvicorn app.main:app --reload --host 0.0.0.0 --port 8000

# 4. 安装前端依赖
cd rag-evaluation-frontend
npm install
# 5. 启动前端服务
npm run dev

# 6. 数据库
手动安装需要自行准备 PostgreSQL 数据库并创建数据库（默认：rag_evaluation）。
可在 `rag-evaluation-backend/.env` 配置 `DATABASE_URL` 或 `POSTGRES_*` 参数。
然后执行 Alembic 迁移初始化表结构：
alembic upgrade head
或直接运行初始化脚本（创建数据库并迁移）：
python app/db/init_db.py

# 7. 访问应用
http://localhost:5173

📸 功能截图

🔧 系统配置

支持多种大模型API配置和RAG系统接入设置

⚡ 性能测试

实时性能测试监控

详细的性能指标分析

📊 精度评测

AI自动精度评测过程

多维度精度评测结果

🤖AI生成问答对

支持多种数据格式导入和批量生成

✨ 核心功能

🤖 AI智能评测数据生成

• ✅ 文档解析 - 自动文档切分和预处理
• ✅ 智能问答生成 - 并行调用大模型生成高质量问答对
• ✅ 数据质量保证 - 自动验证生成数据的完整性和准确性
• 🔜 多样化生成 - 支持不同难度和类型的问答对生成

📊 RAG系统精度评测

• ✅ 多维度评估 - 准确性、相关性、完整性等全方位评测
• ✅ 智能评分 - AI自动评分和分析
• ✅ 对比分析 - 多个RAG系统横向对比
• 🔜 人工评测 - 协作式人工审核平台

⚡ RAG系统性能评测

• ✅ 响应时间测试 - 精确测量系统响应延迟
• ✅ 首Token时间 - 测量从请求到首个Token返回的延迟
• ✅ 平均字符时间 - 计算每个字符的平均生成时间
• ✅ 平均响应时间 - 统计完整回答的平均响应时间
• ✅ 并发性能测试 - 模拟并发场景下的系统表现
• ✅ 吞吐量测试 - 单位时间内处理请求数量评估

📊 服务说明

服务	端口	说明	状态检查
🌐 前端应用	80/443	React + Caddy	curl http://localhost
🔧 后端API	8000	FastAPI	curl http://localhost:8000/health
🗄️ 数据库	5432	PostgreSQL 14	docker-compose ps

🏗️ 系统架构

graph TB
    A[用户界面 React] --> B[Caddy Web服务器]
    B --> C[FastAPI 后端]
    C --> D[PostgreSQL 数据库]
    C --> E[大模型API]
    C --> F[RAG系统API]
    
    subgraph "Docker容器"
        B
        C
        D
    end
    
    subgraph "外部服务"
        E
        F
    end

Loading

🔧 技术栈

前端

• React 18 + TypeScript
• Ant Design + TailwindCSS
• Vite构建工具

后端

• FastAPI + Python 3.9+
• SQLAlchemy ORM
• Pydantic数据验证

部署

• Docker + Docker Compose
• Caddy Web服务器（自动HTTPS）
• PostgreSQL数据库

📖 详细文档

• 📚 部署指南 - 详细的Docker部署说明
• 🔧 后端开发 - 后端API开发指南
• 🎨 前端开发 - 前端开发环境配置

🗺️ 开发路线图

✅ 已完成功能

• 项目管理和数据集管理
• 系统配置和健康检查
• AI问答对生成
• RAG系统性能测试
• RAG系统精度测试
• Docker一键部署
• Caddy自动HTTPS

🔜 计划功能

• 完整的AI评测引擎
• 报告生成
• 多语言支持
• 支持RAG中间过程评测，如召回率等
• API SDK开发

🤝 参与贡献

我们欢迎所有形式的贡献！无论是代码、文档、建议还是bug报告。

🌟 如何贡献

1. ⭐ Star本仓库 - 这是对我们最大的支持！
2. 🐛 报告问题 - 在Issues中描述遇到的问题
3. 💡 提出建议 - 分享你的想法和改进建议
4. 🔧 提交代码 - Fork仓库并提交Pull Request

📄 开源协议

本项目采用 MIT License 开源协议。

---

⭐ 觉得有用？给我们一个Star吧！⭐
您的每一个Star都是我们前进的动力

Made with ❤️ by the RAGEval Team

Star History