146 lines
4.3 KiB
Markdown
146 lines
4.3 KiB
Markdown
# Easy Dataset
|
||
|
||
[English](./README.md) | [中文](./README.zh.md)
|
||
|
||
这个服务部署 Easy Dataset，一个用于创建大语言模型（LLM）微调数据集的强大工具。它提供了直观的界面，可以上传特定领域的文件、智能分割内容、生成问题，并产生高质量的模型微调训练数据。
|
||
|
||
## 服务
|
||
|
||
- `easy-dataset`：主应用服务器，内置 SQLite 数据库。
|
||
|
||
## 环境变量
|
||
|
||
| 变量名 | 描述 | 默认值 |
|
||
| -------------------------- | ---------------------- | ------- |
|
||
| EASY_DATASET_VERSION | Easy Dataset 镜像版本 | `1.5.1` |
|
||
| EASY_DATASET_PORT_OVERRIDE | Web 界面的主机端口映射 | `1717` |
|
||
| TZ | 系统时区 | `UTC` |
|
||
|
||
请创建 `.env` 文件并根据您的使用场景进行修改。
|
||
|
||
## 数据卷
|
||
|
||
- `easy_dataset_db`：用于存储 SQLite 数据库和上传文件的命名卷。
|
||
- `easy_dataset_prisma`：（可选）如需要可用于 Prisma 数据库文件的命名卷。
|
||
|
||
## 快速开始
|
||
|
||
### 快速启动（推荐）
|
||
|
||
1. （可选）创建 `.env` 文件以自定义设置：
|
||
|
||
```env
|
||
EASY_DATASET_VERSION=1.5.1
|
||
EASY_DATASET_PORT_OVERRIDE=1717
|
||
TZ=Asia/Shanghai
|
||
```
|
||
|
||
2. 启动服务：
|
||
|
||
```bash
|
||
docker compose up -d
|
||
```
|
||
|
||
3. 访问 Easy Dataset：`http://localhost:1717`
|
||
|
||
### 使用 Prisma 数据库挂载（高级）
|
||
|
||
如果需要挂载 Prisma 数据库文件：
|
||
|
||
1. 首先初始化数据库：
|
||
|
||
```bash
|
||
# 克隆仓库并初始化数据库
|
||
git clone https://github.com/ConardLi/easy-dataset.git
|
||
cd easy-dataset
|
||
npm install
|
||
npm run db:push
|
||
```
|
||
|
||
2. 在 `docker-compose.yaml` 中取消注释 Prisma 卷挂载：
|
||
|
||
```yaml
|
||
volumes:
|
||
- easy_dataset_db:/app/local-db
|
||
- easy_dataset_prisma:/app/prisma # 取消此行注释
|
||
```
|
||
|
||
3. 启动服务：
|
||
|
||
```bash
|
||
docker compose up -d
|
||
```
|
||
|
||
## 功能特性
|
||
|
||
- **智能文档处理**：支持 PDF、Markdown、DOCX 等多种格式
|
||
- **智能文本分割**：多种算法，可自定义分段
|
||
- **问题生成**：从文本中自动提取相关问题
|
||
- **领域标签**：构建全局领域标签，具有理解能力
|
||
- **答案生成**：使用 LLM API 生成全面的答案和思维链（COT）
|
||
- **灵活编辑**：在任何阶段编辑问题、答案和数据集
|
||
- **多种导出格式**：Alpaca、ShareGPT、multilingual-thinking（JSON/JSONL）
|
||
- **广泛的模型支持**：兼容所有遵循 OpenAI 格式的 LLM API
|
||
|
||
## 使用流程
|
||
|
||
1. **创建项目**：设置新项目并配置 LLM API
|
||
2. **上传文档**：添加您的特定领域文件（PDF、Markdown 等）
|
||
3. **文本分割**：查看并调整自动分割的文本段
|
||
4. **生成问题**：从文本块批量构造问题
|
||
5. **创建数据集**：使用配置的 LLM 生成答案
|
||
6. **导出**：以您喜欢的格式导出数据集
|
||
|
||
## 默认凭据
|
||
|
||
Easy Dataset 默认不需要身份验证。应在基础设施层面实现访问控制（例如反向代理、防火墙规则）。
|
||
|
||
## 资源限制
|
||
|
||
该服务配置了以下资源限制：
|
||
|
||
- **CPU**：0.5-2.0 核心
|
||
- **内存**：1-4 GB
|
||
|
||
可以根据您的工作负载需求在 `docker-compose.yaml` 中调整这些限制。
|
||
|
||
## 安全注意事项
|
||
|
||
- **数据隐私**：所有数据处理都在本地进行
|
||
- **API 密钥**：在应用程序内安全存储 LLM API 密钥
|
||
- **访问控制**：根据需要实施网络级访问限制
|
||
- **更新**：定期更新到最新版本以获取安全补丁
|
||
|
||
## 文档
|
||
|
||
- 官方文档：[https://docs.easy-dataset.com/](https://docs.easy-dataset.com/)
|
||
- GitHub 仓库：[https://github.com/ConardLi/easy-dataset](https://github.com/ConardLi/easy-dataset)
|
||
- 视频教程：[Bilibili](https://www.bilibili.com/video/BV1y8QpYGE57/)
|
||
- 研究论文：[arXiv:2507.04009](https://arxiv.org/abs/2507.04009v1)
|
||
|
||
## 故障排除
|
||
|
||
### 容器无法启动
|
||
|
||
- 查看日志：`docker compose logs easy-dataset`
|
||
- 验证端口 1717 未被占用
|
||
- 确保系统资源充足
|
||
|
||
### 数据库问题
|
||
|
||
- 如遇到 SQLite 问题，删除并重新创建卷：
|
||
|
||
```bash
|
||
docker compose down -v
|
||
docker compose up -d
|
||
```
|
||
|
||
### 权限错误
|
||
|
||
- 确保容器对挂载卷有写入权限
|
||
- 检查 Docker 卷权限
|
||
|
||
## 许可证
|
||
|
||
Easy Dataset 采用 AGPL 3.0 许可证。详见 [LICENSE](https://github.com/ConardLi/easy-dataset/blob/main/LICENSE) 文件。
|