autoRAG 安装使用
- 2024-11-14 15:18:00
- CJL 原创
- 292
代码仓库:https://github.com/Marker-Inc-Korea/AutoRAG?tab=readme-ov-file
创建项目目录:mkdir zai
cd zai
安装依赖:pip install AutoRAG
解析文档:
mkdir parsed_data
cd parsed_data
python ../run_parse.py
拆分文档
mkdir chunked_data
cd chunked_data
python ../run_chunk.py
此步需要调用openai 接口需要配置密码和代理
export OPENAI_API_KEY=sk-proj-6D****7xYazYw-ImnIA
export OPENAI_API_BASE=https://m-proxy.****.cn/v1
如果提示sqllite版本过低根据此文档处理: https://docs.trychroma.com/troubleshooting#sqlite
在脚本底部添加代码
__import__('pysqlite3')
import sys
sys.modules['sqlite3'] = sys.modules.pop('pysqlite3')
或者直接修改chromadb源码,可以通过pip show AutoRAG 查看python包安装位置,找到vim /home/****/.pyenv/versions/3.10.14/lib/python3.10/site-packages/chromadb/__init__.py 在文件顶部添加上门的3行代码
mkdir qa_data
cd qa_data
python ../run_qa.py
执行autorag
配置文件为截图中的yaml内容
mkdir auto_data
cd auto_data
python ../run_auto.py
打开web界面:
cd auto_data
autorag run_web --trial_path 0