autoRAG 安装使用

2024-11-14 15:18:00
CJL
原创
292

代码仓库:https://github.com/Marker-Inc-Korea/AutoRAG?tab=readme-ov-file


创建项目目录:mkdir zai


cd zai

安装依赖:pip install AutoRAG


解析文档:

mkdir parsed_data

cd parsed_data

python ../run_parse.py



拆分文档


mkdir chunked_data

cd chunked_data

python ../run_chunk.py


创建QA


此步需要调用openai 接口需要配置密码和代理

export OPENAI_API_KEY=sk-proj-6D****7xYazYw-ImnIA
export OPENAI_API_BASE=https://m-proxy.****.cn/v1


如果提示sqllite版本过低根据此文档处理: https://docs.trychroma.com/troubleshooting#sqlite

在脚本底部添加代码

__import__('pysqlite3')
import sys
sys.modules['sqlite3'] = sys.modules.pop('pysqlite3')


或者直接修改chromadb源码,可以通过pip show AutoRAG 查看python包安装位置,找到vim /home/****/.pyenv/versions/3.10.14/lib/python3.10/site-packages/chromadb/__init__.py 在文件顶部添加上门的3行代码


mkdir qa_data

cd qa_data

python ../run_qa.py


执行autorag

配置文件为截图中的yaml内容


mkdir auto_data

cd auto_data

python ../run_auto.py


打开web界面:

cd auto_data

autorag run_web --trial_path 0


发表评论
评论通过审核后显示。
流量统计