autoRAG 安裝使用

代碼倉庫：https://github.com/Marker-Inc-Korea/AutoRAG?tab=readme-ov-file

創建項目目録：mkdir zai

cd zai

安裝依賴：pip install AutoRAG

解析文檔：

mkdir parsed_data

cd parsed_data

python ../run_parse.py

拆分文檔

mkdir chunked_data

cd chunked_data

python ../run_chunk.py

此步需要調用openai 接口需要配置密碼和代理

export OPENAI_API_KEY=sk-proj-6D****7xYazYw-ImnIA
export OPENAI_API_BASE=https://m-proxy.****.cn/v1

如果提示sqllite版本過低根據此文檔處理： https://docs.trychroma.com/troubleshooting#sqlite

在腳本底部添加代碼

__import__('pysqlite3')
import sys
sys.modules['sqlite3'] = sys.modules.pop('pysqlite3')

或者直接修改chromadb源碼，可以通過pip show AutoRAG 查看python包安裝位置，找到vim /home/****/.pyenv/versions/3.10.14/lib/python3.10/site-packages/chromadb/__init__.py 在文件頂部添加上門的3行代碼

mkdir qa_data

cd qa_data

python ../run_qa.py

執行autorag

配置文件爲截圖中的yaml內容

mkdir auto_data

cd auto_data

python ../run_auto.py

打開web界麵：

cd auto_data

autorag run_web --trial_path 0