Andrey Lutsenko
104 lines
2.4 KiB
Markdown
104 lines
2.4 KiB
Markdown
# OpenClaude + Local LLM: Quickstart 30 min
|
|
|
|
Короткий маршрут "с нуля до рабочего стенда" на Ubuntu.
|
|
|
|
## 0) Что получится
|
|
|
|
- локальный LLM через Ollama
|
|
- `openclaude` в CLI
|
|
- локальный RAG-поиск через MCP (`search_docs`)
|
|
|
|
## 1) Установка зависимостей
|
|
|
|
```bash
|
|
sudo apt update
|
|
sudo apt install -y curl git docker.io docker-compose-plugin python3 python3-venv python3-pip direnv
|
|
sudo systemctl enable docker
|
|
sudo systemctl start docker
|
|
```
|
|
|
|
## 2) Установка Ollama
|
|
|
|
```bash
|
|
curl -fsSL https://ollama.com/install.sh | sh
|
|
sudo systemctl enable ollama
|
|
sudo systemctl start ollama
|
|
curl -s http://127.0.0.1:11434/api/tags
|
|
```
|
|
|
|
## 3) Установка OpenClaude
|
|
|
|
```bash
|
|
npm install -g @gitlawb/openclaude
|
|
```
|
|
|
|
## 4) Скачать стартовые модели
|
|
|
|
```bash
|
|
ollama pull qwen2.5-coder:7b
|
|
ollama pull nomic-embed-text
|
|
```
|
|
|
|
## 5) Поднять Qdrant
|
|
|
|
```bash
|
|
cd ~/openclaude-LLM-local/docs/rag-mcp-starter
|
|
docker compose up -d
|
|
curl -s http://127.0.0.1:6333/collections
|
|
```
|
|
|
|
## 6) Подготовить Python окружение
|
|
|
|
```bash
|
|
cd ~/openclaude-LLM-local/docs/rag-mcp-starter
|
|
python3 -m venv .venv
|
|
source .venv/bin/activate
|
|
pip install --upgrade pip
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
## 7) Проиндексировать документы
|
|
|
|
```bash
|
|
cd ~/openclaude-LLM-local/docs/rag-mcp-starter
|
|
mkdir -p docs
|
|
# Добавьте в docs/ файлы .md .txt .pdf
|
|
python index.py
|
|
```
|
|
|
|
## 8) Запустить MCP сервер
|
|
|
|
```bash
|
|
cd ~/openclaude-LLM-local/docs/rag-mcp-starter
|
|
source .venv/bin/activate
|
|
python mcp_server.py
|
|
```
|
|
|
|
## 9) Подключить MCP в OpenClaude
|
|
|
|
Добавьте в `~/.claude/settings.json`:
|
|
|
|
```json
|
|
{
|
|
"mcpServers": {
|
|
"local-rag": {
|
|
"command": "/home/USER/openclaude-LLM-local/docs/rag-mcp-starter/.venv/bin/python",
|
|
"args": ["/home/USER/openclaude-LLM-local/docs/rag-mcp-starter/mcp_server.py"]
|
|
}
|
|
}
|
|
}
|
|
```
|
|
|
|
Замените `USER` на вашего пользователя.
|
|
|
|
## 10) Запуск OpenClaude на локальной модели
|
|
|
|
```bash
|
|
export CLAUDE_CODE_USE_OPENAI=1
|
|
export OPENAI_BASE_URL=http://127.0.0.1:11434/v1
|
|
export OPENAI_MODEL=qwen2.5-coder:7b
|
|
openclaude
|
|
```
|
|
|
|
Проверка в чате: попросите агента использовать `search_docs` по вашему запросу.
|