AnythingLLM avec Claude, GPT et Gemini

Choisissez Generic OpenAI comme fournisseur LLM dans AnythingLLM, renseignez la base URL avots, la clé, le modèle et le contexte, et discutez avec vos documents sur avots.

Obtenir une clé API ✦ Voir les tarifs Docs on GitHub

Connect in three fields

AnythingLLM dispose d'un fournisseur Generic OpenAI pour tout endpoint compatible OpenAI. Pointez-le vers avots.

FieldValue
Base URLhttps://api.avots.ai/openai/v1
API keyav_mcp_… · get your key
Modelanthropic/claude-sonnet-4.6 or any id from the table below

Setup

1. Ouvrez les réglages LLM

Allez dans Settings → AI Providers → LLM et choisissez Generic OpenAI comme fournisseur.

2. Renseignez les champs

Réglez Base URL sur https://api.avots.ai/openai/v1, API Key sur votre clé av_mcp_, et Chat Model Name sur anthropic/claude-sonnet-4.6.

3. Définissez le contexte et les jetons

Saisissez la Token context window pour votre modèle et une valeur Max Tokens, puis enregistrez.

AnythingLLM · Generic OpenAI
LLM Provider:         Generic OpenAI
Base URL:             https://api.avots.ai/openai/v1
API Key:              av_mcp_YOUR_KEY
Chat Model Name:      anthropic/claude-sonnet-4.6
Token context window: 200000
Max Tokens:           4096

Generic OpenAI n'a pas de découverte automatique des modèles, tapez le Chat Model Name exact à la main. Réglez correctement la Token context window et Max Tokens, des valeurs erronées tronquent ou provoquent une erreur silencieuse. Ceci configure uniquement le LLM de chat, les embeddings sont un fournisseur distinct.

Example request

curl
curl https://api.avots.ai/openai/v1/chat/completions \
  -H "Authorization: Bearer av_mcp_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic/claude-sonnet-4.6",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

The same key also unlocks MCP tools

Your av_mcp_ key is not only for chat. avots also runs as an MCP server, so AnythingLLM can call avots creative tools, image, video, music, talking avatars, on the same key and the same balance.

FieldValue
MCP serverhttps://mcp.avots.ai/
API keyav_mcp_… · same key as above

MCP setup guide →

Models and prices

Set the model field to any id below, or a lazy name like claude / gpt / gemini that maps to a sensible default.

ModelBest for⚡ / 1M tokens (in / out)
openai/gpt-5.5-proMax intelligence, hardest tasks60 000 / 360 000
anthropic/claude-opus-5Top Claude, long reasoning10 000 / 50 000
anthropic/claude-sonnet-4.6Balanced (default)6 000 / 30 000
google/gemini-3.1-pro-previewFresh Gemini Pro4 000 / 24 000
google/gemini-2.5-proStable Gemini Pro2 500 / 20 000
anthropic/claude-haiku-4.5Fast Claude2 000 / 10 000
deepseek/deepseek-r1Cheap reasoning1 400 / 5 000
google/gemini-2.5-flashFast and cheap600 / 5 000
openai/gpt-5-miniCheap OpenAI500 / 4 000
openai/gpt-oss-120b:freeFree (OpenAI open model, needs a positive balance)Free

* Price in ⚡ per 1,000,000 tokens, input / output (1000⚡ ≈ $1). Free models need a positive balance. Full list via GET /openai/v1/models.

AnythingLLM avec Claude, GPT et Gemini

Generate an av_mcp_ key in Settings, paste three fields, and reach 40+ models on one balance. The same key works for MCP.

Obtenir une clé API ✦
FAQ

Questions

Quel fournisseur dois-je choisir ?
Generic OpenAI. Il expose Base URL, API Key, Chat Model Name, la fenêtre de contexte et le maximum de jetons.
Pourquoi régler le contexte et le maximum de jetons ?
Generic OpenAI ne les lit pas depuis l'endpoint. Des valeurs erronées tronquent le contexte ou provoquent des erreurs, faites-les donc correspondre au modèle.
Cela règle-t-il aussi les embeddings ?
Non. Le LLM et l'embedder sont des fournisseurs distincts dans AnythingLLM. Ceci concerne uniquement le LLM de chat.
Comment est-ce facturé ?
À la requête depuis votre solde avots.
Does it support function calling and tools?
Yes. The endpoint forwards the standard OpenAI tools, tool_choice and parallel_tool_calls fields (and the legacy functions/function_call), in both streaming and non-streaming mode, so agent frameworks like LangChain, LlamaIndex, Langflow and n8n get real tool_calls back. Whether a given request uses tools depends on the model you pick: Claude, GPT and Gemini all support function calling.

Autres clients

OpenAI-compatible API

avots speaks the OpenAI API. Any app that talks to ChatGPT through base URL, key and model…

Open WebUI with Claude, GPT and Gemini

Add avots under Connections as an OpenAI API provider, and every avots model shows up in y…

LibreChat with Claude, GPT and Gemini

Add one custom endpoint block to librechat.yaml and avots appears as a provider with every…

Cursor with Claude, GPT and Gemini

Override the OpenAI base URL in Cursor Settings, Models, paste your av_mcp_ key, add a mod…

Python openai SDK with avots

Pass base_url and your av_mcp_ key to the official openai Python client, then call any mod…

openclaw with Claude, GPT and Gemini

Add an OpenAI-compatible provider to openclaw.json pointing at avots, and openclaw runs an…

Hermes with Claude, GPT and Gemini

Set the OpenAI base URL and your av_mcp_ key in Hermes, pick a model, and it runs on avots…

Cline with Claude, GPT and Gemini

Pick OpenAI Compatible in Cline settings, paste the avots base URL and your av_mcp_ key, t…

Continue.dev with Claude, GPT and Gemini

Add one models entry to Continue config.yaml with provider openai and the avots base URL, …

Aider with Claude, GPT and Gemini

Export two environment variables and launch Aider with an openai/ model prefix, and the CL…

SillyTavern with Claude, GPT and Gemini

Choose Custom (OpenAI-compatible) as the Chat Completion source in SillyTavern, paste the …

Node.js openai SDK with avots

Pass baseURL and your av_mcp_ key to the official openai client, then call any model by id…

Chatbox with Claude, GPT and Gemini

Add a custom OpenAI API compatible provider in Chatbox, paste the avots host and your av_m…

Obtenir une clé