Um ambiente local completo para rodar LLMs como deepseek-coder e mistral com Docker, Open-WebUI, benchmarks automáticos, fallback inteligente e uma DX otimizada via Makefile ou script Bash — tudo open source, tudo fácil de estender!
🧠 Por que criei isso?
Eu queria um ambiente de IA local que fosse:
- 💡 Simples de iniciar (
make devousetup-dev.sh) - 🔁 Resiliente (reinicia containers com falha automaticamente)
- 🧪 Benchmarkado (testa o tempo de resposta logo após subir)
- 🐳 Totalmente Dockerizado
- 🤖 Rodando modelos como DeepSeek Coder e Mistral direto no meu PC
- 🧰 Personalizável para qualquer outro uso com LLMs offline
Então eu criei o mori-ollama-srv.
🔧 O que tem no stack?
- ✅ Ollama com suporte a modelos como
deepseek-coder:6.7b,mistral,llama - ✅ Open-WebUI (interface para chats)
- ✅ Benchmarks automáticos via script
- ✅ Docker Compose + Makefile para facilitar tudo
- ✅ Ativação de modo “performance” na CPU (Linux)
- ✅ Execução local ou remota via SSH
🧪 Exemplos de uso
# Rodar com modelo padrão (deepseek)
make dev
# Rodar com modelo leve (mistral)
make install ARGS="--light"
# Pular benchmark
make install ARGS="--no-benchmark"
# Rodar tudo remotamente
make install ARGS="[email protected]"
🌍 Acesse o WebUI
Depois de subir tudo, o painel estará acessível em:
📁 Repositório e Gist
- GitHub: https://github.com/rafa-mori/mori-ollama-srv
- Gist: https://gist.github.com/faelmori/463092315840a09417268b13f8fee1a8
📄 Licença
MIT © Rafael Mori
Contribuições são super bem-vindas 🙌
Se curtir, deixa uma estrela ⭐ lá no GitHub e comenta aqui como pretende usar!
Top comments (0)