Vision
Nous voulons offrir une expérience comparable à un « Docker Desktop pour agents IA » : installer, voir l’état, choisir un modèle et l’utiliser sans devenir spécialiste de l’inférence. Le local reste le chemin prioritaire ; le backend est une extension, jamais une condition de fonctionnement.
À qui s’adresse dllm ?
Aux particuliers qui souhaitent conserver davantage de contrôle sur leurs données, aux développeurs qui ont besoin d’un endpoint compatible OpenAI sur leur réseau local et aux petites équipes qui veulent mutualiser des nœuds autorisés sans exposer de ports publics.
Le problème résolu
Assembler un modèle, un runtime, une interface et une couche réseau demande aujourd’hui plusieurs outils. dllm réduit cette fragmentation tout en maintenant des frontières nettes entre UI, orchestration, runtime, modèles, réseau, métriques et politiques de ressources.
Fonctionnalités principales
- Conversation locale et connectée depuis la console Flutter.
- Gestion des organisations, nœuds, modèles et tâches.
- Runtime llama.cpp embarqué et exécuté hors de la couche UI.
- Streaming des réponses et suivi de l’état opérationnel.
- Communications backend sortantes, authentifiées par Supabase.
Pourquoi l’approche est différente
dllm ne dépend pas d’Ollama et ne demande pas à l’utilisateur d’installer séparément le runtime. Les prompts locaux peuvent rester locaux. En mode connecté, Supabase porte l’identité et le contrôle, tandis que les machines autorisées conservent l’exécution.
Roadmap
Maintenant
Stabiliser l’inférence locale, le téléchargement des modèles, la santé du runtime et l’expérience de connexion.
Ensuite
Améliorer les sessions persistantes, l’ordonnancement, la reprise après incident et le support multi-modèles. Les fonctions distribuées resteront additives.