Services
VPS operationnel · compliance-labs.com

Pipeline — Deep Crawler

Crawl documentaire complet par batch — 235 produits, cascade N0→N7

Crawls par Batch
Chargement…

Console Pipeline

En attente de logs...
Résultats des crawls

Chargement...

🔧 Recover — Récupération intelligente

Domain Resolver

Résolution intelligente de domaine vendeur — cascade N0 → N6 avec vérification navigateur

Cascade de résolution — N0 → N6
Architecture Pipeline complet — 6 Phases
Batch Results
Chargement…
Améliorations à développer

Infrastructure & Architecture

Vue complète de l'infrastructure CL Pipeline v5.1 — mise à jour automatique

📐 infrastructure.html

Deep Resolver

Recherche de documentation exhaustive — l'entonnoir déterministe + agent (Architecture & Fonctionnement)

🧭 deep-resolver.html

Tous les services

Chargement...

🔎 Recherche Produits

Extraction documentaire autonome — machine déterministe + secours IA

Chargement…
Chargement…

📊 Répartition qualité note honnête

Chargement…

📋 Statut des fiches temps réel

Chargement…

🚑 Activité du secours live

Chargement…
Chargement…
🔎 Découverte Claude Code (dernier recours, recherche web)
Chargement…
Chargement…
Chargement…
Chargement…
Chargement…
Chargement…
Chargement…

Le système prend une liste de 236 produits et, pour chacun, fabrique une fiche de documentation : il trouve la vraie doc, l'aspire, la note honnêtement. Ce qui échoue ou reste pauvre part dans une file qu'un autopilote de secours draine seul, avec un cerveau (Opus). Rien ne tourne inutilement, rien n'écrase jamais un bon résultat.

Services autonomes

🐳 cl-masterdrain liste

  • Refait les 236 produits via l'entonnoir, de zéro.
  • 2 workers, sémaphore 2 slots (anti-saturation mémoire).
  • Resumable & reboot-proof.

🚑 cl-secourstimer 10 min

  • L'autopilote : 1 cas par tour.
  • Phase 1 : répare les fiches rouges.
  • Phase 2 : vérifie la complétude des autres.

🌉 hermes-job-bridgedéclencheur

  • Hermès déclenche une extraction (bordé).

📊 dashboardcette UI

  • Vue live services, crawls, qualité.
L'entonnoir d'extraction (par produit)

1 · 🔍 Resolver

  • Trouve l'URL de doc : sitemap, sous-domaines docs./developer.

2 · 📥 Deep-crawler

  • Aspire les pages, délai adaptatif.
  • Bascule navigateur (camoufox) si JS.

3 · ✓ Validator

  • Mesure la pertinence du contenu.

4 · ⚖️ Score honnête

  • pertinence × volume × couverture × anti-marketing.
  • Une page quasi-vide ne peut plus afficher 100.

5 · 🎯 Décision

  • ≥ 80 vert fiche faite.
  • 30–79 jaune correcte.
  • < 30 rouge → secours.
L'autopilote de secours

Phase 1 — réparer le rouge

  • Tavily : URLs candidates (web).
  • Opus 4.7 : choisit la vraie doc (anti-homonyme).
  • Opus 4.8 (web, 14 tours) : cas durs.
  • Extraction escaladée : deep → camoufox → proxy.
  • → résolu (q≥80) ou needs_human.

Phase 2 — complétude

  • Démarre quand plus aucun rouge.
  • Coup d'œil gratuit : pages vs sitemap.
  • Effort dégressif : faibles ++ · moyens + · excellents : intouchables.

🛡️ Gardes (stabilité)

  • Anti-régression : essai moins bon ⇒ restauration exacte.
  • Verrou par fiche : pas deux process sur un cas.
  • Tampon « vérifié » : pas de boucle.

Le pipeline au centre, ses 5 domaines en branches, et le détail développé en sous-nœuds.

CL PipelineRecherche Produit · 236
📋 Liste maître
236 produits (nom + éditeur)
all_resolved.json
🔻 Entonnoir
🔍 Resolvertrouve l'URL de doc
📥 Deep-crawleraspire · camoufox si JS
✓ Validatorpertinence
⚖️ Score honnêtevolume × couverture
🚑 Secours
Phase 1 — rougeTavily → Opus 4.7 → Opus 4.8
Phase 2 — complétudeeffort dégressif
Gardesanti-régression · verrou · tampon
⚙️ Services
cl-master (2 workers)
cl-secours.timer (10 min)
hermes-job-bridge · dashboard
🎯 Sorties
vert ≥80 : fiche faite
rouge <30 : secours
needs_human : revue

Le flux de bout en bout, façon n8n : chaque nœud est une étape, les couleurs indiquent le type.

entrée / crawl décision cerveau (IA) sortie OK échec / humain
glisser pour déplacer · molette pour zoomer
Source
📋 Liste 236
cl-master prend le prochain produit
Resolver
🔍 Resolver
trouve l'URL (docs., sitemap)
Crawl
📥 Crawler
aspire · camoufox si JS
Pertinence
✓ Validator
mesure la pertinence
Note
⚖️ Score honnête
pertinence × volume × couverture
Décision
🟢 ≥ 80
fiche faite → stockée
🟡 30–79
correcte · phase 2
🔴 < 30
rouge → secours
Tavily
🌐 Tavily
URLs candidates (web)
Choix IA
🧠 Opus 4.7
choisit la vraie doc
Cas durs
🔬 Opus 4.8
web 14 tours
Ré-extraction
⚙️ Extract
deep → camoufox → proxy
Sortie
✅ Résolu
q ≥ 80 → réparée
👤 needs_human
pas de doc crawlable
Phase 2 — complétude (boucle de fond). Quand la file de rouge est vide, l'autopilote repasse sur les fiches faites pour vérifier qu'il n'a rien manqué : coup d'œil gratuit (pages vs pages réelles), re-crawl seulement si gros trou, et jamais sur les fiches déjà excellentes (≥ 90).

Architecture VPS

Running Stopped
Chargement...

Logs en temps reel

Containers
Systeme
CPU--
RAM--
Disk--
Network--
Selectionnez un container
0 lignes
Cliquez sur un container pour voir ses logs en temps reel

Monitoring systeme

Chargement...
Alertes
Chargement...
Utilisation des ressources (temps reel)
Chargement...

Scripts & Automatisation

Chargement des scripts...

🧭 VibeForge Scout

Mappe les outils existants pour ton idee avant de coder • 7 phases • Claude Sonnet + Search

🔋 PC a distance

Chargement...

🔌 Multiprise — touchez une prise pour l'allumer/éteindre

Chargement...

⚡ Consommation & coût (estimation)

Parametres

🖥️

Informations VPS

IP57.129.78.250
Domainecompliance-labs.com
Dashboarddashboard.compliance-labs.com
n8nn8n.compliance-labs.com
🎨

Apparence

Theme sombre
Notifications toast
Auto-refresh containers
📊

Systeme

OSDebian
Kernel--
Docker--
Node.js--
Uptime--
--
📦

Export / Import

Exporter ou importer la configuration (todos, parametres)

🌐

Domaines Traefik

Chargement...
CPU --
RAM --
DSK --
LOAD --
NET ↓ --
↑ --
UP --
IP 57.129.78.250