Skip to content

dataciviclab/source-observatory

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

19 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Source Observatory

source-observatory è un piccolo intelligence layer per fonti pubbliche.

Fa parte dell'ecosistema DataCivicLab.

La sua v0 ha un perimetro volutamente stretto:

  • verificare se una fonte è viva
  • osservare un piccolo set di cataloghi ricchi per segnali di inventario significativi
  • tenere il monitoraggio file/resource limitato a pochi casi Tier 1

Non è:

  • una pipeline dataset
  • un sistema di intake candidate
  • una piattaforma di monitoraggio diffuso dataset-per-dataset

V0 attuale

La v0 pubblicabile è concentrata su pochi cataloghi ricchi:

  • istat_sdmx
  • anac
  • inps
  • openbdap

La regola guida è semplice:

  • meglio 4 cataloghi ricchi con segnali leggibili
  • peggio 12 fonti miste con poco segnale

Componenti

source-check

Workflow pubblico/light per verificare se una fonte osservata regge davvero come pista del Lab.

File canonici:

radar

Risponde a:

  • la fonte è raggiungibile?
  • è fragile?

File canonici:

catalog-watch

Risponde a:

  • l'inventario del catalogo è cambiato?
  • c'è drift strutturale?
  • c'è un segnale che merita follow-up umano?

Per la v0, catalog-watch resta human-run.

File canonici:

monitor

Layer secondario di supporto per un set molto piccolo di risorse Tier 1 già note.

File canonici:

Struttura del repo

  • scripts/
    • codice runtime canonico
  • data/
    • stato generato e report
  • docs/
    • uso, architettura, piano, runbook
  • workflows/
    • workflow operativi posseduti dal repo

Comandi canonici

Eseguire i comandi dalla root del workspace:

dataciviclab-workspace/
python source-observatory/scripts/radar_check.py
python source-observatory/scripts/monitor/resource_monitor.py --sources source-observatory/scripts/monitor/resource_monitor.sources.yml

Documentazione

About

Piccolo intelligence layer per fonti pubbliche: radar, catalog-watch, monitoraggio risorse e workflow di source-check.

Topics

Resources

License

Code of conduct

Contributing

Security policy

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages