-
Notifications
You must be signed in to change notification settings - Fork 0
spike: validate ANAC delta ingestion model before delta_merge implementation #72
Copy link
Copy link
Open
Description
Obiettivo
Validare su dati reali il modello di ingestione incrementale ANAC prima di implementare un plugin delta_merge nel toolkit.
Contesto
Per il filone ANAC/BDNCP il toolkit potrebbe aver bisogno di una logica stateful di upsert sui delta. Pero' alcuni punti del modello sono ancora da verificare sul dump reale, soprattutto sullo schema OCDS e sulla presenza dei subappalti nel payload principale o in dataset separati.
Perche' spike e non feature immediata
Prima di implementare un plugin stateful nel toolkit serve verificare:
- forma reale del dump ANAC usato dal Lab
- stabilita' della chiave primaria (
CIG) - struttura OCDS minima davvero disponibile
- posizione reale dei dati sui subappalti
- fattibilita' del merge incrementale con stato su filesystem
Cosa fare
Produrre una validazione tecnica minima su dump reale:
- confermare il formato di input effettivo (JSON OCDS, CSV, mix)
- confermare la chiave primaria operativa per l'upsert
- verificare se i subappalti stanno nel JSON principale o in dataset separato
- verificare se il flattening minimo richiesto e' sufficiente per il Gap Civico Pubblicare
v1.1.0come release di consolidamento del runtime tecnico. #4 - confermare che un file di stato tipo
delta_state.jsonsia sufficiente come modello filesystem-first
Output atteso
- verdetto tecnico:
go delta_mergeoppureserve redesign - elenco minimo dei campi davvero affidabili per una v1
- chiarimento su cosa puo' stare in
raw,clean,mart
Cosa non fare
- non implementare ancora il plugin
delta_merge - non introdurre subito logica stateful nel core senza questa verifica
- non assumere lo schema dei subappalti senza prova sul dump reale
Note
Se lo spike regge, da qui puo' nascere una feature issue separata per delta_merge con scope piu' pulito.
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels
Type
Projects
Status
Backlog