Skip to content

spike: validate ANAC delta ingestion model before delta_merge implementation #72

@Gabrymi93

Description

@Gabrymi93

Obiettivo

Validare su dati reali il modello di ingestione incrementale ANAC prima di implementare un plugin delta_merge nel toolkit.

Contesto

Per il filone ANAC/BDNCP il toolkit potrebbe aver bisogno di una logica stateful di upsert sui delta. Pero' alcuni punti del modello sono ancora da verificare sul dump reale, soprattutto sullo schema OCDS e sulla presenza dei subappalti nel payload principale o in dataset separati.

Perche' spike e non feature immediata

Prima di implementare un plugin stateful nel toolkit serve verificare:

  • forma reale del dump ANAC usato dal Lab
  • stabilita' della chiave primaria (CIG)
  • struttura OCDS minima davvero disponibile
  • posizione reale dei dati sui subappalti
  • fattibilita' del merge incrementale con stato su filesystem

Cosa fare

Produrre una validazione tecnica minima su dump reale:

  1. confermare il formato di input effettivo (JSON OCDS, CSV, mix)
  2. confermare la chiave primaria operativa per l'upsert
  3. verificare se i subappalti stanno nel JSON principale o in dataset separato
  4. verificare se il flattening minimo richiesto e' sufficiente per il Gap Civico Pubblicare v1.1.0 come release di consolidamento del runtime tecnico. #4
  5. confermare che un file di stato tipo delta_state.json sia sufficiente come modello filesystem-first

Output atteso

  • verdetto tecnico: go delta_merge oppure serve redesign
  • elenco minimo dei campi davvero affidabili per una v1
  • chiarimento su cosa puo' stare in raw, clean, mart

Cosa non fare

  • non implementare ancora il plugin delta_merge
  • non introdurre subito logica stateful nel core senza questa verifica
  • non assumere lo schema dei subappalti senza prova sul dump reale

Note

Se lo spike regge, da qui puo' nascere una feature issue separata per delta_merge con scope piu' pulito.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    Status

    Backlog

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions