Skip to content

clean.read.mode=all|explicit viene scavalcato da primary_output_file nel RAW manifest #20

@Gabrymi93

Description

@Gabrymi93

Problema

Nel layer clean, i casi multi-source possono leggere un input sbagliato quando nel manifest RAW esiste primary_output_file.

In particolare:

  • clean.read.mode: all
  • clean.read.mode: explicit

venivano di fatto scavalcati dalla presenza di primary_output_file, con il risultato che il clean finiva per leggere un solo file RAW anche quando il config chiedeva esplicitamente altro.

Contesto emerso

Il problema è emerso durante il preproject SIOPE in fase di testing, dove serviva verificare casi multi-file reali.

Il caso non è SIOPE-specifico:

  • riguarda il contract generale tra RAW manifest e input selection del CLEAN
  • può colpire qualunque dataset con più file RAW nello stesso anno

Comportamento atteso

  • mode: latest continua a usare la logica standard
  • mode: largest continua a usare la logica standard
  • mode: all legge tutti i file candidati
  • mode: explicit rispetta include / exclude
  • primary_output_file resta utile per il caso semplice, ma non deve scavalcare all o explicit

Fix già disponibile

Branch locale:

  • fix/clean-multisource-selection

Commit:

  • 78a1d56 fix: rispetta mode all ed explicit nel clean

Include anche test:

  • tests/test_clean_input_selection.py

Criteri di chiusura

  • il clean rispetta mode: all
  • il clean rispetta mode: explicit
  • il caso semplice con primary_output_file non regredisce
  • test automatici presenti

Metadata

Metadata

Assignees

Labels

bugSomething isn't working

Type

No type

Projects

Status

✅ Completato

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions