-
Notifications
You must be signed in to change notification settings - Fork 0
clean.read.mode=all|explicit viene scavalcato da primary_output_file nel RAW manifest #20
Copy link
Copy link
Closed
Labels
bugSomething isn't workingSomething isn't working
Description
Problema
Nel layer clean, i casi multi-source possono leggere un input sbagliato quando nel manifest RAW esiste primary_output_file.
In particolare:
clean.read.mode: allclean.read.mode: explicit
venivano di fatto scavalcati dalla presenza di primary_output_file, con il risultato che il clean finiva per leggere un solo file RAW anche quando il config chiedeva esplicitamente altro.
Contesto emerso
Il problema è emerso durante il preproject SIOPE in fase di testing, dove serviva verificare casi multi-file reali.
Il caso non è SIOPE-specifico:
- riguarda il contract generale tra RAW manifest e input selection del CLEAN
- può colpire qualunque dataset con più file RAW nello stesso anno
Comportamento atteso
mode: latestcontinua a usare la logica standardmode: largestcontinua a usare la logica standardmode: alllegge tutti i file candidatimode: explicitrispettainclude/excludeprimary_output_fileresta utile per il caso semplice, ma non deve scavalcarealloexplicit
Fix già disponibile
Branch locale:
fix/clean-multisource-selection
Commit:
78a1d56fix: rispetta mode all ed explicit nel clean
Include anche test:
tests/test_clean_input_selection.py
Criteri di chiusura
- il
cleanrispettamode: all - il
cleanrispettamode: explicit - il caso semplice con
primary_output_filenon regredisce - test automatici presenti
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
bugSomething isn't workingSomething isn't working
Type
Projects
Status
✅ Completato