Organizar resultados

[ulises-jeremias]

En la raiz del repositorio se va a encontrar el directorio /results organizado de la siguiente forma:

.
├─ . . .
├─ results
│  ├─ <dataset>                    # resultados para un dataset específico
│  │  ├─ <model>                   # resultados obtenidos utilizando el modelo <model> para el dataset especifico <dataset>
│  │  │  ├─ models                 # directorio donde se encuentran los ".h5", resultados del entrenamiento del modelo <model> sobre el dataset <dataset>
│  │  │  ├─ results                # archivos ".csv" con las distintas métricas para cada época de entrenamiento.
│  │  │  ├─ summaries              # tensorboard summaries
│  │  │  ├─ config                 # en caso de tener archivos de configuración, los mismos deberán estar en este directorio
│  └─ └─ └─ <dataset>_<model>.csv  # archivo ".csv" en el cual se encuentran relacionados los models, results y summaries ordenados por fecha
└─ . . .

Donde,

<dataset> = lsa16 | rwth | . . .
<model>   = dense-net | proto-net

[okason97]

Genial!
No me quedo claro
_.csv # archivo ".csv" en el cual se encuentran relacionados los models, results y summaries ordenados por fecha
Lo vemos el martes.

[ulises-jeremias]

sisi, para mañana esta pusheado y explicado asi que no problem

[okason97]

Estaria bueno añadir un archivo csv que tenga lo siguiente

id (fecha) / modelo / dataset / ...hyperparametros... / ...mejores resultados train y test...

para poder comparar rapido las diferentes configuraciones.

[okason97]

.
├─ . . .
├─ results
│  ├─ <dataset>                    # resultados para un dataset específico
│  │  ├─ <model>                   # resultados obtenidos utilizando el modelo <model> para el dataset especifico <dataset>
│  │  │  ├─ models                 # directorio donde se encuentran los ".h5", resultados del entrenamiento del modelo <model> sobre el dataset <dataset>
│  │  │  ├─ results                # archivos ".csv" con las distintas métricas para cada época de entrenamiento.
│  │  │  ├─ summaries              # tensorboard summaries
│  │  │  ├─ config                 # en caso de tener archivos de configuración, los mismos deberán estar en este directorio
│  └─ └─ └─ <dataset>_<model>.csv  # archivo ".csv" en el cual se encuentran relacionados los models, results y summaries ordenados por fecha
└─ summary.csv # aca se pondrian todos los mejores resultados

[okason97]

identifier, densenet, dataset_name, rotation_range, width_shift_range, height_shift_range, horizontal_flip, growth_rate, nb_layers, lr, epochs, max_patience, min_loss, min_loss_acc
El formato que le voy a poner es este

[ulises-jeremias]

@okason97 no es general ese... porque abarcas las configuraciones solo del modelo dense-net... fijate que el archivo que yo había puesto ya contempla configuraciones, el <dataset>_<model>_results.csv ya tiene en csv la configuracion usada, por lo que el summary podria tener otra forma mas especifica

datetime, dataset_name, model_name, config_file_path, min_loss, min_loss_acc

donde config file es algo asi como ./results/lsa16/proto-net/results/<config>.json

con esa configuracion que es mas legible uno ya puede ir directamente a los archivos que necesita cuando lo necesite. En <dataset>/dense-net/config/ deberias agregar los backups de configuracion como hice con prototypical (puede ser un .conf o en mi caso .json me parecio mas legible), entonces uno va solo a buscar ese archivo donde este toda la config

[okason97]

@ulises-jeremias tenes razon. un archivo de configuracion es mejor. Usemos ese formato entonces 👍

[okason97]

epochs lo pondria en el archivo de la configuracion.

[ulises-jeremias]

@okason97 sisi, se me mezcló en el ejemplo

[ulises-jeremias]

Aca hay un ejemplo de como exporto a json la configuracion