Margen diferencia loss y accuracy 6.1

[jadawabe]

Hola, como vimos en la ayudantía la idea es que loss y accuracy sean lo más parecido posible para el set de train y validation para que no se sobreajuste. ¿Cuál sería un margen aceptable para esta diferencia?
Muchas gracias

[IngElecPuc]

Hola
Sería deseable entrenar con una función de pérdida que sea igual a accuracy, pues te asegurarías que eso sería lo que estarías minimizando. Es cierto lo que dices que eso se dijo en la ayudantía. También es cierto que no se puede pues accuray no es diferenciable. La solución está en calcular la probabilidad de que un elemento pertenezca a la clase deseada. Con las técnicas vistas.
Para calcular un margen deseable en el entrenamiento lo haces comparando accuracy en entre los sets de validación y entrenamiento. Si el accuracy se mantiene similar en ambos sets entonces tu modelo está aprendiendo, y tienes correspondencia estadística. Si no, entonces debes parar el entrenamiento. Un margen aceptable sería cercano al 5%. En principio.
Por otro lado, como quieres obtener el máximo accuracy, puedes permitirte sobreentrenar un poco la red si sigues teniendo buenos resultados en validación. Esto, siempre y cuando el sobreentrenamiento no degenere tu accuracy de validación, por supuesto. Recuerda que debes superar el 60% en test.
Saludos
Felipe R.

[jadawabe]

Muchas gracias!!