Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 7): Métodos de optimización adaptativos" - página 2

Nuevo comentario
 

TempData.Add((double)((compra || venta) ? 0 : 1));//Undefine

¿No puede Undefine como en el código anterior escribir 0.5 en lugar de 0 para reducir el número de indefinidos?

 

Gran y excelente trabajo Dimitry! tu esfuerzo en este es inmenso.

y gracias por compartirlo.

una pequeña observación:

He probado el script, la retropropagación se ejecuta antes de la feedforward.

Mi sugerencia sería feedforward primero y luego backpropagate resultado correcto.

Si los resultados correctos son backpropagated después de saber lo que la red piensa , usted podría ver la reducción de los fractales que faltan. hasta el 70% de los resultados podría ser refinado.


Además,

haciendo esto :

TempData.Add((double)((!buy && !sell) ? 0.5 : 0));

podría potencialmente resultar en una red prematuramente entrenada. por lo tanto, debemos evitar esto.

para el aprendizaje de la red,

podemos empezar con el optimizador Adam y una tasa de aprendizaje de0,001 e iterar sobre las épocas.

(o)

para encontrar una mejor tasa de aprendizaje, podemos utilizar LR Range Test (LRRT)


Digamos que, si los valores por defecto no funcionan, el mejor método para encontrar una buena tasa de aprendizaje es la Prueba de Rango de Tasa de Aprendizaje.

  1. Comience con una tasa de aprendizaje muy pequeña (por ejemplo,1e-7).

  2. En cada lote de entrenamiento, aumente gradualmente la tasa de aprendizaje de forma exponencial.

  3. Registre la pérdida de entrenamiento en cada paso.

  4. Grafique la pérdida frente a la tasa de aprendizaje.

  5. Observe el gráfico. La pérdida bajará, luego se aplanará y, de repente, se disparará. (La siguiente tasa de aprendizaje inmediata es la óptima después de esta subida).

necesitamos la tasa de aprendizaje más rápida donde la pérdida sigue disminuyendo constantemente.

Gracias de nuevo

12
Nuevo comentario