La etiqueta del mercado o los buenos modales en un campo de minas - página 19

 
paralocus >> :

Esto es lo más importante:

1. Otra opción para infectar el sistema es introducir una entrada aleatoria adicional en una neurona o grupo de neuronas: el órgano.

2. "Órgano" puede ser representado como un grupo especializado de neuronas con una retroalimentación universal - es decir, cada neurona de órgano "sabe" lo que hay en la salida de cualquier otra neurona de su grupo( órgano o familia), y cada grupo es consciente de lo que hay en la salida del órgano. Una SN de este tipo será capaz de autoadaptarse de forma dinámica y la necesidad de aprendizaje será una de sus dominantes, es decir, el sistema puede buscar y generalizar los conocimientos que necesita de forma intencionada y automotivada. Nuestra tarea consistirá en levantarle obstáculos y esparcir trozos de conocimiento aquí y allá -:)

Un callejón sin salida: si todo se hace correctamente (en la organización y el entrenamiento de la red), después de un cierto número de iteraciones de entrenamiento el cuerpo quedará aislado.


Otra cosa -- "infectar" el proceso de aprendizaje introduciendo un componente aleatorio relativamente pequeño en la regla delta, esto aumentará en algunos casos la tasa de aprendizaje, y también saldrá efectivamente de los mínimos locales. Este es ya un método probado.

 
TheXpert >> :

Un callejón sin salida: si todo se hace bien (en la organización y el entrenamiento de la red), después de un cierto número de iteraciones de entrenamiento el cuerpo quedará aislado.



No lo haces bien...

Un órgano es un órgano para que el hígado no interfiera con la función del bazo. La red no aislará todos los órganos ya que esto supone una reducción de entropía crítica para ella: la "muerte".

Bueno, si algo se cae, era innecesario.

 
paralocus писал(а) >>

¡El tema principal de este hilo ya lo he podido apreciar! -:) Eres un genio y no estoy bromeando.

Tengo una idea. Muy posiblemente uno nuevo. Anoche, tuve un "cortocircuito"... en todos los niveles de mi red neuronal personal).

El caso es que llevo toda la vida estudiando al hombre, y no sólo en el contexto de su realización social y personal -pues todo eso es "superficial"- sino como fenómeno holístico del ser y "vaso de conciencia". Hoy, en una noche, todo lo que se ha acumulado durante muchos años se ha sistematizado (autoorganizado), pasando de ser una simple colección ordenada de hechos y supuestos a ser una integridad por derecho propio.

No puedo ocultar mi emoción. Oh, bueno... eso fue una digresión lírica.

La idea es sencilla:

Para aumentar la robustez de las SN de cualquier escala o propósito, hay que intentar infectarlas... infectarlas. Un virus es ciertamente fatal para la lógica determinista de una máquina de Turing - para la NS y la inteligencia artificial, con una aplicación adecuada y "dosificada" puede resultar ser sólo "agua viva". Ahora vamos a hablar de uno en uno:

1. Todos los organismos vivos son la esencia de las redes neuronales. La afirmación puede parecer demasiado atrevida, pero es un hecho fenomenológico.

2. Todos los organismos vivos se encuentran en un entorno agresivo con el fin de aprender, lo que llamamos evolución. Sólo hay que recordar que, junto con la evolución de las formas, hay una evolución continua de las conciencias individuales encarnadas en esas formas. La conciencia en sí es un efecto de la complejidad del sistema (red neuronal), y su "Planck" evolutivo - :), supongo - es la relación entre la complejidad del sistema y la entropía del mismo.

3. Los sistemas cuya entropía ha caído por debajo de un determinado límite se extinguen porque son incapaces de seguir evolucionando; sin embargo, los sistemas cuya entropía ha aumentado por encima de un determinado límite también se autodestruyen. De ahí la conclusión: para que un sistema evolucione con éxito, su entropía debe alcanzar periódicamente, durante un determinado periodo de tiempo, los valores máximos permitidos en el sistema dado. A este estado de cosas lo llamamos "enfermedad". Al decir la palabra "enfermedad" lo digo en un sentido bastante amplio: un criminal de aspecto bastante sano es un enfermo. Sólo que no es su cuerpo el que está enfermo, sino su mente y el dolor que recibe, la mayoría de las veces no en forma de fiebre o gripe, sino en forma de la llamada "pesada cruz", "destino" y demás. Sin embargo, este dolor "social" que reciben es una especie de influencia docente del continuo evolutivo, que eleva la entropía de la criatura hasta límites difícilmente soportables. Esto plantea una cuestión filosófica sobre el profesor y sus objetivos... que, sin embargo, está mucho más allá del alcance de nuestra discusión en el foro -:)

4. los que sobreviven - han desarrollado la inmunidad - en el sentido más amplio - es decir, no sólo contra los gérmenes patógenos y sociales, pero lo que es aún más importante para la evolución - transaccional externa y transaccional interna.

5. En cualquier sistema vivo existen esos "gérmenes" que seguramente lo matarán si su inmunidad se debilita lo suficiente. ¿Por qué ha hecho esto la naturaleza? Exactamente con el fin de aumentar la capacidad del mismo sistema para resistir a los factores del entorno mediante un constante "entrenamiento" interno del sistema para la supervivencia y, en consecuencia, tener más oportunidades (tiempo) para continuar la evolución individual.

6. Supongamos que la tarea de un sistema en evolución es desarrollar la inmunidad (en todos los sentidos). Entonces resulta algo interesante: el número de entradas de las NS vivas, así como el número de salidas (aún menos), es ridículamente pequeño en comparación con el número de sus neuronas y conexiones. Es decir, aumentamos bruscamente el número de neuronas en la capa intermedia (si hay tres capas: de entrada, oculta y de salida), y ahora podemos intentar "infectar" el NS. Esto puede hacerse introduciendo un error aleatorio medido durante la corrección de los pesos. Y yendo un poco más allá, es posible un entrenamiento alternativo del NS aumentando o disminuyendo la frecuencia o la amplitud de este error aleatorio.

Por ejemplo, antes de la corrección de los pesos podríamos intentar añadir un pequeño error al corrector con una función que (aleatoriamente) una vez cada 1000 llamadas a la misma devolviera un valor aleatorio de un determinado rango (por ejemplo, +0,01 / -0,01 ). No se sabe cuándo ni qué neurona recibirá un pequeño incremento erróneo. Cuanto más a menudo se produzcan estos incrementos, mayor será la entropía del sistema. En este caso, la SN tendrá que tener en cuenta... ¡su propio error!

Aquí hay otro punto importante:

1. Una variante más de la contaminación del sistema - la introducción de una entrada aleatoria adicional en una neurona o un grupo de neuronas - un órgano.

2. "Órgano" puede representarse como un grupo especializado de neuronas que tienen una retroalimentación universal - es decir, cada neurona de órgano "sabe" lo que hay en la salida de cualquier otra neurona de su grupo (órgano o familia), y cada grupo es consciente de lo que hay en la salida del organismo. Una SN de este tipo será capaz de autoadaptarse de forma dinámica y la necesidad de aprendizaje será una de sus dominantes, es decir, el sistema puede buscar y generalizar los conocimientos que necesita de forma intencionada y automotivada. Nuestra tarea será poner obstáculos y esparcir trozos de conocimiento aquí y allá -)

+5

Yo también he pensado en algo así. Al trabajar con la IA se abren muchas dependencias interesantes y no triviales.

Por ejemplo, no hace mucho me di cuenta de por qué necesitamos los sueños... Resulta que durante el sueño, nuestro cerebro ejercita las sinapsis al experimentar lo que hemos visto antes, eliminando así su inevitable distrofia (es un objeto biológico, en el que los procesos de intercambio están en constante marcha y se acumulan los errores). Si no durmiéramos, ¡habríamos perdido todas las habilidades cognitivas y la memoria a largo plazo en un año! - Habríamos quedado reducidos a simples cosas que sólo pueden recordar lo que ven. Las experiencias poderosas (relacionadas con eventos que cambian la vida) nos persiguen en el sueño todo el tiempo, lo que cimenta el conocimiento útil con un hacha.

 
Neutron >> :

Experiencias poderosas (relacionadas con eventos que cambian la vida) nos persiguen en nuestros sueños todo el tiempo, lo que cimenta un conocimiento útil con un hacha.

Bueno, eso es manejable. El contexto de aprendizaje no tiene por qué ser negativo. Para un sistema que ha "captado" lo que se espera de él y ha "aceptado" este objetivo como propio (como su propósito principal = sentido de la vida) los sueños dejan de ser pesadillas y en los sueños el aprendizaje puede continuar a velocidades muy altas.

 
Neutrón Creo que si pasamos completamente a aprender manipulando la entropía del sistema, los mínimos locales desaparecerán como clase. Sin embargo, el entrenamiento puede requerir muchas más épocas y no todas las cuadrículas podrán completarlo. Pero los que pueden... No puedo ni imaginar de lo que serán capaces.
 
Neutron >> :


Neutrón, me gustaría seguir hablando de blanquear las entradas, y de extender el error a los siguientes niveles también

 

Hola, paralocus.

Actualmente estoy trasteando con el Zig-Zag de Matkad - (en algún lugar de mi cabeza tiene un fallo) y al mismo tiempo estoy normalizando los datos de entrada para NS. Esto es lo que obtuve la última vez: Supongamos que tenemos datos de entrada con una distribución arbitraria de incrementos, definidos en la línea de números enteros. Necesitamos encontrar un algoritmo para mapear esta distribución a un rango de +/-1 con una distribución de función de densidad de probabilidad (SP) estante.

Tomemos la serie EURUSD 1m como ejemplo y tracemos la distribución SP de la diferencia d[i]=Open[i]-Open[i+1] fig. a la izquierda:

Se ha obtenido una buena distribución exponencial y la convertiremos en un estante unitario. Para ello construimos la PDF de SP simplemente hallando la suma conmutativa de SP (Fig. derecha) y ajustando cada rama a 1 teniendo en cuenta el signo de la misma (habiendo desplazado previamente la curva por su valor correspondiente a "cero" en el máximo de la distribución de SP). Obtuvimos un patrón de tipo sigmoide. Ahora, tomamos la serie inicial de incrementos y actuamos sobre cada uno de ellos con nuestro sigmoide como operador, que los mapeará a un estante unitario. Para ello, simplemente sustituyo el valor de incremento d[i] como argumento de la sigmoidea resultante:

El resultado es algo no exactamente parecido a una estantería, pero casi. Compárelo con la distribución original. La separación en el centro de la distribución resultante es inevitable, porque hay que estirar en alguna parte para hacerla más gruesa. Creo que es un cóctel de entrada perfecto para NS.

P.D. Me pregunto por qué no hizo una estantería perfecta. ¿Es fundamentalmente imposible y una limitación del método, o me estoy perdiendo algo en la construcción?

 
¡Sí! Tenía miedo de que perdieras el interés de repente... -:)

Llegaré al fondo de lo que has escrito y te responderé.

 
Neutron >> :

P.D. Me pregunto por qué no hay una estantería perfecta. ¿Es fundamentalmente imposible y una limitación del método, o me estoy perdiendo algo en la construcción?

Yo también lo pensé ayer... (por supuesto no tan matemáticamente como tú - simplemente no puedo hacerlo así) en general, ¡tengo la sospecha de que hay una razón para ello! Así que no te pierdes nada.

Hay algo especial en las propiedades d[i]=Open[i]-Open[i+1]. Hay una corazonada intuitiva de que en este caso tenemos un BP fractal como entrada, que está cuidadosamente influenciado por un operador continuo (por ejemplo, th(x) o sigmoide), por lo que un estante ideal no funcionará - la distribución de probabilidad Open[i]-Open[i+1] es muy probablemente Hurstiana. Yo tengo uno más tosco, por lo que el medio - 0 falta por completo. Por cierto, ¿por qué tomas Orap?

 

No me gusta manipular algo que no se ha formado. ¡Es un hábito de Matkad, es como dos dedos en el pavimento para "mirar" hacia un futuro involuntario cuando se prueba el TS! La única garantía contra esto son las barras formadas, o los precios de apertura. Ciertamente no rebotan.

Dame una pista, ¿cuál es tu problema con la correlación de las señales de entrada? ¿Qué utiliza como entrada y por qué cree que existe el problema? Al fin y al cabo, es más fácil asegurarse de que no existe que resolverlo :-)

Razón de la queja: