Na inferência de Kozol, é mais fácil trabalhar com a tendência do que com a variação. Por isso, a conclusão não hipotética de que a complexidade do modelo ou o aumento do número de recursos atrapalha mais do que ajuda.
De onde vem esse gráfico?
O MO usa critérios completamente diferentes, como o AIC, que é penalizado por ter muitos parâmetros.
Esse e outros critérios de informação estão de acordo com uma suposição comum em modelagem, de que, entre dois modelos com o mesmo desempenho, é escolhido aquele com menos parâmetros.
Não devemos nos esquecer de que o próprio conceito de "modelo" é uma redução da realidade. Não há extremos aqui. Há um equilíbrio entre o enrijecimento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.
Não devemos nos esquecer de que a própria noção de "modelo" é uma condensação da realidade. Não há extremos aqui. Há um equilíbrio entre o refinamento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.
Você confunde constantemente o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).
Até mesmo uma superfície plana tem um extremo.
Outra coisa é que os FFs sempre tentam escolher de tal forma que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.
Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.
Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um subtreinado com baixo desempenho.
Mais uma vez, o problema do "treinamento excessivo" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem sempre os mesmos erros. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a escolha de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.
Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e para aqueles que não serão úteis - tanto faz, então eles acham que está tudo bem do jeito que está.
Você continua confundindo o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).
Até mesmo uma superfície plana tem um extremo.
Outra coisa é que os FFs sempre tentam escolher de modo que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.
Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.
Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um não cientista com treinamento insuficiente.
Mais uma vez, o problema do "supertreinamento" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem os mesmos erros várias vezes. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a seleção de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.
Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e aqueles que não serão úteis não se importam, então acham que está tudo bem como está.
Você está confundindo as entidades. Você está tentando encaixar a otimização na aproximação, ou vice-versa.
A aproximação e a otimização são abordagens diferentes na solução de problemas de aprendizado de máquina.
A aproximação refere-se à criação de um modelo que aproxima a relação entre os dados de entrada e saída. Isso pode ser, por exemplo, a construção de uma função linear ou não linear que melhor descreva os dados. A aproximação não leva em consideração a meta ou o problema a ser resolvido, mas busca apenas criar um modelo que melhor se ajuste aos dados.
A otimização, por outro lado, refere-se a encontrar os parâmetros ideais do modelo para atingir uma meta ou um problema específico. Nesse caso, o modelo pode ser mais complexo e conter mais parâmetros do que no caso da aproximação. A otimização leva em conta a meta ou o objetivo e ajusta os parâmetros do modelo para obter o melhor resultado possível.
Em geral, a aproximação e a otimização costumam ser usadas em conjunto para criar modelos eficazes de aprendizado de máquina. Primeiro, a aproximação é realizada para criar o modelo e, em seguida, a otimização é realizada para ajustar os parâmetros desse modelo para atingir a meta ou a tarefa desejada.
A rede neural não se importa com seus FFs. Ela executa sua tarefa com dados prontos para uso. A discussão aqui é como encontrar um equilíbrio entre a variação e o viés desse modelo. Mitramiles colocou diferentes FFs na segunda extremidade do NS. Obteve todos os mesmos ajustes.
Você escreveu sobre encontrar um alvo f-i, que já definimos por padrão.
É por isso que foi escrito acima sobre a importância da marcação adequada ou do Oracle, com base no conhecimento especializado ou em decisões algorítmicas. Isso é o que você traz para o modelo a priori. Nenhum FF vai lhe salvar nesse ponto.
Isso já foi discutido várias vezes, dando voltas e mais voltas. Ou algo concreto é discutido, ou cada um puxa a carga para o seu lado.
Eu entenderia se Sanych começasse a revidar, mas Max....
FF é uma avaliação, nós avaliamos tudo. Se julgarmos mal o que fazemos, isso não significa que estamos fazendo errado. Sem uma avaliação adequada, é 50/50 e então eles dizem - isso não funciona, aquilo não funciona.... Não tenho a pretensão de ser um especialista em design de avaliação, é uma tarefa muito difícil.
"É apenas a mesma coisa sendo dita em círculos" - essas palavras não são minhas, se é que são)))))) É possível mudar as palavras em alguns lugares para que soe ainda pior. Aqui, o critério de avaliação é "número de palavras", o que não é uma avaliação correta, pois ao mudar as palavras em alguns lugares, o significado pode mudar drasticamente.
Maxim Dmitrievsky #: Há uma substituição constante de conceitos, é impossível se comunicar.
Concordo, ninguém se entende, não há um critério único para avaliar uma declaração e sua carga semântica. Ninguém sabe quem quer dizer o quê, como naquela anedota:
Um cronograma diferente é usado no MoD
Na inferência de Kozol, é mais fácil trabalhar com a tendência do que com a variação. Por isso, a conclusão não hipotética de que a complexidade do modelo ou o aumento do número de recursos atrapalha mais do que ajuda.
De onde vem esse gráfico?
O MO usa critérios completamente diferentes, como o AIC, que é penalizado por ter muitos parâmetros.
Esse e outros critérios de informação estão de acordo com uma suposição comum em modelagem, de que, entre dois modelos com o mesmo desempenho, é escolhido aquele com menos parâmetros.
Não devemos nos esquecer de que o próprio conceito de "modelo" é uma redução da realidade. Não há extremos aqui. Há um equilíbrio entre o enrijecimento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.
De onde é esse gráfico?
O básico do básico
https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff
Não devemos nos esquecer de que a própria noção de "modelo" é uma condensação da realidade. Não há extremos aqui. Há um equilíbrio entre o refinamento e a aceitabilidade da precisão do modelo. Mas o principal não é a precisão do modelo, e sim seu refinamento, sua capacidade de generalização. E isso é compreensível, já que o principal inimigo da modelagem é o ajuste excessivo, o irmão da precisão do modelo.
Você confunde constantemente o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).
Até mesmo uma superfície plana tem um extremo.
Outra coisa é que os FFs sempre tentam escolher de tal forma que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.
Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.
Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um subtreinado com baixo desempenho.
Mais uma vez, o problema do "treinamento excessivo" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem sempre os mesmos erros. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a escolha de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.
Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e para aqueles que não serão úteis - tanto faz, então eles acham que está tudo bem do jeito que está.
Você continua confundindo o conceito de "extremo" com "pico agudo" (o ponto em que uma função não tem derivada).
Até mesmo uma superfície plana tem um extremo.
Outra coisa é que os FFs sempre tentam escolher de modo que a superfície do FF seja a mais suave possível e o extremo global seja o único. O único extremo global deve ser a única solução inequívoca do problema.
Se o extremo global do FF não for o único e, mais ainda, se ele não tiver uma derivada, isso significa uma escolha incorreta do FF (o critério para avaliação do modelo). A incompreensão desse fato leva ao termo "ajuste excessivo", e a incompreensão desse fato leva à busca de algum extremo local ambíguo.
Podemos fazer uma analogia: um especialista - um médico - é treinado, exames de qualificação (FF) são desenvolvidos para certificação, para um médico não pode haver o conceito de "supertreinado" ou "superajustado", se um médico não obtém a pontuação máxima - isso significa que ele está subtreinado. E, de acordo com o senhor, um bom médico deve ser sempre um não cientista com treinamento insuficiente.
Mais uma vez, o problema do "supertreinamento" é a escolha errada dos critérios de avaliação do modelo. Parece que esses especialistas descolados estão presentes no fórum, mas eles repetem os mesmos erros várias vezes. O desenvolvimento de critérios de estimativa corretos não é menos importante do que a seleção de preditores, caso contrário, é simplesmente impossível estimar adequadamente o modelo.
Prevejo uma enxurrada de objeções, mas tudo bem, estou acostumado com isso. Se for útil para alguém - ótimo, e aqueles que não serão úteis não se importam, então acham que está tudo bem como está.
A aproximação e a otimização são abordagens diferentes na solução de problemas de aprendizado de máquina.
A aproximação refere-se à criação de um modelo que aproxima a relação entre os dados de entrada e saída. Isso pode ser, por exemplo, a construção de uma função linear ou não linear que melhor descreva os dados. A aproximação não leva em consideração a meta ou o problema a ser resolvido, mas busca apenas criar um modelo que melhor se ajuste aos dados.
A otimização, por outro lado, refere-se a encontrar os parâmetros ideais do modelo para atingir uma meta ou um problema específico. Nesse caso, o modelo pode ser mais complexo e conter mais parâmetros do que no caso da aproximação. A otimização leva em conta a meta ou o objetivo e ajusta os parâmetros do modelo para obter o melhor resultado possível.
Em geral, a aproximação e a otimização costumam ser usadas em conjunto para criar modelos eficazes de aprendizado de máquina. Primeiro, a aproximação é realizada para criar o modelo e, em seguida, a otimização é realizada para ajustar os parâmetros desse modelo para atingir a meta ou a tarefa desejada.
Bem, eu lhe disse.
Eu entenderia se Sanych começasse a revidar, mas Max....
FF é uma avaliação, nós avaliamos tudo. Se julgarmos mal o que fazemos, isso não significa que estamos fazendo errado. Sem uma avaliação adequada, é 50/50 e então eles dizem - isso não funciona, aquilo não funciona.... Não tenho a pretensão de ser um especialista em design de avaliação, é uma tarefa muito difícil.
"É apenas a mesma coisa sendo dita em círculos" - essas palavras não são minhas, se é que são)))))) É possível mudar as palavras em alguns lugares para que soe ainda pior. Aqui, o critério de avaliação é "número de palavras", o que não é uma avaliação correta, pois ao mudar as palavras em alguns lugares, o significado pode mudar drasticamente.
Há uma substituição constante de conceitos, é impossível se comunicar.
Concordo, ninguém se entende, não há um critério único para avaliar uma declaração e sua carga semântica. Ninguém sabe quem quer dizer o quê, como naquela anedota:
- O que você quer dizer?
- Eu quero dizer o que eu quero dizer.
É assim que acontece no MoD.