원래 게시물은 모델 복잡성에 관한 것이지 극단적인 것에 관한 것이 아니었습니다. 제가 쓴 내용은 잊어버리고 당신만의 주장을 펼치고 있습니다.
즉, 다시 파이 해킹을 하거나 자신의 말에 맞추기 위해 데이터를 늘리고 있는 것입니다.
"원래"란 무슨 뜻인가요? 우리는 모델 복잡성에 대해 별도로 논의했고, 그 당시에는 모델 복잡성을 높이는 것이 특정 지점까지만 효과적이며 그 이후에는 효과가 떨어진다 고 말했고, 그것은 사실이며, 예, 저는 그것에 대해 논쟁하지 않았고 그것을 확인했습니다. 그런 다음 모델을 매우 크게 늘리면 효율성이 극적으로 증가 할 수 있다고 제안했습니다. 여기 아무도 이전에 그렇게 한 적이 없기 때문에 (그리고 그 이유를 알 수 있습니다).
저는 아주 오래전부터 모든 학습은 글로벌 극한값을 찾는 최적화라고 항상 말해왔지만, 여러분은 '최적화 전문가'가 아니라며 이를 부정했습니다(그리고 다른 일부도 마찬가지였죠). 이제 저는 글로벌 극한을 찾을 때만 학습을 중지 할 수 있으며 그렇지 않으면 학습을 중지 할 방법이 없다는 것을 분명히 보여주었습니다 (학습을 중지 할시기를 모르기 때문에 이에 대한 기준이 필요합니다). 그렇기 때문에 학습을 멈추는 메타 기준은 글로벌 극한을 학습할 때 최적화의 핵심입니다.
이 기준의 최소/최대값이 되도록 유도하고 계신 건가요? 이는 모델 자체의 글로벌 최소/최대값과는 아무런 관련이 없습니다.
그래프를 보여주세요.
보여주세요.
그 기준 그래프에서 훈련을 중단해야 하는 지점을 보여주세요.
아직 멀었어요,
노래를 만들려고 해요.
말하기 어렵습니다. 이미 잊어 버렸고 길고, 우리가 배우면 음악은 긴 멜로디입니다:
그래프를 보여주세요.
그래프를 보여주세요.
이 그래프에 교육을 중단해야 하는 기준을 표시하세요.
전체 샘플의 최소 기준에서 다음 단계는 무엇인가요?
무슨 말인지 아시죠?
진정한 AI 전문가에게는 빨간 담배와 초록색 향수가 필요합니다.
총 샘플에 대한최소한의 기준에서 다음 단계는 무엇인가요?
빙고!
이제 모든 학습은 글로벌 극값 검색을 통한 최적화에 불과하다는 사실을 마침내 깨달으셨을 것입니다. 아니면 아직 깨닫지 못했을 수도 있지만 곧 깨닫게 될 것입니다.
학습을 중단하려면 항상 명확한 기준이 필요하며, 이 기준은 항상 글로벌 극한값이 되도록 설계됩니다. 일반적으로 통합 기준이 설계됩니다 (항상 그런 것은 아님). 통합 기준이라는 이름을 지정하셨습니다.
빙고!
이제 모든 학습은 글로벌 극값 검색을 통한 최적화에 불과하다는 사실을 마침내 깨달으셨을 것입니다. 아니면 아직 깨닫지 못했을 수도 있지만 곧 깨닫게 될 것입니다.
학습을 중단하려면 항상 명확한 기준이 필요하며 이 기준은 항상 글로벌 극한값이 되도록 설계됩니다. 일반적으로 통합 기준을 설계합니다 (항상 그런 것은 아님). 통합 기준이라는 이름을 지정하셨습니다.
원래 게시물은 극한이 아니라 모델 복잡성에 관한 것이었습니다. 제가 쓴 내용을 잊어버리고 자신의 주장을 펼치고 있습니다.
즉, 당신은 다시 오줌 해킹에 참여하거나 당신의 말에 맞게 데이터를 늘리고 있습니다.
그래프를 보여주세요.
그래프를 보여주세요.
이 그래프에 교육을 중단해야 하는 기준을 표시하세요.
다음은 모델 피팅 오류의 일반적인 그래프입니다.
축으로부터 어떤 오프셋 값에 점근적으로 접근합니다.
편향의 양은 목표-예측자 쌍의 속성입니다. 특정 모델의 매개 변수를 최적화하면 일부 부스러기를 얻을 수 있지만, 어떤 최적화를 통해서도 '목표-예측자' 속성을 뛰어넘는 것은 불가능합니다.
편향이 오류의 45%인 경우 모델 매개변수를 변경하여 10%를 줄이는 것은 불가능합니다. 그리고 어떤 최적화도 도움이 되지 않습니다.
그리고 오차가 20%인 '목표-예측자' 쌍을 찾았다면 어떻게 하든 20% 정도는 될 것입니다.
게다가. 훈련과 검증에서 오차가 5% 이상 벌어진다면 '목표-예측자' 쌍에 대해 의미 있는 방식으로 작업해야 한다는 뜻입니다. 수렴이 불가능하다면 '목표-예측자' 쌍을 폐기해야 합니다.
원래 게시물은 모델 복잡성에 관한 것이지 극단적인 것에 관한 것이 아니었습니다. 제가 쓴 내용은 잊어버리고 당신만의 주장을 펼치고 있습니다.
즉, 다시 파이 해킹을 하거나 자신의 말에 맞추기 위해 데이터를 늘리고 있는 것입니다.
"원래"란 무슨 뜻인가요? 우리는 모델 복잡성에 대해 별도로 논의했고, 그 당시에는 모델 복잡성을 높이는 것이 특정 지점까지만 효과적이며 그 이후에는 효과가 떨어진다 고 말했고, 그것은 사실이며, 예, 저는 그것에 대해 논쟁하지 않았고 그것을 확인했습니다. 그런 다음 모델을 매우 크게 늘리면 효율성이 극적으로 증가 할 수 있다고 제안했습니다. 여기 아무도 이전에 그렇게 한 적이 없기 때문에 (그리고 그 이유를 알 수 있습니다).
저는 아주 오래전부터 모든 학습은 글로벌 극한값을 찾는 최적화라고 항상 말해왔지만, 여러분은 '최적화 전문가'가 아니라며 이를 부정했습니다(그리고 다른 일부도 마찬가지였죠). 이제 저는 글로벌 극한을 찾을 때만 학습을 중지 할 수 있으며 그렇지 않으면 학습을 중지 할 방법이 없다는 것을 분명히 보여주었습니다 (학습을 중지 할시기를 모르기 때문에 이에 대한 기준이 필요합니다). 그렇기 때문에 학습을 멈추는 메타 기준은 글로벌 극한을 학습할 때 최적화의 핵심입니다.
이를 깨닫게 되면 학습을 새로운 각도에서 바라볼 수 있습니다.