트레이딩의 머신러닝: 이론, 모델, 실전 및 알고리즘 트레이딩 - 페이지 3399

새 코멘트
 
mytarmailS #:

수십억 개의 단어 데이터 세트에 대한 학습이 되어 있고 가격이 있기 때문에 잘 일반화됩니다.

뉴런이 말을 하도록 훈련된다면 무엇을 하도록 훈련시킬까요?

그리고 많은 시각화가 필요하기 때문에 가격에 대해 뉴런을 훈련시킬 수 없습니다.


그렇다면 제가 모르는 것이거나, 다시 말하지만 LLM이 무슨 상관이 있을까요?

보론소프는 비디오에서 이렇게 말합니다. 기본 모델의 개념에 대해 시간부터 시작됩니다.

나는 내 것을 물었다


 
Maxim Dmitrievsky #:

보론소프가 비디오에서 이야기하는 것을 보셨을 것입니다. 1시에 시작하는 기본 모델의 개념에 대해 설명합니다.

아, 기억나요.

그래서 그것은 일종의 개념입니다. 모든 정보를 벡터로 줄일 수 있고, 그는 임베딩에 대해 이야기하고 있습니다.

그러나 그것은 단지 개념 일 뿐이며 LLM은 텍스트 임베딩에 대해 훈련되었으며 전체 구조가 이에 대해 훈련되었습니다.

따라서 자체 OHLC 임베딩을 제공하기로 결정하면 아무 일도 일어나지 않습니다.)


다른 임베딩, 다른 작업, 다른 대상에 대해 처음부터 처음부터 훈련시켜야 텍스트를 쓰고 그림을 그리고 말하는 등... 즉, 다중 모달리티를 동시에 훈련시켜야 합니다.

그리고 문자를 보낼 수 있는 뉴라를 데려가서 OHLC를 주려고 해도 작동하지 않습니다.

 
mytarmailS #:

아, 기억나네요.

어떤 정보든 벡터로 축소할 수 있다는 일종의 개념인데, 임베딩에 대해 이야기하고 있군요.

그러나 그것은 단지 개념일 뿐이며 LLM은 텍스트 임베딩에 대해 학습된 것일 뿐 전체 구조가 임베딩에 대해 학습된 것은 아닙니다.

따라서 OHLC를 사용하여 자체 임베딩을 제공하기로 결정하면 아무 일도 일어나지 않습니다.)

모델이 일반적인 "지식"을 사용자의 영역으로 전송할 때 지식 증류가 발생할 수 있습니다. 약간 모호하지만 다음과 같이 진행됩니다.

지식은 숫자와 텍스트, 그림, 심지어 소리와 프로그램 코드로 변환될 수 있습니다.
 
Maxim Dmitrievsky #:

지식 증류는 모델이 일반적인 '지식'을 도메인으로 이전할 때 발생할 수 있습니다. 이 부분은 약간 모호하지만 다음과 같은 방식입니다.

아무 일도 일어나지 않을 것입니다.

뉴런의 내장처럼 어떤 데이터에 대해 학습된 PCA를 상상해 보세요.

여기에 익숙하지 않은 데이터를 추가하면 Neura는 이 데이터를 어떻게 처리해야 할지 모르는 일종의 고립된 점들의 집합일 뿐입니다.

그 클러스터는 이전에 작업한 적이 없는 좌표에 있기 때문에 지식을 전달하지 못합니다.

 
mytarmailS #:

아무 일도 일어나지 않을 것입니다.

PCA가 데이터에 대한 훈련을 받았다고 상상해 보세요.

여기에 낯선 데이터를 추가하면 Neura는 한 번도 본 적도 없고 어떻게 해야 할지 모르는 일종의 고립된 포인트 클러스터로 보일 뿐입니다.

그 클러스터는 이전에 작업한 적이 없는 좌표에 있기 때문에 지식을 전달하지 못합니다.

요즘은 다들 그렇게 하잖아요, 업무에 맞게 훈련시키죠. 예를 찾아봐야겠어요.

새로운 포인트를 추가하는 것이 아니라 모델의 가중치(링크)를 업데이트하는 것입니다.
 
Maxim Dmitrievsky #:

요즘은 다들 그렇게 하죠. 각자의 업무에 맞게 훈련시키죠. 예를 찾아봐야겠어요.

모델의 가중치를 업데이트하는 거지 새로운 포인트를 추가하는 게 아니잖아요.

이해가 안 되네요. 이만 가볼게요.

 
mytarmailS #:

이해가 안 되시네요. 이만 가보겠습니다.

이해는 하지만 그렇게 작동하지 않습니다. 모든 정보를 시맨틱 벡터로 인코딩하며, 데이터의 성격이 무엇이든 상관없고 단지 기호일 뿐입니다. 이미 모든 기호를 알고 있으며 중요한 것은 시퀀스입니다.

 
네, 방해하는 것이 아니라 가까운 미래에 '시도'해 볼 주제일 뿐입니다 :)
1...33923393339433953396339733983399
새 코멘트
사유: