Discussão do artigo "Adicionando um LLM personalizado a um robô investidor (Parte 1): Implantação de equipamentos e ambiente"
Sobre hardware e sistema operacional, apenas palavras gerais, benchmark de widgets de desktop, mas processadores móveis, abstratos, não aplicáveis à tarefa.
Parece que o artigo foi gerado por uma IA.
Os comentários não relevantes para este tópico foram movidos para "Fora do tópico...".
Gostaria de saber se o LLM pode ser convertido em ONNX e quanto isso pesaria :)
parece possível
O RWKV-4 pesa menos de um gig.
página inicial
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
- tpoisonooo
- github.com
Download onnx models here: Model Precision Size URL Demo News Features Release LLaMa-7B and RWKV-400M onnx models and their onnxruntime standalone demo No or required Support memory pool, works on 2GB laptop/PC (very slow 🐢) Visualization . crashed on LLaMa model. LLM visualization tool must support nest or operator folding feature Quatization...
NVIDIA выпустила демоверсию бота Chat with RTX для локальной установки на Windows . Бот не имеет встроенной базы знаний и работает со всеми доступными данными на конкретном компьютере, плюс может обрабатывать содержимое YouTube видео по ссылкам. Для установки боту нужно не менее 40 Гб на диске, и GPU серии RTX 30/40 с минимум 8 Гб видеопамяти.
Houve uma notícia como essa outro dia
Mark, bom
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
Novo artigo Adicionando um LLM personalizado a um robô investidor (Parte 1): Implantação de equipamentos e ambiente foi publicado:
Os modelos de linguagem são uma parte importante da inteligência artificial que evolui rapidamente, por isso devemos pensar em como integrar LLMs poderosos em nossa negociação algorítmica. Para a maioria das pessoas, é desafiador configurar esses poderosos modelos de acordo com suas necessidades, implementá-los localmente e, em seguida, aplicá-los à negociação algorítmica. Esta série de artigos explorará uma abordagem passo a passo para alcançar esse objetivo.
Na implantação local de um LLM, a configuração do hardware é uma parte muito importante. Aqui, discutimos principalmente PCs convencionais e não consideramos MacOS e outros produtos de nicho.
Os produtos usados para a implantação de um LLM incluem principalmente processadores, placas gráficas, memória e dispositivos de armazenamento. O processador e a placa gráfica são os principais dispositivos computacionais para executar modelos, enquanto a memória e os dispositivos de armazenamento são usados para armazenar modelos e dados.
Uma configuração de hardware apropriada não só pode garantir a eficiência do modelo, mas também, até certo ponto, afetar seu desempenho. Portanto, precisamos escolher uma configuração de hardware adequada de acordo com nossas necessidades e orçamento.
Autor: Yuqiang Pan