Discusión sobre el artículo "Añadimos un LLM personalizado a un robot comercial (Parte 1): Desplegando el equipo y el entorno"
Sobre hardware y SO sólo palabras generales, benchmark de vids de sobremesa, pero procesadores móviles, abstractos, no aplicables a la tarea.
Se siente como el artículo fue generado por una IA.
Me pregunto si LLM se puede convertir en ONNX y cuánto pesaría :)
parece posible
El RWKV-4 pesa menos de un giga.
página principal
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
- tpoisonooo
- github.com
Download onnx models here: Model Precision Size URL Demo News Features Release LLaMa-7B and RWKV-400M onnx models and their onnxruntime standalone demo No or required Support memory pool, works on 2GB laptop/PC (very slow 🐢) Visualization . crashed on LLaMa model. LLM visualization tool must support nest or operator folding feature Quatization...
NVIDIA выпустила демоверсию бота Chat with RTX для локальной установки на Windows . Бот не имеет встроенной базы знаний и работает со всеми доступными данными на конкретном компьютере, плюс может обрабатывать содержимое YouTube видео по ссылкам. Для установки боту нужно не менее 40 Гб на диске, и GPU серии RTX 30/40 с минимум 8 Гб видеопамяти.
El otro día hubo una noticia como ésta
Mark, bueno
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Artículo publicado Añadimos un LLM personalizado a un robot comercial (Parte 1): Desplegando el equipo y el entorno:
Los modelos lingüísticos (LLM) son una parte importante de la inteligencia artificial que evoluciona rápidamente, por lo que debemos plantearnos cómo integrar unos LLM potentes en nuestro comercio algorítmico. A la mayoría de la gente le resulta difícil personalizar estos potentes modelos para adaptarlos a sus necesidades, implantarlos de forma local y luego aplicarlos al trading algorítmico. En esta serie de artículos abordaremos un enfoque paso a paso para lograr este objetivo.
Al desplegar LLM de manera local, la configuración del hardware es una parte muy importante. Hablamos sobre todo de PC convencionales y no de macOS y otros productos de nicho.
Los productos usados para la implantación de LLM incluyen principalmente procesadores, tarjetas gráficas, memoria y dispositivos de almacenamiento. El procesador y la tarjeta Rafic son los principales dispositivos informáticos para ejecutar los modelos, mientras que la memoria y los dispositivos de almacenamiento se usan para guardar los modelos y los datos.
La configuración correcta del hardware no solo puede garantizar la eficacia del modelo, sino también influir en cierta medida en su rendimiento. Por consiguiente, deberemos elegir la configuración adecuada del equipo en función de nuestras necesidades y presupuesto.
Autor: Yuqiang Pan