Diskussion zum Artikel "Integrieren Sie Ihr eigenes LLM in Ihren EA (Teil 1): Die bereitgestellte Hardware und Umgebung"
Zu Hardware und Betriebssystem nur allgemeine Worte, Benchmark von Desktop-Widgets, aber mobile Prozessoren, abstrakt, nicht auf die Aufgabe anwendbar.
Es fühlt sich an, als ob der Artikel von einer KI erstellt wurde.
Ich frage mich, ob LLM in ONNX umgewandelt werden kann und wie viel es wiegen würde :)
es scheint möglich zu sein
RWKV-4 wiegt weniger als ein Gig.
Startseite
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
- tpoisonooo
- github.com
Download onnx models here: Model Precision Size URL Demo News Features Release LLaMa-7B and RWKV-400M onnx models and their onnxruntime standalone demo No or required Support memory pool, works on 2GB laptop/PC (very slow 🐢) Visualization . crashed on LLaMa model. LLM visualization tool must support nest or operator folding feature Quatization...
NVIDIA выпустила демоверсию бота Chat with RTX для локальной установки на Windows . Бот не имеет встроенной базы знаний и работает со всеми доступными данными на конкретном компьютере, плюс может обрабатывать содержимое YouTube видео по ссылкам. Для установки боту нужно не менее 40 Гб на диске, и GPU серии RTX 30/40 с минимум 8 Гб видеопамяти.
Neulich gab es eine Meldung wie diese
Mark, gut
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Neuer Artikel Integrieren Sie Ihr eigenes LLM in Ihren EA (Teil 1): Die bereitgestellte Hardware und Umgebung :
Angesichts der rasanten Entwicklung der künstlichen Intelligenz sind Sprachmodelle (language models, LLMs) heute ein wichtiger Bestandteil der künstlichen Intelligenz, sodass wir darüber nachdenken sollten, wie wir leistungsstarke LLMs in unseren algorithmischen Handel integrieren können. Für die meisten Menschen ist es schwierig, diese leistungsstarken Modelle auf ihre Bedürfnisse abzustimmen, sie lokal einzusetzen und sie dann auf den algorithmischen Handel anzuwenden. In dieser Artikelserie werden wir Schritt für Schritt vorgehen, um dieses Ziel zu erreichen.
Beim lokalen Einsatz von LLMs ist die Hardwarekonfiguration ein sehr wichtiger Bestandteil. Hier geht es hauptsächlich um Mainstream-PCs, nicht um MacOS und andere Nischenprodukte.
Die Produkte, die für den Einsatz von LLMs verwendet werden, umfassen hauptsächlich CPU, GPU, Speicher und Speichergeräte. CPU und GPU sind die wichtigsten Recheneinheiten für die Ausführung von Modellen, während Arbeitsspeicher und Speichergeräte für die Speicherung von Modellen und Daten verwendet werden.
Die richtige Hardwarekonfiguration kann nicht nur die Effizienz des Modells gewährleisten, sondern auch die Leistung des Modells in gewissem Maße beeinflussen. Daher müssen wir die geeignete Hardwarekonfiguration entsprechend unseren Bedürfnissen und unserem Budget wählen.
Autor: Yuqiang Pan