記事「独自のLLMをEAに統合する（第1部）：ハードウェアと環境の導入」についてのディスカッション

新しいコメント
 

新しい記事「独自のLLMをEAに統合する（第1部）：ハードウェアと環境の導入」はパブリッシュされました:

今日の人工知能の急速な発展に伴い、言語モデル(LLM)は人工知能の重要な部分となっています。私たちは、強力なLLMをアルゴリズム取引に統合する方法を考える必要があります。ほとんどの人にとって、これらの強力なモデルをニーズに応じて微調整し、ローカルに展開して、アルゴリズム取引に適用することは困難です。本連載では、この目標を達成するために段階的なアプローチをとっていきます。

LLMをローカルに展開する場合、ハードウェア構成は非常に重要な部分です。ここでは主にメインストリームPCについて説明し、MacOSやその他のニッチな製品については説明しません。

LLMの展開に使用される製品には、主にCPU、GPU、メモリ、ストレージデバイスが含まれます。このうち、CPUとGPUはモデルを実行するための主要なコンピューティングデバイスであり、メモリとストレージデバイスはモデルとデータを保存するために使用されます。

正しいハードウェア構成は、モデルの実行効率を確保するだけでなく、モデルのパフォーマンスにもある程度の影響を与えます。したがって、ニーズと予算に応じて適切なハードウェア構成を選択する必要があります。

作者: Yuqiang Pan

 

ハードウェアとOSについては一般的な言葉だけで、デスクトップ・ウィジェットのベンチマークはあるが、モバイル・プロセッサは抽象的で、タスクには当てはまらない。

まるでAIが作成した記事のようだ。

 
このスレッドに関係のないコメントは「オフトピック...」に移動しました。
 

LLMはONNXに変換できるのだろうか？）

可能だと 思う

RWKV-4の重さは1ギガ以下です。

ホームページ
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
  • tpoisonooo
  • github.com
Download onnx models here: Model Precision Size URL Demo News Features Release LLaMa-7B and RWKV-400M onnx models and their onnxruntime standalone demo No or required Support memory pool, works on 2GB laptop/PC (very slow 🐢) Visualization . crashed on LLaMa model. LLM visualization tool must support nest or operator folding feature Quatization...
 
NVIDIA выпустила демоверсию бота Chat with RTX для локальной установки на Windows . Бот не имеет встроенной базы знаний и работает со всеми доступными данными на конкретном компьютере, плюс может обрабатывать содержимое YouTube видео по ссылкам. Для установки боту нужно не менее 40 Гб на диске, и GPU серии RTX 30/40 с минимум 8 Гб видеопамяти.
先日、こんなニュースがあった。
 
マーク、いいね
新しいコメント