ローカルAIやってみた

ollamaとかLLMstudioとかの記事がたくさん来るようになり

Perplexityとかに聴いたら簡単に環境構築できそうだったので

4.5Gのモデルを落としてフロントはapiをllama-cpp-pythonにしてPythonで自力で使おうと思ったが

pythonのllamaモジュールがdebianのリポジトリになかったりしてインストできず 仮想環境のpipでなんとか実行した、が・・・

即フリーズ！！！

パワー不足

っていうかそもそもゲーム用のハイスペックPCじゃなきゃllmをいじるのは無理っぽい

そうなるとPerplexityは例によって「あなたの判断は１００％正しい、無理です」みたいな あれだけ「すぐ 環境を整えることができるから やりましょう！」って俺に前向き提案ばっかりしてたくせに（笑）

で、断念

スッキリした そもそも セキュリティなんて俺には関係ないから ローカルの AI を試す 理由ってほとんどなかった

強いて言えば 自分のことをよく理解してくれてる 自分だけの AI があればいいなって ちょっと思ったけど それは 基本は学習させなきゃいけなくてモデルを再構築するようなことになってしまう かなりハードルは高い

でもローカルで質問したことを全て ログにして質問の都度そのログを全て読み込ませるようなことをすれば自分のことを理解してくれてるような ローカル AI ができそうなんでやってみたんだけど

まぁだめでした

CPU 頼りでかなり重たいっていうことなんだけど じゃあ スレッド化すれば いいかって言うと 多分そういう問題じゃなくて スレッド化は gui が死なないためだけだから 命令を出した途端に PC 全体がフリーズするということは別スレッドにしても同じこと 要は CPU をあまり占有しない状況でどれだけ分散処理がしっかりできるかどうか それにしても PC のパワーは絶対条件になってくる

仮想環境 のことも考えると それなりの GPU を追加で買うっていう選択肢もあるけどね

素直に Web でいろんな AI を使った方が賢いってことになりそう

 書きかけ〜(・∀・)