アカウント名:
パスワード:
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい# 化け物のようなハードが要るんでしょうけど
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。#alpacaのモデルデータ(ファイルサイズ:3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net] 13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net] LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。#npx dalai llamaでインストールとか…
#Full: The model takes up 432.64GB#Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想お古のSSDをモデル置き場にすればいいし接続もNVMeどころかSATAですらなくUSBでもいいんだしストレージは追加投資せずに済みそう
# そうストレージは、、、
うん、まあ試したら、どんなか教えてください。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
アレゲは一日にしてならず -- アレゲ見習い
リソースはどのくらいいるのでしょう (スコア:0)
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい
# 化け物のようなハードが要るんでしょうけど
Re: (スコア:0)
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。
#alpacaのモデルデータ(ファイルサイズ:3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net]
13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net]
LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。
この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。
#npx dalai llama
でインストールとか…
Re: (スコア:0)
#Full: The model takes up 432.64GB
#Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想
お古のSSDをモデル置き場にすればいいし
接続もNVMeどころかSATAですらなくUSBでもいいんだし
ストレージは追加投資せずに済みそう
# そうストレージは、、、
Re: (スコア:0)
うん、まあ試したら、どんなか教えてください。