アカウント名:
パスワード:
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい# 化け物のようなハードが要るんでしょうけど
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。＃alpacaのモデルデータ(ファイルサイズ：3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net] 13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net] LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。＃npx dalai llamaでインストールとか…
＃Full: The model takes up 432.64GB＃Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想お古のSSDをモデル置き場にすればいいし接続もNVMeどころかSATAですらなくUSBでもいいんだしストレージは追加投資せずに済みそう
# そうストレージは、、、
うん、まあ試したら、どんなか教えてください。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
犯人は巨人ファンでA型で眼鏡をかけている -- あるハッカー
リソースはどのくらいいるのでしょう (スコア:0)
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい
# 化け物のようなハードが要るんでしょうけど
Re: (スコア:0)
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。
＃alpacaのモデルデータ(ファイルサイズ：3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net]
13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net]
LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。
この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。
＃npx dalai llama
でインストールとか…
Re: (スコア:0)
＃Full: The model takes up 432.64GB
＃Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想
お古のSSDをモデル置き場にすればいいし
接続もNVMeどころかSATAですらなくUSBでもいいんだし
ストレージは追加投資せずに済みそう
# そうストレージは、、、
Re:リソースはどのくらいいるのでしょう (スコア:0)
うん、まあ試したら、どんなか教えてください。