アカウント名:
パスワード:
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい# 化け物のようなハードが要るんでしょうけど
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。#alpacaのモデルデータ(ファイルサイズ:3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net]13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net]LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。#npx dalai llamaでインストールとか…
https://cocktailpeanut.github.io/dalai/#/ [github.io]dalai公式#65B#Full: The model takes up 432.64GB#Quantized: 5.11GB * 8 = 40.88GBかなり減るのかー。俺は買えない。
なので後は検索してください。チベット仏教の偉い人の写真が多数出てくるだろうから、クエリを工夫してね。数日前よりやった記事が増えてるんじゃないかな。gigazineでなくnoteとかで。
#Full: The model takes up 432.64GB#Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想お古のSSDをモデル置き場にすればいいし接続もNVMeどころかSATAですらなくUSBでもいいんだしストレージは追加投資せずに済みそう
# そうストレージは、、、
うん、まあ試したら、どんなか教えてください。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
にわかな奴ほど語りたがる -- あるハッカー
リソースはどのくらいいるのでしょう (スコア:0)
クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい
# 化け物のようなハードが要るんでしょうけど
Re:リソースはどのくらいいるのでしょう (スコア:0)
やってないけど。
https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]
alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。
#alpacaのモデルデータ(ファイルサイズ:3.92GB
https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net]
13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。
https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net]
LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。
この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。
#npx dalai llama
でインストールとか…
https://cocktailpeanut.github.io/dalai/#/ [github.io]
dalai公式
#65B
#Full: The model takes up 432.64GB
#Quantized: 5.11GB * 8 = 40.88GB
かなり減るのかー。俺は買えない。
なので後は検索してください。
チベット仏教の偉い人の写真が多数出てくるだろうから、クエリを工夫してね。
数日前よりやった記事が増えてるんじゃないかな。gigazineでなくnoteとかで。
Re: (スコア:0)
#Full: The model takes up 432.64GB
#Quantized: 5.11GB * 8 = 40.88GB
意外と大したことなかったって感想
お古のSSDをモデル置き場にすればいいし
接続もNVMeどころかSATAですらなくUSBでもいいんだし
ストレージは追加投資せずに済みそう
# そうストレージは、、、
Re: (スコア:0)
うん、まあ試したら、どんなか教えてください。