パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

信頼に足る独立したオープンソースの AI エコシステムを構築する Mozilla.ai」記事へのコメント

  • by Anonymous Coward on 2023年03月24日 19時06分 (#4432239)

    クラウドではなく、オンプレミスで飼ったときにどのくらいの物がいるかも知りたい
    # 化け物のようなハードが要るんでしょうけど

    • by Anonymous Coward

      やってないけど。

      https://gigazine.net/news/20230320-chat-ai-alpaca-cpp/ [gigazine.net]

      alpacaの記事他にも大きなモデルがあるのかも知れないが、この記事のサイズだとかなりお馬鹿かもしれない。
      #alpacaのモデルデータ(ファイルサイズ:3.92GB

      https://gigazine.net/news/20230306-llama-65b-leaked/ [gigazine.net]
      13BでGPT-3相当だそうだけど、LLaMA-65Bが流出とか。体感でどうなのかは知りません。

      https://gigazine.net/news/20230314-dalai-llama/ [gigazine.net]
      LLaMAの量子化ビット数を減らしてモデルのサイズを減らすDalaiの記事。
      この記事のLLaMA-7Bは会話しようとしても会話が成り立たないレベルらしい。
      #npx dalai llama
      でインストールとか…

      • by Anonymous Coward

        #Full: The model takes up 432.64GB
        #Quantized: 5.11GB * 8 = 40.88GB

        意外と大したことなかったって感想
        お古のSSDをモデル置き場にすればいいし
        接続もNVMeどころかSATAですらなくUSBでもいいんだし
        ストレージは追加投資せずに済みそう

        # そうストレージは、、、

        • by Anonymous Coward

          うん、まあ試したら、どんなか教えてください。

アレゲは一日にしてならず -- アレゲ見習い

処理中...