アカウント名:
パスワード:
「今後は圧縮の効果がない種類のファイルを自動で対象から除外する機能の追加も計画」 とあるけれど、この機能こそ絶対必要でしょう。 これが実装されるまでは、たとえば自分なんかは扱うファイルとして写真が多いので、転送するたびにCPUに負荷がかかるわけでしょう。 これでは欠陥品じゃないかと思うのだが。
それなファイルシステムのストリーム(ZoneIDに使われている)とかでファイルのエントロピ程度をマークしとくとかすればいい裏でindex付けとか一生懸命やるくらいならこれやっとけと
NTFSとSMBで圧縮アルゴリズムが違うと無駄にリソース消費しそうですがアルゴリズムが同一であってもウイルススキャンとか考えると展開は必須?
実際やっているかはわからないけど、理屈の上ではNTFS圧縮属性のファイルをそのままSMBに流すことはできそうな気がする。SMBの圧縮アルゴリズムにLZNT1が記載されていて、これはおそらくNTFS圧縮で使われているもの。
Windows前提ならサクッと実装できるけど、ライブラリ作者が地獄を見る系の仕様だなぁ。PDFとかに多い感じの。
軽い圧縮のCPU負荷なんて無視できる程度じゃない?SIMD命令やNICにgzipやdeflate圧縮解凍機能がありそうと思ったけどないのか。それなりにメモリが必要だからかな?
SIMDがあるとjpegなどで使われてるDCTをかなり高速化できるけど、「jpegの圧縮展開命令」があるわけではない。現在SIMDで用意されてる命令の組み合わせでかなり高速化できるため、jepgに特化した命令を用意することで得られるメリットがあまり多くない。そういうのはCPUに専用命令を用意するよりソフトウェアで対処する方が現実的。それにgzipやdeflateはスライド辞書を使っているため並列化しにくくSIMDには不向き。
Intel Quick Sync VideoではJPEGの展開圧縮機能ならある。実質Motion JPEG用の機能っぽい。
でもまぁそういう話だろうな。専用回路で作っておくとデコード中CPUが別のことが出来るから多少は得なんだけど、でもソフトウェアで十分と。
そういう専用回路は(同じパッケージ内でもいいけど)CPUの外に置いた方がいいよ。 デコード処理にCPUがほぼ関わらないなら、別の経路でメモリアクセスした方がキャッシュ効率がよくなる。
というか、最近のファイルは大体圧縮済だと思うけど、このSMB圧縮機能はどの程度効果があるのだろ
ZFSのようなファイルシステムレベルでの圧縮機能はファイル種別ごとに圧縮するか否か判定してるのかな。 してないんなら気にしなくてもいいのでは。
excelファイルも圧縮されているのになぁ。
ていうかzipファイルだよね
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
人生unstable -- あるハッカー
フライング過ぎでは? (スコア:0)
「今後は圧縮の効果がない種類のファイルを自動で対象から除外する機能の追加も計画」
とあるけれど、この機能こそ絶対必要でしょう。
これが実装されるまでは、たとえば自分なんかは扱うファイルとして写真が多いので、転送するたびにCPUに負荷がかかるわけでしょう。
これでは欠陥品じゃないかと思うのだが。
Re: (スコア:0)
それな
ファイルシステムのストリーム(ZoneIDに使われている)とかで
ファイルのエントロピ程度をマークしとくとかすればいい
裏でindex付けとか一生懸命やるくらいならこれやっとけと
Re:フライング過ぎでは? (スコア:1)
よくわかんないでコメントするけど
NTFSの圧縮機能有効にしていればエントロピは判りそう
(一時期のメーカ製SSDモデルPCなんてデフォルトで有効だった記憶)
NTFSとSMBで圧縮アルゴリズムが違うと無駄にリソース消費しそうですが
アルゴリズムが同一であってもウイルススキャンとか考えると展開は必須?
Re: (スコア:0)
NTFSとSMBで圧縮アルゴリズムが違うと無駄にリソース消費しそうですが
アルゴリズムが同一であってもウイルススキャンとか考えると展開は必須?
実際やっているかはわからないけど、理屈の上ではNTFS圧縮属性のファイルをそのままSMBに流すことはできそうな気がする。SMBの圧縮アルゴリズムにLZNT1が記載されていて、これはおそらくNTFS圧縮で使われているもの。
Re: (スコア:0)
Windows前提ならサクッと実装できるけど、ライブラリ作者が地獄を見る系の仕様だなぁ。
PDFとかに多い感じの。
Re: (スコア:0)
軽い圧縮のCPU負荷なんて無視できる程度じゃない?
SIMD命令やNICにgzipやdeflate圧縮解凍機能がありそうと思ったけどないのか。
それなりにメモリが必要だからかな?
Re:フライング過ぎでは? (スコア:1)
SIMDがあるとjpegなどで使われてるDCTをかなり高速化できるけど、「jpegの圧縮展開命令」があるわけではない。現在SIMDで用意されてる命令の組み合わせでかなり高速化できるため、jepgに特化した命令を用意することで得られるメリットがあまり多くない。
そういうのはCPUに専用命令を用意するよりソフトウェアで対処する方が現実的。
それにgzipやdeflateはスライド辞書を使っているため並列化しにくくSIMDには不向き。
Re: (スコア:0)
Intel Quick Sync VideoではJPEGの展開圧縮機能ならある。
実質Motion JPEG用の機能っぽい。
でもまぁそういう話だろうな。
専用回路で作っておくとデコード中CPUが別のことが出来るから多少は得なんだけど、でもソフトウェアで十分と。
Re: (スコア:0)
そういう専用回路は(同じパッケージ内でもいいけど)CPUの外に置いた方がいいよ。
デコード処理にCPUがほぼ関わらないなら、別の経路でメモリアクセスした方がキャッシュ効率がよくなる。
Re: (スコア:0)
というか、最近のファイルは大体圧縮済だと思うけど、
このSMB圧縮機能はどの程度効果があるのだろ
Re: (スコア:0)
ZFSのようなファイルシステムレベルでの圧縮機能はファイル種別ごとに圧縮するか否か判定してるのかな。 してないんなら気にしなくてもいいのでは。
Re: (スコア:0)
excelファイルも圧縮されているのになぁ。
Re: (スコア:0)
ていうかzipファイルだよね