Geekbench、ベンチマーク不正を受けて Samsung が最近 4 年間にリリースしたGalaxy Sシリーズをチャートから除外 58
ストーリー by headless
不正 部門より
不正 部門より
Geekbench は 5 日、Samsung Galaxy S10 / S20 / S21 / S22 の全モデルを Android ベンチマークのチャートから抹消したと発表した
(Geekbench のツイート、
Android Police の記事、
Android Authority の記事、
9to5Google の記事)。
Samsung は Game Optimization Service (GOS) と呼ばれるアプリを用い、ベンチマークアプリ以外のゲームやアプリでパフォーマンスをスロットリングするベンチマーク最適化を行っているとの疑いが出ていた。Geekbench がテストしたところ、これらのモデルで GOS が使われていることが確認されたという。
ユーザーが公開したスロットリング対象アプリのリストは 1 万本近く、非ゲームアプリも含まれているが、Samsung は GOS がゲームのパフォーマンスとデバイスの温度管理を両立させるためのものだとして、非ゲームアプリのスロットリング実行は否定した。今回のフィードバックを受け、ユーザーがゲームアプリのパフォーマンスをコントロールできるようにするソフトウェアアップデートを計画しているとのこと。
Android 端末のベンチマーク最適化は 2013 年に Samsung Galaxy S4で注目され、多くのメーカーが採用していることが判明した。2018 年には Huawei / Honor の端末や OPPO の端末でベンチマーク最適化が発覚して 3DMark のランキングから抹消されており、昨年は OnePlus の端末が Geekbench のチャートから抹消されている。
Samsung は Game Optimization Service (GOS) と呼ばれるアプリを用い、ベンチマークアプリ以外のゲームやアプリでパフォーマンスをスロットリングするベンチマーク最適化を行っているとの疑いが出ていた。Geekbench がテストしたところ、これらのモデルで GOS が使われていることが確認されたという。
ユーザーが公開したスロットリング対象アプリのリストは 1 万本近く、非ゲームアプリも含まれているが、Samsung は GOS がゲームのパフォーマンスとデバイスの温度管理を両立させるためのものだとして、非ゲームアプリのスロットリング実行は否定した。今回のフィードバックを受け、ユーザーがゲームアプリのパフォーマンスをコントロールできるようにするソフトウェアアップデートを計画しているとのこと。
Android 端末のベンチマーク最適化は 2013 年に Samsung Galaxy S4で注目され、多くのメーカーが採用していることが判明した。2018 年には Huawei / Honor の端末や OPPO の端末でベンチマーク最適化が発覚して 3DMark のランキングから抹消されており、昨年は OnePlus の端末が Geekbench のチャートから抹消されている。
知ってた (スコア:0)
ギャラクシーのベンチは信用できないって
Re: (スコア:0)
まるでベンチ以外は信用出来るみたいな言い方だな。
Re: (スコア:0)
△ギャラクシーのベンチは信用できないって
○ギャラクシーは信用できないって
他の記事では非ゲームへのスロットリング実行も肯定したとある (スコア:0)
Samsung は Game Optimization Service (GOS) がゲームのパフォーマンス維持を目的に
「デバイスの（主に温度）管理を行う」として、スロットリング適用範囲はゲームアプリに限らないことを認めた。
Re: (スコア:0)
例えばスマホ版Photoshopの動作が軽くなったら（スロットリング効いたら）うれしいよな。
Re: (スコア:0)
＞例えばスマホ版Photoshopの動作が軽くなったら（スロットリング効いたら）うれしいよな。
ベンチマークのために、無断で重くなってたわけだが。
Re: (スコア:0)
バッテリー持ちがよくなってたとも言える。
CPUパワーが必要なアプリはCPUパワーを割り振る（代償としてバッテリーもちが悪くなる）
CPUパワーが必要ないアプリには割り振らない（代わりにバッテリー持ちがよくなる）
そういう（一般ユーザーにとっては）ありがたい機能に対して難癖をつけてるだけに思える。
Re: Re:他の記事では非ゲームへのスロットリング実行も肯定したとある (スコア:2)
基本を特定のベンチに最適化した上で、CPUパワーが必要なアプリでは実用的な最適化をしている可能性がある。ベンチに性能が割けるように、ベンチと競合するアプリを遅くしている可能性もある。
その場合、ユーザーにとっての不利益は今はほとんど無いが、今後GOSのリストの更新が止まると、新アプリがどんどんベンチアプリ扱いになって不安定になるだろうし、ベンチアプリ扱いになったアプリがベンチマークの邪魔をしてベンチマークの結果も悪化する。
Re: (スコア:0)
＞ユーザーにとっての不利益は今はほとんど無い
メーカーの嘘により公称と異なる条件で比較・判断させられていたんだから、最初からユーザーには不利益ありまくりですよ？
Re: (スコア:0)
それは当たり前の話で、仮にベンチマークアプリがデフォルトのCPU倍率で動くとしてもだめだと言ってるんだよ。
Re: (スコア:0)
Galaxyも、アプリごとに最適化するのではなく、
AlderLakeのPコア・EコアのAIによる最適化…
つまり、Intel Thread Directorに倣った、
命令を解析してスレッド単位での振り分けや
ブーストをすりゃいいのに。
ところで、
これが問題だと世間が言う以上、
世の中のPCベンチ屋は、GPUにGeForceを使う際に、
必ずGeForce Experienceを外してることを
確認してるんだろーな？
Re: (スコア:0)
一般ユーザー（一般ユーザーではない）
そもそもこのベンチ自体 (スコア:0)
信者ベンチとどこかで見たけどな。
Re: (スコア:0)
いまだにAntutuを信奉する日本の記者も多いですし…
Re: (スコア:0)
使ってるアルゴリズムごとの測定結果まで出してるんだから
問題あるなら具体的に指摘すればいいのに、
「信者ベンチ」とかいう謎の難癖しかつけられないあたりが
ただのアンチ丸出しで分かりやすい。
Samsumgがどうとかではなくて (スコア:0)
そもそもExynosは今やもう全然ダメだし、
Snapdragonはスマホの排熱設計で捌けないような発熱を許容してるし、
SoCの性能が低すぎるのが根本的な問題なんだよな。
Re: (スコア:0)
＞SoCの性能が低すぎるのが根本的な問題なんだよな。
前段までと全く違う結論にワロタ
同じように (スコア:0, オフトピック)
再生数水増しだらけのK-POPの曲も過去のチャートを遡ってビルボートの順位から取り除いとけ
今はロシア側に着く韓国政権の痛いところをいくら叩いても文句言われないだろ
でGOSって何なの？ (スコア:0)
ゲームは快適にならないけど、ペンチマークの数値 だけ 上昇したらそれは問題だけどそうじゃないでしょ？
登録されているゲームやアプリのパフォーマンスが上がる＝快適に動くようになるって機能じゃないの？だったら問題というかむしろ歓迎なような。
Re: (スコア:0)
性能が上がるだけなら正式に公表すれば問題なさそう
でも性能が上がる=発熱を無視するだったら
バッテリー消費も上がるし、劣化も早めるし良いことだけではないな
ユーザーがその設定を選べれば問題なさそうだけど
Re: (スコア:0)
androidpoliceのリンク先から
Geekbench provided us with the following statement:
Earlier this week, we were made aware of Samsung's Game Optimizing Service (GOS) and how it throttles the performance of games and applications. GOS decides to throttle (or not to throttle) applications using application identifiers and not application behavior. We view this as a form of benchmark manipulation as major benchmark applications, including Geekbench, are not throttled by this service.
動作ではなくアプリのIDを見てスロ
Re: (スコア:0)
ID見てという方がむしろいいと思う。
ID見てっていうのは、スマホメーカーが対応してるアプリに対してパフォーマンスを上げてるってこと。
スマホメーカーが知らない(テストしてない)アプリのパフォーマンスを上げたら、スマホに想定外の負荷かかってハングアップしたりとか起こるかもしれないし。
> We view this as a form of benchmark manipulation as major benchmark applications, including Geekbench,
> are not throttled by this service.
ベンチマークソフトは対象外、つまりベンチ数値を上側にいじる操作はしていないんだね。
Re: (スコア:0)
昔の日本製と違って海外スマホはそんな細かく検証してないよ
Re: (スコア:0)
> 昔の日本製と違って
そりゃARROWSとは違うよな。同じじゃ困る。
Re: (スコア:0)
throttledってスロットル、つまり絞る方向の話じゃないの？
つまりベンチマークは性能を絞っていない。特定のゲームも性能を絞っていない。
それ以外のアプリケーションは性能を絞っている。絞るだけの理由がある。
ベンチマーク対策と言われない言い訳として、性能を上げる方向ではなく、絞る方向にしているんじゃないかな。
それをGeekbench側は認めなかった。
Re: (スコア:0)
結局、アプリ毎のバッテリー最適化を、勝手にベンチマーク最適化と読み替えて騒いでるだけなんだよな。
Re: (スコア:0)
何れにせよベンチマークでの性能が実際のアプリケーションの性能に結びつかないので結果を抹消するのは合理的
Re: (スコア:0)
「スロットルを絞る」「スロットルを開く」って使われ方をするから、「スロットル」って言葉だけじゃどっちの方向の制御か分からないな
Re: (スコア:0)
スロットルを絞る、開くって場合のスロットルは名詞
Geekbenchのツイートの：
how it throttles the performance of games and applications.
のthrottle(s)は動詞で主に絞るって意味で使われる
いっそオープンにやれ (スコア:0)
いっそスロットリングの採用も対象リストもオープンにすりゃ
スロットリング対象時のスコアないしは非対象時のスコアとして正しいスコア出せるだろうに。
できればリストの編集・有効無効の切り替えも開放してもらえれば、
節電して使いたい状況とガッツリ回したい状況で使い分けたりできるし、
性能の測定も両方バッチリ決められる。
仲の良いベンダのアプリがデフォルトでは有利って程度なら文句もそんな出ないだろうし。
Re: (スコア:0)
パフォーマンスとバッテリーのバランスの為のスロットリングが、ベンチマークの価値を損なっているってことなんだけど、そんなのメーカーからしたらどうでもいい話だよな。
Re: (スコア:0)
＞そんなのメーカーからしたらどうでもいい話だよな。
それで嘘八百を並べて他社やユーザ騙すのが悪だって話です。
Re: (スコア:0)
勝手に信頼性に問題のあるベンチマークやって一喜一憂してるのは第三者でしょうに。
Re: (スコア:0)
韓国擁護がアクロバチックすぎて草
Re: (スコア:0)
マニュアルでON/OFFできて両方のベンチマーク値が掲載できるなら問題なかったでしょうね
Re: (スコア:0)
まず嘘つくのを辞める処からだろ
Re: (スコア:0)
ASUSの上位機種は自分でスロットリング動作温度とかCPU/GPU/メモリのクロックを設定するモードがありますね
Re: (スコア:0)
ASUSの上位機種は、そもそも調整しないと使えるような代物じゃないからなぁ。
ASUSはROGの購買層を自分で設定できる人に限っても問題ないが、他の一般向けメーカーが同じことをできるわけでもない。
Re: アプリ毎に最適な動作に調整しているだけなのに (スコア:2)
関係ないなら、尚更リストから消えても問題ないよね？
Re: (スコア:0)
Samsung端末は使ってないけど、こういうのは歓迎。
無駄に100パーセント負荷かけるより、80パーセントぐらいの性能で発熱抑えてバッテリー効率上げたほうが嬉しいアプリはたくさんある。
ユーザーがアプリ毎に簡単に調整できる仕組みがあると尚いい。
Re: (スコア:0)
隠してやってたって事だよね
Re: (スコア:0)
https://galaxystore.samsung.com/prepost/000004017258?langCd=en [samsung.com]
隠してやってるわけではない。CPUやフレームレートの制御するから、Galaxy端末でしか動かんけど、入れるとどのアプリが対象になってるか一覧で見られるし、アプリ事に機能の有効無効も設定できる。
Galaxy App Storeにゲームとして登録されてるアプリが対象(Google Playにも同じパッケージのまま登録できるんで、どちらからダウンロードしても対象になる)
発熱無視してフルスペックで動かしたり、解像度落とし
Re: アプリ毎に最適な動作に調整しているだけなのに (スコア:1)
違うよ。同じ尺度で比較できなくなるから、Geekbenchのチャートに載せることはできないという主張だよ。
Re: (スコア:0)
＞GeekBenchのは、こういう機能を端末が持つことは許せれないって主張。
違います
Re: (スコア:0)
>Galaxy App Storeにゲームとして登録されてるアプリが対象
なにそれひどくね
Re: (スコア:0)
ないんじゃないの？
そもそも一般人はスマホ買う前にベンチマーク見たりしないから、売り上げにほとんど影響ないでしょ。
バッテリーだって、動画を何時間も撮りまくるようなYoutuberじゃないかぎり滅多に困らなくなった。
いざとなればスタバかなんかで充電すればいい。Type-Cが普及して充電器の貸し借りもしやすくなった。
Re: (スコア:0)
一般人はiPhoneを買います
Re: (スコア:0)
物は言いよう
Re: (スコア:0)
Geekbenchに注力する余りに他のアプリをゴニョゴニョした結果、その間に来ているはずの重要な連絡が来なかったとして...
Re:それでも足元に及ばないメイドインジャパンの誇るバルミューダフォン(笑) (スコア:1)
なんで貴方が恥ずかしがるの