パスワードを忘れた? アカウント作成
15588307 story
携帯電話

Geekbench、ベンチマーク不正を受けて Samsung が最近 4 年間にリリースしたGalaxy Sシリーズをチャートから除外 58

ストーリー by headless
不正 部門より
Geekbench は 5 日、Samsung Galaxy S10 / S20 / S21 / S22 の全モデルを Android ベンチマークのチャートから抹消したと発表した (Geekbench のツイートAndroid Police の記事Android Authority の記事9to5Google の記事)。

Samsung は Game Optimization Service (GOS) と呼ばれるアプリを用い、ベンチマークアプリ以外のゲームやアプリでパフォーマンスをスロットリングするベンチマーク最適化を行っているとの疑いが出ていた。Geekbench がテストしたところ、これらのモデルで GOS が使われていることが確認されたという。

ユーザーが公開したスロットリング対象アプリのリストは 1 万本近く、非ゲームアプリも含まれているが、Samsung は GOS がゲームのパフォーマンスとデバイスの温度管理を両立させるためのものだとして、非ゲームアプリのスロットリング実行は否定した。今回のフィードバックを受け、ユーザーがゲームアプリのパフォーマンスをコントロールできるようにするソフトウェアアップデートを計画しているとのこと。

Android 端末のベンチマーク最適化は 2013 年に Samsung Galaxy S4で注目され、多くのメーカーが採用していることが判明した。2018 年には Huawei / Honor の端末OPPO の端末でベンチマーク最適化が発覚して 3DMark のランキングから抹消されており、昨年は OnePlus の端末が Geekbench のチャートから抹消されている。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2022年03月05日 19時42分 (#4210491)

    ギャラクシーのベンチは信用できないって

    • by Anonymous Coward

      まるでベンチ以外は信用出来るみたいな言い方だな。

    • by Anonymous Coward

      △ギャラクシーのベンチは信用できないって
      ○ギャラクシーは信用できないって

  • Samsung は Game Optimization Service (GOS) がゲームのパフォーマンス維持を目的に
    「デバイスの(主に温度)管理を行う」として、スロットリング適用範囲はゲームアプリに限らないことを認めた。

    • by Anonymous Coward

      例えばスマホ版Photoshopの動作が軽くなったら(スロットリング効いたら)うれしいよな。

      • by Anonymous Coward

        >例えばスマホ版Photoshopの動作が軽くなったら(スロットリング効いたら)うれしいよな。

        ベンチマークのために、無断で重くなってたわけだが。

        • by Anonymous Coward

          バッテリー持ちがよくなってたとも言える。

          CPUパワーが必要なアプリはCPUパワーを割り振る(代償としてバッテリーもちが悪くなる)
          CPUパワーが必要ないアプリには割り振らない(代わりにバッテリー持ちがよくなる)

          そういう(一般ユーザーにとっては)ありがたい機能に対して難癖をつけてるだけに思える。

          • 基本を特定のベンチに最適化した上で、CPUパワーが必要なアプリでは実用的な最適化をしている可能性がある。ベンチに性能が割けるように、ベンチと競合するアプリを遅くしている可能性もある。
            その場合、ユーザーにとっての不利益は今はほとんど無いが、今後GOSのリストの更新が止まると、新アプリがどんどんベンチアプリ扱いになって不安定になるだろうし、ベンチアプリ扱いになったアプリがベンチマークの邪魔をしてベンチマークの結果も悪化する。

            親コメント
            • by Anonymous Coward

              >ユーザーにとっての不利益は今はほとんど無い

              メーカーの嘘により公称と異なる条件で比較・判断させられていたんだから、最初からユーザーには不利益ありまくりですよ?

              • by Anonymous Coward

                それは当たり前の話で、仮にベンチマークアプリがデフォルトのCPU倍率で動くとしてもだめだと言ってるんだよ。

            • by Anonymous Coward

              Galaxyも、アプリごとに最適化するのではなく、
              AlderLakeのPコア・EコアのAIによる最適化…
              つまり、Intel Thread Directorに倣った、
              命令を解析してスレッド単位での振り分けや
              ブーストをすりゃいいのに。

              ところで、
              これが問題だと世間が言う以上、
              世の中のPCベンチ屋は、GPUにGeForceを使う際に、
              必ずGeForce Experienceを外してることを
              確認してるんだろーな?

          • by Anonymous Coward

            一般ユーザー(一般ユーザーではない)

  • by Anonymous Coward on 2022年03月05日 20時01分 (#4210502)

    信者ベンチとどこかで見たけどな。

    • by Anonymous Coward

      いまだにAntutuを信奉する日本の記者も多いですし…

    • by Anonymous Coward

      使ってるアルゴリズムごとの測定結果まで出してるんだから
      問題あるなら具体的に指摘すればいいのに、
      「信者ベンチ」とかいう謎の難癖しかつけられないあたりが
      ただのアンチ丸出しで分かりやすい。

  • by Anonymous Coward on 2022年03月05日 20時43分 (#4210517)

    そもそもExynosは今やもう全然ダメだし、
    Snapdragonはスマホの排熱設計で捌けないような発熱を許容してるし、
    SoCの性能が低すぎるのが根本的な問題なんだよな。

    • by Anonymous Coward

      >SoCの性能が低すぎるのが根本的な問題なんだよな。

      前段までと全く違う結論にワロタ

  • 同じように (スコア:0, オフトピック)

    by Anonymous Coward on 2022年03月05日 23時06分 (#4210544)

    再生数水増しだらけのK-POPの曲も過去のチャートを遡ってビルボートの順位から取り除いとけ
    今はロシア側に着く韓国政権の痛いところをいくら叩いても文句言われないだろ

  • by Anonymous Coward on 2022年03月05日 23時18分 (#4210546)

    ゲームは快適にならないけど、ペンチマークの数値 だけ 上昇したらそれは問題だけどそうじゃないでしょ?
    登録されているゲームやアプリのパフォーマンスが上がる=快適に動くようになるって機能じゃないの?だったら問題というかむしろ歓迎なような。

    • by Anonymous Coward

      性能が上がるだけなら正式に公表すれば問題なさそう

      でも性能が上がる=発熱を無視するだったら
      バッテリー消費も上がるし、劣化も早めるし良いことだけではないな
      ユーザーがその設定を選べれば問題なさそうだけど

    • by Anonymous Coward

      androidpoliceのリンク先から

      Geekbench provided us with the following statement:

      Earlier this week, we were made aware of Samsung's Game Optimizing Service (GOS) and how it throttles the performance of games and applications. GOS decides to throttle (or not to throttle) applications using application identifiers and not application behavior. We view this as a form of benchmark manipulation as major benchmark applications, including Geekbench, are not throttled by this service.

      動作ではなくアプリのIDを見てスロ

      • by Anonymous Coward

        ID見てという方がむしろいいと思う。

        ID見てっていうのは、スマホメーカーが対応してるアプリに対してパフォーマンスを上げてるってこと。
        スマホメーカーが知らない(テストしてない)アプリのパフォーマンスを上げたら、スマホに想定外の負荷かかってハングアップしたりとか起こるかもしれないし。

        > We view this as a form of benchmark manipulation as major benchmark applications, including Geekbench,
        > are not throttled by this service.
        ベンチマークソフトは対象外、つまりベンチ数値を上側にいじる操作はしていないんだね。

        • by Anonymous Coward

          昔の日本製と違って海外スマホはそんな細かく検証してないよ

          • by Anonymous Coward

            > 昔の日本製と違って
             
            そりゃARROWSとは違うよな。同じじゃ困る。

        • by Anonymous Coward

          throttledってスロットル、つまり絞る方向の話じゃないの?
          つまりベンチマークは性能を絞っていない。特定のゲームも性能を絞っていない。
          それ以外のアプリケーションは性能を絞っている。絞るだけの理由がある。

          ベンチマーク対策と言われない言い訳として、性能を上げる方向ではなく、絞る方向にしているんじゃないかな。
          それをGeekbench側は認めなかった。

          • by Anonymous Coward

            結局、アプリ毎のバッテリー最適化を、勝手にベンチマーク最適化と読み替えて騒いでるだけなんだよな。

            • by Anonymous Coward

              何れにせよベンチマークでの性能が実際のアプリケーションの性能に結びつかないので結果を抹消するのは合理的

          • by Anonymous Coward

            「スロットルを絞る」「スロットルを開く」って使われ方をするから、「スロットル」って言葉だけじゃどっちの方向の制御か分からないな

            • by Anonymous Coward

              スロットルを絞る、開くって場合のスロットルは名詞
              Geekbenchのツイートの:
              how it throttles the performance of games and applications.
              のthrottle(s)は動詞で主に絞るって意味で使われる

  • by Anonymous Coward on 2022年03月06日 1時36分 (#4210575)

    いっそスロットリングの採用も対象リストもオープンにすりゃ
    スロットリング対象時のスコアないしは非対象時のスコアとして正しいスコア出せるだろうに。

    できればリストの編集・有効無効の切り替えも開放してもらえれば、
    節電して使いたい状況とガッツリ回したい状況で使い分けたりできるし、
    性能の測定も両方バッチリ決められる。
    仲の良いベンダのアプリがデフォルトでは有利って程度なら文句もそんな出ないだろうし。

    • by Anonymous Coward

      パフォーマンスとバッテリーのバランスの為のスロットリングが、ベンチマークの価値を損なっているってことなんだけど、そんなのメーカーからしたらどうでもいい話だよな。

      • by Anonymous Coward

        >そんなのメーカーからしたらどうでもいい話だよな。

        それで嘘八百を並べて他社やユーザ騙すのが悪だって話です。

        • by Anonymous Coward

          勝手に信頼性に問題のあるベンチマークやって一喜一憂してるのは第三者でしょうに。

          • by Anonymous Coward

            勝手に信頼性に問題のあるベンチマークやって一喜一憂してるのは第三者でしょうに。

            韓国擁護がアクロバチックすぎて草

      • by Anonymous Coward

        マニュアルでON/OFFできて両方のベンチマーク値が掲載できるなら問題なかったでしょうね

        • by Anonymous Coward

          まず嘘つくのを辞める処からだろ

    • by Anonymous Coward

      ASUSの上位機種は自分でスロットリング動作温度とかCPU/GPU/メモリのクロックを設定するモードがありますね

      • by Anonymous Coward

        ASUSの上位機種は、そもそも調整しないと使えるような代物じゃないからなぁ。
        ASUSはROGの購買層を自分で設定できる人に限っても問題ないが、他の一般向けメーカーが同じことをできるわけでもない。

typodupeerror

物事のやり方は一つではない -- Perlな人

読み込み中...