Toviです。スマホ評価台数 約200台。現役技術者目線で忖度一切無しで定量技術評価してます。スマホ選びの参考になれば幸いです。評価結果はYoutubeで公開中。遊びに来てくれると嬉しいです(^^。MT旧車/PC/DIYも好きです。同研究所ゲーム評価員@Mori_Worksさんもフォロー下さい。
Joined May 2012
- Tweets4K
- Following2.9K
- Followers9.1K
- Likes1.7K
Pinned Tweet
世界初 各社最新最強スマホが勢ぞろい
Antutu400万点級怪物Android vs iPhone17 Pro Max
最新スマホの3D実用ゲーム性能頂上決戦！
発熱・バッテリー持ちまで徹底検証🔥
👉 動画はこちら：youtu.be/wi0OTKSu3J8
iPhone勝てるのか…？泥軍団ガチで怪物
#iphone17promax #xiaomi #redmagic11pro
スマホの本当の性能・ベンチマーク詐欺の正体
それを踏まえた当研究所独自のスマホ性能評価の全貌
とスマホの選び方を徹底解説します！
youtu.be/ex63_iZSy6c
📄【徹底解説スライド全29枚・PDF公開】
drive.google.com/file/d/1SLd…
スマホの性能は、SoCの型番やAnTuTuの最高スコアだけでは判断できません。
今回は約200台のスマホを現役技術者がガチ検証してきた経験をもとに、ベンチマークの正しい活用方法、メーカーの性能制御、そして本当に性能の高いスマホの選び方について、約72分かけてガチで解説します
最近の高性能SoCは非常に高い処理能力を持っていますが、スマホ本体の冷却能力が追いつかなければ、その性能を維持できません。
同じSoCを搭載していても、冷却構造や温度制御、アプリ別の性能最適化によって、実際に引き出せる性能は大きく変わります。
当研究所では、この違いを把握するために「最大限界実性能」という考え方で評価しています。
AnTuTuなどを繰り返し実行し、開始温度と終了温度の差が1℃以内に収束するまで測定。温度別に性能をプロットすることで、低温時の最大性能だけでなく、発熱による性能低下や、持続的に維持できる性能を可視化しています。
さらに、3DMarkでは通常版とパッケージ名を変更したリネーム版を用いて、2023年から、アプリの識別によって性能制御が変化するかも検証しています。
ここで重要なのは、ベンチマークアプリに対する最適化が、必ずしも不正とは限らないことです。
メーカーがどのような基準で性能を制御しているのか？ 通常のゲームではどの程度の性能が引き出せるのか？ そして、ベンチマークの結果をどう解釈すべきなのか？
今回は、AnTuTu v12・3DMark・PCMarkそれぞれのメリットと限界、実ゲーム評価との違い、メーカー別の性能制御の傾向まで掘り下げています。
また、最新SoCを搭載していれば本当に良いスマホなのか？、旧世代SoCとの差や電力効率も考察。
最終的には、価格に対して期待する実性能が得られるかという「実性能コスパ」の視点から、スマホの選び方をポイントをまとめました。
普段当研究所が行っている性能検証の考え方を、
できる限り詳しく説明した長編動画です。
スマホの性能評価やベンチマークに興味がある方は
是非ご覧ください。
私がこのような検証を行っている理由ですが、現役技術者として各社の技術力と課題を把握し、忖度のない客観的な評価を行い、視聴者の方に可能な限り、正確な情報を届けるためです。日本だけでなく海外の最新スマホもレビューしているのもそのためです。
また、本業があり週末Youtuberなので、実現はいつになるかわかりませんが、最終目標は、性能評価もカメラ評価も含めた世界一のスマホ研究所の実現です。
まだまだ不十分な面はあり、技術も進化するので、随時評価方法はアップデートしていきます。引き続き、ご支援、頂けますと幸いです。
いつかはスマホ好きが端末を持ち寄って、自分でスマホ検証したり、談義できるリアル研究所を作るのが夢です。
（スマホと関係ない、団地のリノベーションをDIYで行っているのは、将来のリアル研究所も自分を作れるようにするためであり、実は繋がっています^^;）
今回の動画まとめです。
スマホの本当の性能を知るには、最大限界実性能と温度特性の把握が重要です。
ベンチマークは正しい方法で活用すれば非常に有効な測定手段です。
そしてスマホ選びでは、価格に対して期待する実性能が得られる「実性能コスパ」を重視すべきだと考えています。
現在スマホは性能上げたいという意図でスマホ購入したい際は、ミドル以上は仕様＝性能じゃないので、選び方を非常に気をつける必要があります。
ハイエンドスマホほど、SoCの型番や最高スコアだけで選ばないことが重要です。
必要な実性能がどの温度で得られるのか、買い替え価格に見合った性能向上があるのか。
また、昨今端末価格が非常に高騰しているので、コスパを気にする場合は、総合性能・3D性能・電池持ちなど、自分の重視する項目の実性能の比較をし、過去機種も視野に入れて選んだほうがよいです。
一方でPC Markにも弱点があります。
PCMarkは2D性能とバッテリー持ちの比較に有用ですが、実際のあらゆる使い方を再現できるわけではありません。
特に3Dゲーム時の電池持ちやPC Markが想定している処理を超えた他のアプリ実行時のバッテリー持ちは異なってきます。
あくまで同じ条件環境化での持ち時間を比較し、制御の優位性、方向性を把握、過去機からの差分を確認するためにツールを使う事が重要です。
当研究所ではPCMarkを用いてバッテリー持ちの性能評価を行っています。
ここでは単にバッテリー持続時間を見るだけでは不十分なので、2D性能とバッテリー持ちを掛け合わせ、電力効率を比較しています。
高い2D性能を優先する端末なのか、電池持ちを重視する端末なのか。端末を2軸でプロットしていくと、同世代の端末が同じような傾向を示しますが、たまに制御がいまいちな端末はその傾向から逸脱する端末が出てきます。
性能と稼働時間を併せて見ることで、メーカーの制御方針・制御良さが見えてきます。
最新SoC搭載機を選ぶ意味があるのか？
という点では、最新SoCは電力効率の改善によって、同じ性能なら発熱を抑えられる可能性があります。なので、きちんとした性能制御ができれば意味があります。
ただし、最大限界実性能という視点では、SoCの性能向上がそのまま反映されるとは限りません。
場合によっては、限られた冷却性能の中での制御は最新SoCだからといって簡単になるわけではないので、下手な制御をすると最新SoC搭載機種の方が、旧機種の性能にまけるという事態が発生します(3D MARKの表のランキングが新旧機種が多々逆転しているはそのためです）。
ここで重要なのは最新SoCで瞬間最大性能が高い！これは良くなったと見ない事が大事です。
また、電力効率の向上は主にバッテリー持ちに効いてくる事が多いです。
スマホの性能を決めるもう一つの要因として、
実は品質設計基準による制御制約・方針があります。
これはあまり一般ユーザには見えにくい世界ですが、
スマホの性能制御には、低温やけどやバッテリー寿命などを考慮したメーカー独自の品質基準を必ず守らなければなりません。
それに加えて、実は、販売経路からの要求によるさらなる品質要件の上乗せがある可能性があり、要求条件の違いから、キャリア版とSIMフリー版で制御が異なる可能性もあると考えています。
3D Markにおいてアプリ最適化を行っている行っていないベンダーの整理と結果を比較してみました。
当研究所の最大限界実性能指標ではアプリ最適化をおこなったからといって必ずしもスコアが高くはなりません。むしろ、パッケージリネーム版の方はスコアが高いメーカの方が多いです。
これは発熱収束時の最大限界実性能を見ているので、結局の所アプリ最適化を行ったとしても、その制御が完全でない場合、汎用制御の方が優れているという側面を示しています。
また、違った側面でみると、ベンチマークというあらかじめ処理が解っている場においても、アプリ最適化を行っても、端末が冷却限界状態で発熱収束状態になる最大限界実性能の視点では、性能を上げて見せる事が容易でないという結果ともいえます。
当研究所員MoriWorksさんのゲーム検証の方法です
私には到底できないゲーマーならではの検証ですが、
ゲームに関しても比較できないと意味がないので、
定量評価・シナリオ固定を意識しています。
2Dゲーム・音ゲー・3Dゲームを組み合わせて検証し、
FPSだけでなく、温度・消費電力・動作安定性・フレームの揺らぎまで、可能な限り数値化して比較しています。
ゲーム検証はベンチマークツールを使った検証よりも
非常に難しい世界なのでできる事が限られますが、
ベンチマークと実ゲームの両面で評価しています。
スマホのゲーム検証はメリットもありますが、
さらに難しい課題があります。
実ゲームではFPSだけでなく、タッチ応答や割り込み処理なども含めた実使用性能を確認する事ができます。
一方で、負荷やシナリオを完全に固定するのは難しく、ゲームのFPSだけで端末本来の最大限界性能を判断することはできません。
また、ゲームはゲームアプリ側のチューニングに依存する事もあり、端末本来の性能を見る事ができないケースもあります。
そのため、ベンチーマークツールを使った限界最大実性能の把握と、ゲーム検証の併用がとても重要です。
一方で3D Markもメリットデメリットがあります。
3DMarkは連続高負荷時の3D性能、冷却限界、アプリ別の性能制御を調べるのに有効です。
また、Antutuと異なりマルチPF対応であるので、iPhoneとの比較も可能です
一方で、Vulkanを利用した測定であり、異なるAPIを使うゲームで同じ性能が得られるとは限りません。
なので、実ゲーム検証について、MoriWorksさんの方で行って頂いています。
当研究所の3D Markの使い方と評価方法です。
3DMarkでは連続高負荷を掛ける事ができるので、その特性を用いて、温度収束に至る状態で、GPU性能と冷却限界における持続性能を評価します。
また、アプリケーション最適化を考慮し、通常版・リネーム版の比較に加え、スコアと収束温度の両方を見ることで、端末ごとの性能制御や放熱特性の違いを把握できます。
また、各社の冷却構造設計思想を把握するため、放熱特性も把握し、スコアだけでなく収束温度も一緒に管理することで、端末の特性を把握しています。
Antutuは結構歴史があるツールですが、メリットとデメリットがありそのベンチマークツールで何が測定できどのように動いているかを把握しておくが重要です。
結果として、AnTuTuはCPU・GPU・メモリ・UXを含む総合性能を把握でき、温度別に測定すれば性能制御の傾向を把握する事ができます。
ただしAntutuの場合、負荷が一定ではないため、途中クーリングできる余裕があり、冷却限界における連続最大高負荷性能の把握には向いていません。
当チャンネルのAntutuの使い方と性能評価方法です
重要なのは温度収束に至るまで各温度で測定し、スロットリング特性の把握の他、最大限界実性能を見極める所まで、Antutuを何度も動かす事です。
この測定例では、Xiaomi 18 Pro Maxは新しいSoCだったので、特性把握のために、Antutuを18回も回しています。
その上で、最高スコアだけでなく、温度上昇後の最低スコアを比較することで端末の総合実性能や、スロットリング特性を把握する事ができます。
Xiaomi 18 Pro Maxの例では最高約472万点から最低約360万点まで低下。高温側では発熱落ちが発生しています。この結果は実性能スコアとしては採用しません。
当チャンネルのスマホの評価方法ですが、Antutu/3D Markを独自の使い方、結果の整理の仕方で、最大限界実性能の算出や比較、妥当性確認を行っています。
例えば、Antutu/3D Markは室温約23℃で、ベンチマーク開始温度と終了温度の差が1℃以内に収まるまで連続測定。最低1時間以上の検証を行っています。
さらに通常版・リネーム版の比較、同SoC機との比較、冷却特性の確認を組み合わせています。
既に200台以上の端末を評価し、ほぼすべての端末はこの評価基準で得られた結果を元に比較できるようになっており、各社の特性の把握から、性能に対しての妥当性を確認しています。
ベンチマーク詐欺のような、不自然な性能を見抜く方法として３つあると考えています。
①連続高負荷で温度と性能が収束するか
②通常版とリネーム版で性能制御が変わるか
③同じSoCを搭載した他社端末と比較して妥当か
この3つを組み合わせ総合判断し、端末本来が持つ性能特性を把握した性能評価を行う事が重要です。
ベンチマーク詐欺についてですが、アプリに最適化しているだけで「詐欺」と判断するのは適切ではありません。
当研究所では、ユーザーが実際には享受できない持続不能な性能を、意図的に見せることが問題だと考えています。
スマホの評価において、端末同士を比較するには、同じ条件で負荷をかけることが非常に重要です。
ゲームでは場面や負荷が変動するため、条件をそろえるのは非常に難しいです。
ベンチマークツールは最大限界実性能を定量的に比較するための重要な測定手段です（ただ普通動かすだけでは意味がないのでどう動かすかが重要です）。
ベンチマークツールの最適化は許されるのか？
という点ですが、当研究所では、他のアプリでも同様の最適化が利用でき、品質保証範囲内で何時間でも安定稼働するなら、ベンチマーク最適化は問題ないと考えています。
一方で一時的なスコアの見栄えだけを優先し、発熱落ちする制御結果は評価対象外（意図的なベンチーマーク詐欺かメーカーがチューニング途中の未完成の状態のどちらかと見ています）としています。
