Protocole de test CPU 2017

6
1013

Nous profitons de cette nouvelle année, riche en nouveauté CPU, pour refondre notre protocole de test. Nous allons préciser ici ce qui est mesuré et comment.

Notre protocole de test précédent date d’il y a environ un an et demi. Depuis, beaucoup de choses ont évolué, avec notamment l’arrivée marquante de DirectX 12.

Configuration de test :

Plateformes

Les CPU que nous testerons avec ce protocole appartiendront à une de ces 5 plateformes. Voici le détail du matériel utilisé pour chaque :

Vous remarquez sans doute un écart de volume de RAM entre les plateformes en DDR3 et celles en DDR4 (16 Go vs 32 Go), mais nous pouvons vous assurer que 16 Go ne sera limitant en quantité dans aucun de nos benchs.

En plus de ces couples processeur-carte mère, le reste de la config de bench sera composé de :

La ventilation de la carte graphique sera réglée à 100 % via MSI Afterburner. En effet, une surventilation permet d’éviter complètement le thermal throttle. Or une légère variation de la fréquence GPU entraine une variabilité non désirée des résultats dans les benchs 3D et dans les jeux.

OS

Dans ce nouveau protocole, nous faisons la chasse aux écarts de mesures lors des benchs. Cela implique donc de limiter au maximum le lancement de petits services qui peuvent altérer les performances de la configuration pendant quelques secondes. C’est d’autant plus net lorsqu’on mesure les performances du CPU.

Dans cette optique, l’usage de la version familiale de Windows 10 allait de soi, puisque plusieurs services sont absents. Mais surtout, le Windows a été grandement allégé puisque nous avons désactivé (entre autres) :

  • Cortana
  • Windows Update
  • Windows Defender
  • Prefetch
  • La plupart des services dispensables

Bref, nous sommes en présence d’un Windows minimal afin d’avoir les données les plus stables possibles. Dans ce Windows nous avons installé les drivers graphiques, en l’occurrence les ForceWare 378.66 WHQL. La mise à jour des drivers a été coupée. Notez que nous utilisons le mode de performances « élevé » afin que la baisse en fréquence ne perturbe pas les usages légers (benchs applicatifs typiquement) et pour couper court à toute polémique sur Ryzen.

Types de mesure :

La liste suivante montre les processeurs qui seront préalablement benchés, dans le but de figurer dans les graphiques. Ces processeurs fourniront une base de comparaison pour les processeurs que nous testerons. À noter qu’ils subiront exactement les mêmes conditions que les processeurs supplémentaires qui seront testés.

Les processeurs seront tous refroidis par le Cooler Master MasterLiquid 240. Cet AiO très efficace (cf le test) a l’avantage d’être compatible avec tous les sockets actuels. Les deux ventilateurs ainsi que la pompe fonctionneront à 100 % de leur capacité. En effet, le PWM aurait impliqué une vitesse de ventilation différente selon le processeur, et nous voulions qu’ils soient tous traités à la même enseigne.

Nous allons mesurer les performances de la plateforme abritant le processeur. Cette série de mesure sera séparée en 3 catégories :

  • Perfs réelles : applicatif
  • Perfs réelles : jeux
  • Autres mesures

Les mesures de performances sont toutes prélevées 3 fois d’affilée. La configuration est redémarrée, les mesures refaites, puis redémarrée et les mesures refaites une dernière fois. Les résultats que vous verrez sur les graphiques sont à chaque fois la moyenne des trois mesures. Le but est ainsi de lisser les aléas des résultats et d’augmenter la fiabilité des mesures. Nous n’hésitons pas à faire une 4ème voir une 5ème mesure si celles-ci présentent trop de disparités.

Mesures de perfs réelles applicatif :

Comme dit précédemment, les mesures seront ici effectuées 3 fois. Nous utiliserons la moyenne des 3 mesures sur nos graphiques. Tous les processeurs figureront sur le graphique, sans modification : fréquence d’origine, boost activé, BCLK en Auto …

Le processeur testé aura le privilège d’avoir une barre représentant ses performances une fois overclocké. Cet overclocking aura une fréquence précisée dans le graphique. Celle-ci correspondra à un overclocking que nous jugeons tranquille, pas forcément le maximum que le processeur puisse atteindre. Cela permet également de voir comment évoluent les performances du processeur en fonction de la fréquence.

Voici la liste des benchs qui seront utilisés :

  • Cinebench R15 (v15.038)
  • Handbrake (1.0.3) : H265 4K 60Hz
  • 7Zip 64 bits (16.04) : Compression et Décompression
  • PCMark 8 (v2.7.613) : Excel, Photoshop Heavy, After Effects
  • 3D Mark (v2.2.3509) : FireStrike Physics
  • 3D Mark (v2.2.3509) : TimeSpy Physics
Création 3D / Encodage Vidéo :

Nous commencerons avec des relevés reflétant les performances en création 3D et en encodage Vidéo.

Pour la création 3D, nous utiliserons Cinebench, un des benchmarks les plus connus de sa catégorie. Celui-ci tournera avec tous les threads de disponibles.

Pour l’encodage vidéo, nous utiliserons le logiciel HandBrake. Nous lui demanderons d’encoder une vidéo de 30 secondes de in-game sur Watch Dogs 2 en 1080p 60Hz en format MP4. Le format de sortie est du .mkv en H.265 en 4K 60 Hz. Le temps est mesuré en secondes, grâce à la log.

Archivage :

Pour la partie applicative, nous commencerons par de l’archivage avec 7Zip. Nous lui ferons exécuter le benchmark intégré et nous relèverons les mesures de débit de compression et de débit de décompression en Mo/s. Ces mesures seront faites cinq fois chacunes, puis moyennée. Ce lot ce 5 mesures sera exécuté 3 fois, comme les autres benchs, pour un total de 15 mesures. Voici les réglages utilisés :

Applicatifs :

Nous continuons avec les performances applicatives. Pour cela, nous utiliserons PCMark 8. Nous n’utiliserons pas un des scores globaux, dans lesquels nous retrouvons un peu de tout, mais plutôt les résultats de quelques benchs logiciels en particulier. En effet, nous utiliserons le bench applicatif Excel, Photoshop Heavy et After Effects.

Ces benchs lancent l’application correspondante sur PC et lui fait effectuer des tâches automatiques en grand nombre en chronométrant le résultat. Sur notre plateforme de test, nous utiliserons Excel 2016, Photoshop CC 2017 et After Effects CC 2017. Chaque relevé sera effectué en trois passes moyennées. Ceci étant reproduit trois fois, comme les autres mesures. Cela fait un total de 9 mesures.

À travers ces trois benchs, nous retrouvons du logiciel de bureau, du montage photo et du montage vidéo. Couplés aux mesures sur Cinebench représentant la création 3D et Handbrake représentant le montage vidéo, nous avons un éventail varié de l’utilisation d’un CPU d’un point de vue professionnel.

Benchs 3D

Nous finirons avec les benchs 3D. Nous en utiliserons 2 : Firestrike, que nous ne présentons plus. Nous utiliserons la scène « Physics » et relèverons ce résultat.

La nouveauté dans les benchs 3D est l’apparition de TimeSpy, le petit dernier de 3DMark. Il a comme avantage de tourner en DirectX12, et est donc clairement plus tourné vers l’avenir que les autres benchs. Là aussi, nous utiliserons le score du CPU Test.

Nous avons donc ici un bench 3D en DirectX 11 et un en DirectX 12.

Mesures de perfs réelles jeux vidéos :

Nous testerons également les processeurs dans les jeux vidéos. Nous avons voulu une liste qui se veut futureproof. 4 jeux sur les 6 sont sur DirectX 12. Voici la liste de jeux choisis :

  • Rise of the Tomb Raider (DirectX 12)
  • Total War : Warhammer (DirectX 12)
  • Hitman (DirectX 12)
  • Watch Dogs 2 (DirectX 11)
  • Battlefield 1 (DirectX 12)
  • GTA 5 (DirectX 11)

Nous rappelons que les mesures sont faites 3 fois avec à chaque fois un reboot entre chaque.

Tous seront testés en 1080p, et en graphismes équivalents grosso modo à Ultra, selon la gourmandise des jeux. Nous voulons en effet un réglage de jeu « réel » pour une config avec GTX 980 Ti et non un réglage tout au minimum pour augmenter artificiellement les écarts entre CPU. Cependant, nous n’avons pas trop la main lourde avec les détails, de manière à ce qu’on soit clairement au-dessus de 60 FPS, afin de ne pas tomber dans une situation clairement GPU Limited..

Nous choisirons  une scène facilement répétable, que nous jouerons pendant 1 minute selon les jeux. FRAPS tournera en arrière plan et mesurera les frametimes image par image. Nous demanderons à la fin une extraction des frametimes collectés. Nous en tirerons deux mesures :

  • FPS moyen = nombre de frame calculées pendant le bench divisé par le temps qu’a duré le bench à la ms près.
  • FPS mini = le 99ème centile des frametimes, passé à l’inverse.

Le choix des 99ème centiles est un choix de compromis de notre part. Cela permet de prendre en compte le micro-stuttering, si celui-ci est très présent, et surtout est une mesure assez stable, contrairement au 99.5 centile par exemple.

Rise of the Tomb Raider

Nous choisissons ici le niveau « Le Sommet Montagneux », juste après le premier passage à escalader dans la glace. Nous regardons tout autour de nous et bougeons sur cette falaise enneigée.

Voici les réglages graphiques utilisés. Ceux-ci sont issus du pre-set « Très élevé ».

Total War : Warhammer :

Nous utiliserons là aussi le benchmark intégré au jeu, Fraps ne fonctionnant pas chez nous sur ce jeu.

Voici les réglages graphiques utilisés :

Hitman

Nous utiliserons la scène du tutorial où il faut infiltrer un grand bateau sur lequel se déroule une fête. Nous restons sur le quai et nous le parcourons de long en large en regardant à chaque fois devant soi. Cette scène est intéressante étant donné le nombre de personnes dans le bateau.

Voici les réglages graphiques utilisés:

Watch Dogs 2

Nous utiliserons pour Watch Dogs 2 une scène in-game à l’extérieur de 1 minute environ. Nous nous situons au bord d’une route, près de l’eau, et parcourons de long en large cette route. Voici l’endroit de la map où nous nous situons :

Voici les réglages graphiques utilisés. Nous sommes restés au preset élevé étant donné la lourdeur graphique du jeu.

Battlefield 1

Dans Battlefield 1, nous utiliserons une scène in-game provenant du premier niveau de « Tempête d’acier ». Cela se passe sur la première scène où il faut tenir face à un assaut. Nous faisons en parcours facilement répétable, le mode de difficulté facile aidant beaucoup.

Voici les réglages graphiques utilisés. Ceux-ci sont issus du preset « Ultra » :

GTA 5

Nous utilisons ici une scène à l’extérieur, qui sera mesurée par FRAPS pendant 1 minute. Celle-ci se déroule devant la maison de Francklin. Nous nous baladons de long en large en ne créant pas de troubles, afin de favoriser la répétabilité du test.

Voici les réglages graphiques utilisés :

Nous avons en effet mis au maximum la densité et variabilité de la foule ainsi que la distance de vision, pour imposer une charge de travail lourde pour le processeur.

Streaming :

Le streaming est une utilisation de plus en plus fréquente pour les PC. C’est d’autant plus vrai qu’avec les performances des PC actuels, il est possible de streamer et de jouer sur le même PC. Pour refléter cela, en plus des benchs jeux, nous testerons ces jeux-ci en situation de Streaming :

  • Battlefield 1
  • Watch Dogs 2
  • Rise of the Tomb Raider

Pour le streaming, nous choisissons l’outil OBS Studio qui upload sur Twitch. L’encodage est effectué en x264 par le CPU. Nous testerons avec deux réglages de Streaming :

  • Streaming Léger : 1080p, 60 Hz, 1500 Kb/s, encodage very fast
  • Streaming Lourd : 1080p, 60 Hz, 3500 Kb/s, encodage Medium

Si sur le papier, ces réglages semblent similaire (même résolution, même fréquence) nous vous affirmons que la gourmandise de ces réglages sont radicalement différents. Le deuxième, même s’il est loin d’être le réglage le plus lourd disponible, est extrêmement gourmand. Nous avions envisagé un temps de proposer un réglage « Très léger » (par exemple 720p, 30Hz, 800 Kb/s, very fast). Mais, il nous faut prioriser nos choix. Et bencher avec un streaming tellement léger que la différence avec le Streaming Off est anecdotique n’offre pas de réel intérêt à nos yeux.

Pour le streaming, nous fournissons deux choses : les FPS Min et FPS moyens, comme sur les benchs jeux. Mais également une mesure de qualité subjective du stream. C’est sous la forme d’un rectangle de couleur pour lequel nous estimons avec nos yeux la fluidité du Stream (et celle-ci peut parfois être décorrelée du nombre de FPS obtenu en jeux).

Autres mesures :

Ces autres mesures concerneront principalement l’overclocking et les nuisances des processeurs.
3 niveaux de charge pour la température et la conso

Nous regarderons ensuite la température du CPU et la consommation de la config. Pour ces deux mesures, nous la ferons en idle, en charge moyenne et en charge lourde. En idle, rien ne tournera sur la config. Par contre en charge moyenne, Watch Dogs 2 sera lancé. En charge lourde, Cinebench sera exécuté sans aucune limite de thread.

La distinction que nous faisons entre la charge moyenne et la charge lourde est là pour représenter par opposition une activité type jeu vidéo et une activité type modélisation 3D. La consommation et la température sont en effet radicalement différentes selon l’usage.

Mesures

Pour les trois niveaux de charge, nous procéderons de la même manière : nous utiliserons HWInfo. Nous laissons la config dans l’état correspondant pendant une quinzaine de minute afin que la température se stabilise. Nous relevons la température moyenne et la consommation moyenne de 300 derniers relevés, à hauteur de 5 relevés par seconde : nous avons donc la mesure moyenne sur une minute. Pour la température, notez que nous utilisons la « Température Package » et pour la consommation la « Consommation Package ».

Rappelons que le mode Windows « Performances Elevées » est utilisé durant tout le protocole. La seule exception est la mesure de conso et de température en idle, pour laquelle le mode utilisée est « Utilisation Normale ».

Overclocking

Dans cette section, nous regarderons quelles fréquences (par palier de 100 MHz)  le processeur est capable d’atteindre et quelle tension lui est nécessaire pour chaque étape. Nous commencerons avec la « fréquence d’overclocking » c’est-à-dire la fréquence à laquelle le processeur a été benché dans les mesures de perfs réelles. Puis nous préciserons chaque palier de 100 MHz supplémentaires que le processeur est capable d’atteindre et à quelle tension. Sachez que ces valeurs ne sont pas à prendre au pied de la lettre, car elles peuvent varier d’un échantillon à l’autre.

Voilà comment seront benchés nos CPU. En espérant que cela vous aide à mieux comprendre le choix de nos mesures et comment elles sont relevées. Vous pourrez ainsi reproduire des conditions similaires chez vous.

6 COMMENTAIRES

  1. Bonsoir et Bravo pour ce Protocole qui va bien nous éclairer sur nos choix futurs je pense, cependant je me pose une question, j’ai un Vieux XEON X5675 sur Socket LGA1366 @4555 Mhz et je me demande ce qu’il vaut face aux (+/-) récents processeurs afin de voir si toutes ces démonstrations marketing valent vraiment la peine d’investir vu les faibles évolutions des puces depuis 2011 …

    • En effet, c’est très chronophage. Mais je souhaitais pouvoir proposer des mesures cohérentes et fiables.
      Je pense que le jeu en vaut la chandelle :)

T'en penses quoi ?