test de la qualité des réseaux 4g sur la lgv · fabricants de terminaux mobiles, les organismes...

TEST dE la qualiTé dES réSEaux 4G Sur la lGV

juillET 2017

Test sur la ligne à grande vitesse Paris-rennes

SmartViSer - L’expert du teSt

teSt Sur La LgV pariS-renneS

LeS réSuLtatS

sommaire

Page 3

Page 4 à 5

Page 7 à 19

Page 7 à 11

Page 12 à 16

Page 7 à 8

Page 17

Page 12 à 13

Page 9 à 11

Page 18

Page 14 à 16

Page 19

Page 17 à 19

1 - Axe Rennes-PARis

2 - Axe PARis-Rennes

RéseAu 4GnAviGAtion web

RéseAu 4GnAviGAtion web

RéseAu 4GnAviGAtion webAutonomie

3 - moyenne des RésultAts

Page 4Page 5Page 5 et 6

objectifconditions de testPRotocole de test

• L’utilisateur au coeur de notre innovation.Basée sur le concept d’utilisateur virtuel l’application mobile viSer teste automatiquement les smartphones, tablettes ou réseaux grâce à un robot simulateur d’usage.

• Plus de 100 indicateurs relevés.L’application viSer enregistre comme une véritable sonde les indicateurs de performance pertinents dont nos clients ont besoin en laboratoire et sur le terrain, par exemple : les débits, la couverture ou l’accroche réseau, la performance énergétique, les temps d’éta-blissement d’appel...

• Répondre aux challenges.Notre mission est d’accompagner les opérateurs, les fabricants de terminaux mobiles, les organismes de régulation, les distributeurs ou encore les médias spécialisés dans leurs activités de tests afin qu’ils puissent proposer les produits et services ré-pondant au mieux aux attentes de leurs clients.

SmartViser - Tous droits réservés - Test ligne à grande vitesse Paris-Rennes - Juillet 2017

smartviser AlleR Plus loin dAns l’exPéRience utilisAteuR

3/20

• Objectif

L’objectif de ce rapport est de donner des éléments d’analyse sur la qualité de la couverture réseau 4G, en comparant les services proposés par les quatre opérateurs français : Bouygues Telecom, Free, Orange et SFR.

Plus vite à Paris mais avec quels services de connectivité ? L’ouverture de nouvelles lignes à grande vitesse est un enjeu pour les opérateurs car l’attente des utilisateurs est très forte.

C’est pourquoi, en testant la ligne à grande vitesse Paris-Rennes, c’est l’expérience client dans sa globalité qui a été privilégiée.

• cOnditiOns de test

Le protocole de test appliqué répond aux mêmes conditions que celles imposées par l’ARCEP, l’Autorité de Régulation des Com-munications électroniques et des Postes.

trois axes principaux ont été choisis :- La couverture 4G- La navigation web, (connectivité en mobilité)- La consommation batterie

Le 6 juillet 2017, les tests ont été effec-tués au même moment sur les quatre réseaux mobiles de manière entière-ment automatisée et synchronisée.

Les tests ont été effectués sur la ligne à grande vitesse Rennes-Paris puis Paris-Rennes.

Les tests ont été réalisés avec des cartes SIM françaises sur quatre terminaux 4G.

Le test test de lA couveRtuRe 4G dAns lA lGv PARis-Rennes


4/20Carte issue du site officiel de la SNCF : https://tinyurl.com/yagxdbwd

• date : 6 juillet 2017

•tGV : N° 8606 et N° 8085

• Mobiles :Huawei Honor 6c

• iMei :863734031539927863734030775522863734031526403863734031538507

• software :Diego-L21HNC432B121

• Vitesse et durée :380 km / 1 h 25 trajet aller.

• scénario :le scénario complet dure 11 minutes, une fois la série d’actions synchronisées terminée, celle-ci se répéte à l’infini.

Le test a été démarré au départ de la gare de Rennes puis arrêté manuellement dès l’arrivée en gare de Paris.


5/20

Pour réaliser ce test sur la ligne à grande vitesse, l’application viSer, développée par SmartViser a été utilisée tout au long du trajet.

viSer libère les équipes de test en exécutant de façon automatique toutes les actions utilisateur préprogrammées et procéde à l’enregistrement de tous les indicateurs de performance recherchés. Le protocole de test décrit ci-dessous a donc été exécuté automatiquement, il a suffi de poser les quatre téléphones et de laisser tourner l’application viSer.

Les résultats présentés dans ce rapport ont été collectés par viser.

• PROtOcOLe de test


6/20

Les 4 Huawei Honor 6C utilisés pour le test

• Actions utilisateurs :

- 1 navigation Web toutes les 20 secondes - 30 sites Web différents- Actions devant être complétées en 10 secondes

- Amazon- Fnac- Paypal- Service Public- Facebook- Pole Emploi- Instagram- Twitter- Voyages SNCF- Skype

- Yelp- Caisse d’Epargne- Youtube- Wikipédia- Darty- Live- La Banque Postal- Credit Mutuel- CAF- Le boncoin

- Pages jaunes- Snapchat- Whatsapp- France Info- Trip Advisor- Waze- Twitch- La fourchette- Yahoo-Google

• PROtOcOLe de test

1 // Graphique :Le graphique ci-dessous indique le taux de couverture atteint en 4G par chaque opérateur lors de notre test sur la ligne à grande vitesse Rennes-Paris.

2 // carte :Les cartes indiquent les changements de technologies enregistrés durant les test effectués sur le trajet Rennes-Paris. Les cartes permettent de géolocaliser les zones rencontrant des difficultés de connexion.

7/20SmartViser - Tous droits réservés - Test ligne à grande vitesse Paris-Rennes - Juillet 2017

❷

❹

❶

❸

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Couverture en service 4G (LGV Paris-‐Rennes) 6 juillet 2017

22%17%15%

91%

Les résuLtats Axe Rennes-PARis

4G


QuAlité de lA couveRtuRe RéseAu PouRcentAGe du tRAjet effectué en 4G

4

1

3


8/20

2G3G

22%

15%

91%

17%

4G Pas de réseau

4G QuAlité de lA couveRtuRe RéseAu détAils en cARtes

Légende :

Afin de détailler les résultats obtenus par les quatre opérateurs français sur la navigation web lors du trajet Rennes-Paris, les résultats sont présentés sous trois formes :

1 / Graphique :le graphique ci-dessous indique le taux de réussite de pages web chargées en moins de 10 se-condes selon les conditions ARCEP.

2 / carte : Les cartes indiquent les résultats du chargement des pages web obtenus pour les quatre opéra-teurs, en vert lorsque l’action a réussi, en rouge lorsqu’elle a échoué. Les cartes permettent de géolocaliser les zones rencontrant des difficultés de connexion.

3 / courbe :Les frises indiquent le débit lors des téléchargements des pages web tout au long du trajet Rennes-Paris.


9/20

nAviGAtion web PAGes web chARGées en moins de 10 secondes

❸

❹

❶

❷

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Pages Web chargées en moins de 10 secondes 6 juillet 2017

24%

13%

74%

34%2

3


10/20


échecsuccèsLégende :

24%

13%

74%

34%


11/20


1 // Graphique :Le graphique ci-dessous indique le taux de couverture atteint en 4G par chaque opérateur lors de notre test sur la ligne à grande vitesse Rennes-Paris.

2 // carte :Les cartes indiquent les changements de technologies enregistrés durant les test effectués sur le trajet Rennes-Paris. Les cartes permettent de géolocaliser les zones rencontrant des difficultés de connexion.


❷

❹

❶

❸

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


34%

6%3%

87%

4G QuAlité de lA couveRtuRe RéseAu PouRcentAGe du tRAjet effectué en 4G

2

4

Les résuLtats Axe PARis-Rennes



34%

3%

87%

6%

2G3G4G Pas de réseauLégende :



34%

11%

76%

26%

1

2

3

4

Afin de détailler les résultats obtenus par les quatre opérateurs français sur la navigation web lors du trajet Paris-Rennes, les résultats sont présentés sous trois formes :

1 / Graphique :le graphique ci-dessous indique le taux de réussite de pages web chargées en moins de 10 se-condes selon les conditions ARCEP.

2 / carte : Les cartes indiquent les résultats du chargement des pages web obtenus pour les quatre opéra-teurs, en vert lorsque l’action a réussi, en rouge lorsqu’elle a échoué. Les cartes permettent de géolocaliser les zones rencontrant des difficultés de connexion.

3 / courbe :Les frises indiquent le débit lors des téléchargements des pages web tout au long du trajet Rennes-Paris.

15/20


échecsuccès


Légende :

34%

11%

76%

26%



16/20

• La moyenne des résultats à l’aller et au retour du trajet Rennes-Paris, montre nettement qu’un opérateur se démarque de manière significative. Grâce à une couverture réseau 4G de qualité, Orange fait bénéficier ses clients d’une expérience plus satisfaisante lors d’un voyage sur la ligne à grande vitesse Rennes-Paris.

Les résuLtats lA moyenne des tRAjets

❷

❹

❶

❸

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


28%

14%10%

89%



17/20


❷

❹

❶

❸

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


29%

12%

75%


18/20

Moyenne réalisée sur l’aller-retour Rennes-Paris.

• Avec 75% de réussite concernant le chargement des pages web, l’opérateur Orange offre la meilleure expérience client à ses abonnés en mobilité sur la ligne à grande vitesse Paris-Rennes.

téléchargement des pages Web en moins de 10 secondes

échec téléchargement au sens ARceP

128381

355154

361148

44861

SmartViser a effectué le téléchargement de 509 pages web, (261 à l'aller et 248 au retour), une toutes les 20 secondes et cela pour chaque opérateur avec les résultats suivants :

3

30%

Consomma'on ba*erie du mobile 6 juillet 2017

37%34%

44%3

21

4

Autonomie imPAct de lA QuAlité RéseAu suR l’Autonomie

42%


19/20

Moyenne réalisée sur l’aller-retour Rennes-Paris.

• De même la qualité de la couverture impacte directement l’autonomie d’un smartphone. En effet, des pertes de réseau, des temps de chargement plus long, des changements de technologie ou des changements de cellule répétés sollicitent fortement les smartphones. Sur ce point, c’est Orange, grâce à sa couverture la meilleure efficacité énergétique.

Testing innovation

À PROPOS DE SMARTVISER. Créée en 2014, SmartViser est une startup Rennaise précurseur dans des solutions embarquées de tests entièrement automatisés pour les smartphones et les réseaux. La jeune société a une ambition simple : « évaluer facilement, rapidement et en toute fiabilité l’expérience utilisateur pour les systèmes connectés ». Les solutions de SmartViser, dédiées aux professionnels, répondent donc aux besoins spécifiques de la mise au point et de l'évaluation des systèmes visant la satisfaction de l'utilisateur final. À ce jour les solutions SmartViser ont déjà conquis plusieurs grands acteurs des télécommunications en France et à l'international.

www.smartviser.com

[email protected]

+ 33 2 99 314 208

SmartViser@

contactez-nous

test de la qualité des réseaux 4g sur la lgv · fabricants de terminaux mobiles, les organismes...

Documents