baromètre 4gmark 3ème trimestre 2015

BAROMETRE4GMARK3ème TRIMESTRE 2015

1

4GMARKL’APPLI DE MESURES DES RESEAUX MOBILES

L’application 4Gmark pour smartphone est disponible gratuitement sur Google Play pour les terminauxAndroid depuis février 2013, sur AppStore pour iPhone & iPad depuis mai 2013 et sur Windows Phone depuisaoût 2014.

Une approche innovantePionnier en la matière, 4Gmark avait innové, lors de son lancement début 2013, en intégrant la navigationweb à son application, via le scenario FullTest. Ce scenario permettait notamment d’avoir une première visionde l’expérience client des utilisateurs dans des cas d’usages réels.Fort des retours positifs de cette initiative, 4Gmark a souhaité poursuivre plus loin dans l’innovation, encomplétant ou renforçant les nouveaux usages, toujours dans un souci de recherche de représentativité del’expérience client réelle.Pour cela, 4Gmark a fait évoluer son scenario complet, le « FullTest », en juillet 2014 en y apportant notamment3 nouveautés majeures, décrites ci-après.

L’application 4Gmark pour smartphone est disponible gratuitement surGoogle Play pour les terminaux Android depuis février 2013, sur AppStorepour iPhone & iPad depuis mai 2013 et sur Windows Phone depuis août 2014.Preuve de son succès, 4Gmark totalise désormais à travers le monde, plus de900 000 téléchargements sur tous les stores depuis 2 ans (65% surAndroid). Avec un total de + de 8 700 000 tests, c’est en moyenne uneutilisation toutes les 7s dans le monde. Toutes ces mesures alimentent doncnotre service temps réel participatif et nous permettent de réaliserpériodiquement une analyse plus poussée.En effectuant gratuitement leurs tests sur 4Gmark, les utilisateurs bénéficientd’une information fiable et pertinente sur la qualité de leur connexion. Ils sontinformés qu’ils participent à un projet collaboratif permettant d’alimenter unebase d’information pour la connaissance et l’amélioration de la qualité deservice.L’innovation originale du Test Complet, Full Test, permet de connaitre lescore atteint par la connexion (Smartphone, sur un réseau à un instant préciset dans des conditions propres) en effectuant un Test plus long, incluant desservices supplémentaires comme la navigation sur Internet et la mesure devidéos en streaming.Depuis septembre 2013, 4Gmark publie sur ZDNet.fr le baromètre nationalde référence « 4Gmonitor » des résultats cellulaires sur les 4 opérateurs, quicontribue à la notoriété de l’application et offre un juste retour aux utilisateursde l’application.

Un test de streaming YouTubeLe nouveau FullTest introduit un test vidéo sur la plateforme de streaming YouTube. Cetest permet notamment de mesurer le délai d’initialisation nécessaire à la vidéo pourlancer la séquence de visionnage, c’est-à-dire le temps avant lequel les premières imagesde la vidéo sont affichées. Le test mesure également les temps de lags pendant levisionnage.

Copyright 4Gmark – Etude Crowdsourcing 3ème trimestre 2015

2

Un panel de portails web internationauxLe panel de portails web a été enrichi, passant de 3 pages (Google, Wikipédia et YouTube) à plus de 20 pagesdont les séquences sont alternées pour que l’utilisateur ne tombe pas systématiquement sur les mêmes URL detest. Ce nouveau panel de tests est complété de portails web internationaux parmi les plus représentatifs del’usage des internautes : Twitter, Instagram, MSN, Alibaba, Amazon, Apple, Baidu, Bing, Ebay, Paypal,Facebook, etc…

Un test de débits sur différents types de fichiersCe nouveau système détermine quel type de fichiers sera récupéré (vidéo, audio, document, programme,archive…) lors des étapes de téléchargement des scenarios SPEEDTEST et FULLTEST de son applicationpublique.Sur l’ancien FullTest, un seul type de fichiers était téléchargeable, un fichier data avec pour extension .file.Depuis le 8 juillet, c’est 20 types de fichiers qui le sont :

L’extension .xyz ne correspond à aucun fichier connu et permet ainsi d’établir le comportement « par défaut »du réseau cellulaire. Le fichier .file est l’extension historique.La méthodologie du test de téléchargement reste inchangée, on requête un très gros fichier, et on constatel’absence ou non d’échec sec de téléchargement et le débit moyen sur 10s de transfert descendant.

ContributionVous aussi, participez au baromètre 4Gmark en téléchargeant dès maintenant l’application gratuite sur lesstores et en réalisant des tests de votre opérateur autour de chez vous :

http://get.4gmark.com


L’APPLI DE MESURES DES RESEAUX MOBILES4GMARK

3

OBJECTIF & PERIMETREETUDECette étude s’inscrit dans la continuité des statistiques présentées en cycle hebdomadaire dans le 4Gmonitorde ZDNet.fr.

ObjectifL’objectif de cette étude est d’apporter la vision « Expérience Client » d’un abonné/équipé 4G auconsommateur de data sur les réseaux cellulaires en France Métropolitaine.Ainsi, la segmentation technologique n’est plus faite entre 3G et 4G. Un opérateur cellulaire apporte sonservice autant en 4G dans les zones couvertes, qu’en 3G pour la voix (le téléphone « redescend » en 3G) maisaussi pour la data, là où la 4G n’est pas présente ou ne passe pas (la 3G ayant souvent une meilleurepénétration dans les bâtiments). C’est donc les performances (sur un terminal 4G, et donc aujourd’hui abonné4G) de la sommes de tous les réseaux qui permet de mesurer l’expérience-client (QoE) contrairement àl’approche plus technique (QoS) du réseau 4G seul. Cette approche permet de répondre à la question qui estprobablement la vôtre : « En m’abonnant chez cet opérateur, quelles sont les performances nationales qu’ilpropose si j’ai un terminal 4G ? ».

La segmentation géographiqueLa 4G, réalité commerciale, ne l’est pas encore partout et pourtous.Les opérateurs qui doivent tenir des engagements decouverture mais aussi proposer ce service le plus rapidement àplus de clients, équipent, en général, en priorité les zonesdenses. C’est donc logique que les antennes émergent avanttout dans les grandes villes, où un support fournira le servicerapidement au plus grand nombre.L’étude présente une segmentation par strate géographiqueentre :

Les 14 plus grandes agglomérations au sens de l’INSEE (agglomération de plus de 400 000habitants) dites « TOP14 ». Par exemple « L’agglomération de Paris » correspond à un ensembled’un peu plus de 400 communes du bassin de population de l’Ile de France et pas seulement à lacommune de Paris.

Les agglomérations entre 50 000 et 400 000 habitants dites « 50-400Kh » Les agglomérations entre 10 000 et 50 000 habitants dites « 10-50Kh » Les agglomérations de moins de 10 000 habitants dites « <10 Kh » Et enfin, toutes les communes hors agglomération correspondants aux zones rurales, et que l’on

dénommera tout naturellement « rural ». Il est intéressant de noter que cette strate est loin d’êtrenégligeable puisqu’elle regroupe près de 15 millions d’habitants sur un peu plus de 29 000communes (la France en compte environ 36 000)

La question que cette segmentation pose est la suivante : « Les opérateurs présentent-ils les mêmes performances pour leur réseau des « villes » et celui des « champs » ? »


4

Afin de fiabiliser les indicateurs, dans la vision nationale, chacune des strates est pondérée selon le poids depopulation qu’elle représente, ce qui respecte la pondération appliquée par l’ARCEP (Autorité de Régulationdes Communications Electroniques et des Postes) en 2015. Pour explication : dans le cas où les usagers de4Gmark d’un opérateur présentent 80% des mesures sur le TOP14, cette strate pèsera toujours pour 1/3 dansl’indice national et ce, même si les opérateurs présentent des périmètres différents.Périmètre de l’étudeLe périmètre de la présente étude est le suivant :

Dates : du 1er juillet au 30 septembre 2015 24h/24 Environnement : Android, iPhone & Windows Phone Périmètre géographique : France Métropolitaine Réseaux : les opérateurs de réseaux cellulaires Bouygues Telecom, Free, Orange & SFR Technologie : 2G/3G/4G sur terminaux compatibles 4G Utilisateurs : SIM française uniquement pas de roaming étranger, itinérance nationale comprise Serveurs : 3 hébergements en data-centers avec bande passante totale supérieurs à 20 000 Mbps.


OBJECTIFS & PERIMETREETUDE

5

COMPOSITION & QUALIFICATIONECHANTILLONL’étude est réalisée sur la base de l’ensemble des mesures géolocalisées en France et réalisées sur le 3èmetrimestre 2015 avec des smartphones 4G. L’échantillon, notamment en termes d’utilisateurs, est naturellementcomposé de la manière suivante :

Au-delà de la notion d’utilisateur, le nombre de cycles de mesures (1 cycle = 1 speedtest ou 1 fulltest) estprésenté sous-dessous pour chacun des opérateurs et par type de scenario. L’échantillon est également répartientre les différents systèmes d’exploitation smartphone avec une parité pour les 2 OS les plus répandus,Android et iPhone, suivi d’une part très minoritaire des Windows Phone.


SFRFreeBouygues Telecom Orange

Répartition des utilisateurs 4Gmark Nombre moyen de tests par utilisateur

Nombre d’utilisateurs ayant réalisés x tests

1 test2 tests

3 à 5 tests6 à 30 tests

+ 30 tests

109 313 cycles de mesures

6

RESULTATSBENCHMARKLes résultats ci-dessous sont présentés en vision national (toutes tranches/strates de population confondues) pour les abonnés/équipés 4G au 3ème trimestre 2015.Le Score du Full TestLes graphiques ci-dessous présentent la moyenne globale et l’évolution des scores obtenus sur le FullTest de4Gmark. Le Score du Full Test se veut le reflet de l'expérience utilisateur sur l'ensemble du parcours sur uneéchelle ouverte. Il est composé d'une partie performance (débits de téléchargement et d'envoi de fichiers) etd'une partie Qualité de Service (YouTube et Navigation Web), et est impacté par les échecs qui le pénalisentfortement.


Les Débits moyens des transferts de fichiers DL/ULLe graphique ci-dessous présente la moyenne globale des débits descendants et montants obtenus sur4Gmark. Le débit des tests mesurés par 4Gmark se veut le reflet de l'expérience utilisateur réelle dans leurpratique quotidienne (types de fichiers multiples, mono-thread, échanges des paquets validés, serveurscentralisés...) issue d'une méthodologie professionnelle.

7

RESULTATSBENCHMARKLe graphique ci-dessous présente l’évolution des débits descendants obtenus sur 4Gmark pour chacun desopérateurs, en MegaBits par seconde.


SFRFreeBouygues Telecom Orange

La Navigation WebLe graphique ci-dessous présente la Non-Qualité (échecs et hors délais d’affichage) mis en perspective dutemps moyen de chargement obtenu lors du chargement des 20 portails web du FullTest sur 4Gmark. Unepage est considérée hors délai si elle se charge en plus de 15s.

8

RESULTATSBENCHMARKLe Streaming YoutubeLe graphique ci-dessous présente la Non-Qualité (échecs et hors délais de chargement de la vidéo) mis enperspective du temps moyen d'attente de l’utilisateur (chargement de la video + rebufferisations en cours delecture) obtenu pour les différents vidéos de la plateforme de contenus streaming YouTube du FullTest sur4Gmark.Une vidéo de 30 secondes est considérée hors délai si elle n’est pas visualisée entièrement dans undélai de 45 secondes.


9

RESULTATS DETAILLESBOUYGUES T.


Indice 4G

Proportion de 4G perçue en moyenne par les utilisateurs

16 952points

Score moyen 4Gmark des utilisateurs Bouygues

-1 015 DL 22,8Mbps

+ 0,2Mbps

Débits DL moyens

8,4Mbps

+ 0Mbps

Débits UL moyens

UL

3,94secondes

Indice de performance web

90,7%vidéos vues en totalitéIndice de perf streaming

4G seule28,8Mbps

2G/3G5,2Mbps

Débits DL moyens par type d’usage (A l’intérieur/extérieur des bâtiments, et en situation de mobilité)

INDOOR21,3Mbps

OUTDOOR28,3Mbps

DYNAMIC32,1Mbps

Non-Qualité et performance des pages web du FullTest

Pages internet %Non-Qualité performancehttp://www.google.com 4,8% 3,2 shttp://en.m.wikipedia.org 11,3% 3,9 shttp://m.facebook.com 31,1% 2,8 shttps://mobile.twitter.com 6,2% 2,6 shttp://instagram.com 12,4% 3,9 shttp://t.msn.com 10,1% 4,9 shttp://m.youtube.com 13,7% 2,7 shttp://www.amazon.com 9,0% 3,8 shttp://m.9gag.com 13,9% 6,5 shttp://stackoverflow.com 4,0% 2,7 shttp://www.4gmark.com 5,6% 3,5 shttp://www.alibaba.com 10,6% 4,8 shttp://www.apple.com 12,8% 5,1 shttp://www.about.com 20,9% 7,0 shttp://www.baidu.com 7,7% 3,8 shttp://www.ebay.com 20,4% 4,7 shttp://www.paypal.com 4,3% 6,8 shttp://www.pinterest.com 38,8% 7,9 shttp://www.tumblr.com 6,7% 4,7 shttp://www.yandex.ru 22,6% 4,8 s

9 643points

4G seule28,8Mbps

4G seule26,1Mbps

2G/3G2,3Mbps

10

RESULTATS DETAILLESFREE


Indice 4G


Score moyen 4Gmark des utilisateurs Free

-982 DL 15,0Mbps

- 0,1Mbps

Débits DL moyens

5,2Mbps

+ 0Mbps

Débits UL moyens

UL

4,78secondes




INDOOR13,1Mbps

OUTDOOR15,4Mbps

DYNAMIC16,9Mbps


4G seule28,8Mbps

4G seule29,8Mbps

15 282points

2G/3G6,7Mbps

11

RESULTATS DETAILLESORANGE


Indice 4G


Score moyen 4Gmark des utilisateurs SFR

-482 DL 23,0Mbps

- 0,2Mbps

Débits DL moyens

7,9Mbps

- 0,4Mbps

Débits UL moyens

UL

4,43secondes




INDOOR22,4Mbps

OUTDOOR24,4Mbps

DYNAMIC21,0Mbps



4G seule28,8Mbps

4G seule15,7Mbps

2G/3G4,9Mbps

12

RESULTATS DETAILLESSFR


Indice 4G


Score moyen 4Gmark des utilisateurs SFR

-50 DL 11,3Mbps

- 0,4Mbps

Débits DL moyens

5,4Mbps

- 0,4Mbps

Débits UL moyens

UL

4,73secondes




INDOOR10,3Mbps

OUTDOOR11,7Mbps

DYNAMIC11,6Mbps

7 446points



baromètre 4gmark 3ème trimestre 2015

Technology