evaluation de la qos de linternet mobile, méthodologie et outils pour les réseaux 3g cas du maroc...

Evaluation de la QoS de l’Internet mobile,

méthodologie et outils pour les réseaux 3G

Cas du Maroc

Hassan TALIB,Vice-Chair ITU-T SG 12,

[email protected] // [email protected]

ITU Workshop on “Benchmarking QoS evaluation of Multimedia

Networks”

(Ouagadougou, Burkina Faso, 18 July 2013)

mailto:[email protected]


Plan de la présentation

Introduction : fondements QoS…Le service Internet mobile 3G au MarocTypes de mesures :

Internet mobile 3G sur PC,Internet mobile 3G sur SmartphonesMesures FTP ou HTTP

Indicateurs mesurés (Définitions)Plate-forme serveurs de mesuresOutils de mesuresConclusions et recommandations

2Ouagadougou, 18 juillet 2013

Fondements pour le suivi de la QoS/QoE à l’ANRT

l’ANRT exerce un suivi

régulier de la QoS

Un cadre réglementaire national :- Attributions- Obligations QoS

des opérateurs

Un cadre réglementaire international (normes) :- UIT-T : séries E, G, P, Y,

QoS handbook, ...- Régionales : ETSI (série

EG), IEEE,…Un benchmark des meilleurs pratiques et une veille technologique

Retour d’usage :- Plaintes,- Presse,- Associations des

consommateurs,- …

Analyse des données reçues des opérateurs en termes de performances, KPI et mesures QoE

Mesures terrain (campagnes) réalisées par

l’ANRT

3

Dispositif QoE : Portail QoE et applications téléchargées

Ouagadougou, 18 juillet 2013

Adoption d’une stratégie de communication (publication)

Fondements pour le suivi de la QoS

Mise en place d’un dispositif global de réception des KPI des opérateurs : tous réseaux et tous services

Elaboration de documents de référence convenus par tous les acteurs encadrant les mesures terrain de la QoS

Modèle complet opérationnel de données KPI selon des fréquences fixées

Externalisation maîtrisée des mesures et usage des résultats par les opérateurs


Méthodologie d’évaluation de la qualité de service QoS data pour les réseaux 3G (UMTS ou CDMA2000 sur PC ou SP) est parfaitement valable pour les réseaux mobiles de futures générations :

4G ( ), Wifi Outdoor (offloading ),…

Fondements pour le suivi de la QoS



Introduction : fondements QoS…Le service Internet mobile 3G au MarocTypes de mesures :Internet mobile 3G sur PC,Internet mobile 3G sur SmartphonesMesures FTP ou HTTPIndicateurs mesurés (Définitions)Plate-forme serveurs de mesuresOutils de mesuresConclusions et recommandations


Trois opérateurs 3G (opérateurs globaux) :Itissalat Al-Maghrib (Maroc Telecom) et Médi Telecom : technologie UMTS,Maroc connect (Wana Corporate) : technologie CDMA-2000.

Les services 3G, lancés au Maroc en mars 2007, porteront le développement de l’Internet au Maroc

Le service Internet mobile 3G au Maroc


• Le parc Internet a connu une croissance soutenue en particulier durant les quatre dernières années.

• Cette croissance est due essentiellement au développement des offres Internet mobile 3G.

• Actuellement sur plus de 4 millions d’abonnés, près de 82% utilisent les connexions 3G mobile contre 17,8% pour l’accès ADSL fixe.

12,49%

0,00%

2,00%

4,00%

6,00%

8,00%

10,00%

12,00%

14,00%

0

500000

1000000

1500000

2000000

2500000

3000000

3500000

4000000

4500000

2004 2005 2006 2007 2008 2009 2010 2011 2012 mars-13

Evolution du Parc et du Taux de pénétration de l'Internet

Parc des autres offres Internet Parc Internet 3GParc ADSL Taux de pénétration Internet

262 324399 720526 080

757 4531 186 923

1 866 963

3 182 116

113 170

3 957 0684 061 432

17.79%

82.16%

0.04%

Répartition du parc Inter-net par type d'accès (Mars

2013)

ADSL Internet 3GAutres offres Internet



Bande passante internationale et Noms de domaine

La bande passante Internet internationale a connu une croissance remarquable en 2012 de 113,83% avec une capacité de 266 000 Mbps.

Le parc des noms de domaine en «.ma» continue de croître en atteignant 48.104 comptes à fin mars 2013.

Les noms de domaines créés directement sous l’extension « .ma » dominent.

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 20120

50,000

100,000

150,000

200,000

250,000

300,000

200 310 1,2407,10011,50025,130 25,130

51,200

75,000

124,400

266,000

Evolution de la bande passante Internet internationale

Mb

ps

0

10000

20000

30000

40000

50000

60000

6741998

35865298

9476

19025

22583

25890

29450

34008

37969

42187

4680648,104

Evolution du nombre des Noms de Domaine ".ma "



Évolution de la facture moyenne Internet

La facture moyenne mensuelle par client Internet a reculé de 73% entre 2008 et 2012. Elle est de 42 DHHT à fin décembre 2012 contre 154 DHHT/mois/client à fin 2008. Pour l’Internet 3G, cette facture moyenne ressort à fin 2012, à un montant de 27 DHHT/mois/client contre 100 DHHT à fin 2008, soit une baisse de 72%. La facture Internet ADSL passe, quant à elle, de 165 DHHT/mois/client à fin 2008 à 111 DHHT à fin 2012 marquant ainsi une baisse de 33%.

2008 2009 2010 2011 20120

20

40

60

80

100

120

140

160

180

154

121

82

54

42

100

83

58

37

27

167

157

139

116111

Global Internet Internet 3G ADSL

en D

HH

T/m

ois

_ab

on

né

Inte

rnet




Introduction : fondements QoS…Le service Internet mobile 3G au MarocTypes et conditions de mesures QoS :


Indicateurs mesurésPlate-forme serveurs de mesuresOutils de mesuresConclusions et recommandations


QoS de l’Internet mobile 3G

Types et conditions de mesures QoS :Internet mobile 3G sur PC : dongles USB (prépayés ou post-payés) sur ordinateurs pour l’UMTS ou la CDMA-2000.Internet mobile 3G sur Smartphones : SIM/3G pour abonnés sur SP/tablettes uniquement pour l’UMTS. Mesures en mode FTP ou HTTP : à réaliser sur des fichiers taillés pour les mesures (Up/Dw) : 1Mo, 5Mo,…



Types et conditions de mesures QoS :Evaluation de la QoS ≠ Evaluation de la couverture.Toute mesure ne doit se faire que dans les zones déclarées couvertes à la fois par tous les opérateurs concernés : exercice d’échantillon géographique et de la carte de couverture.L’exercice de cartographie de couverture doit se faire au détail du quartier et non par ville.



Pour chaque type de mesure, quels indicateurs sont pertinents ?

Gigue, délai, débit, pertes de données,…?Objectifs pragmatiques (par enquête de satisfaction) intéressant l’expérience utilisateurs : mesurer l’accessibilité (taux et temps de connexion), la fiabilité et la rapidité (débit de transmission et de réception).Transformation de ces éléments en dix (10) indicateurs :


QoS de l’Internet mobile 3GListe des dix (10) indicateurs mesurés :

Le taux de connexions réussies : une connexion est réussie si elle est établie dans un délai inférieur à 1 minute. Le taux de connexions réussies est calculé sur la base de l’ensemble des mesures réalisées.Le taux de connexions réussies dans un délai inférieur à 10 secondes : le taux de connexions réussies dans un délai inférieur à 10 secondes est calculé sur la base de l’ensemble des mesures réalisées.Le taux de fichiers de 1 Mo envoyés dans un délai inférieur à 2 minutes : un fichier est considéré comme envoyé si le fichier est envoyé intégralement dans un délai Dmax et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers envoyés.Le taux de fichiers de 5 Mo reçus dans un délai inférieur à 5 minutes : un fichier est considéré comme reçu si le fichier est reçu intégralement et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers téléchargés.



Liste des dix (10) indicateurs mesurés :

Le débit de données atteint pour 90% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 90 % des fichiers envoyés.Le débit de données atteint pour 50% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 50 % des fichiers envoyés.Le débit de données atteint pour 10% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 10 % des fichiers envoyés.



Liste des dix (10) indicateurs mesurés :

Le débit de données atteint pour 90% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 90 % des fichiers envoyés.Le débit de données atteint pour 50% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 50 % des fichiers envoyés.Le débit de données atteint pour 10% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 10 % des fichiers envoyés.



Indicateurs mesurés :

Précisions importantes :Le débit pour les réseaux 3G est un débit partagé entre les utilisateurs. Le débit réel (exploité) est toujours inférieur au débit théorique (commercialisé). C’est une considération technologique.Mais, ce débit est mesurable pour tous les opérateurs à travers le même dispositif.


QoS de l’Internet mobile 3GIndicateur supplémentaire : TUDCLe taux d’usage du débit contractuel (TUDC) correspond au rapport du débit utilisé (observé) au débit contractuel (commercialisé) auprès de l’opérateur concerné. Ce rapport est exprimé en pourcentage.

Un exemple réel pour un réseau 3G :

48.83%

36.23%41.80%

31.64%

54.10%

24.61%

39.53%

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

80.00%

90.00%

100.00%

Casablanca Rabat Agadir Marrakech Fès Tanger Moyenne nationale

Débits observés/ Débits commercialisés (en %)(Débit atteint par 50% des fichiers reçus)



Plate-forme serveurs de mesures :Mesurer les performances d’un réseau Internet mobile 3G, c’est mesurer la QoS d’une connexion à travers ce réseau entre un terminal et un serveur de données.Plusieurs facteurs extérieurs peuvent impacter un des segments du chemin de test. D’où la contestation des résultats de mesures par l’opérateur concerné.Option de mesures avec un serveur international est à écarter.



Plate-forme serveurs de mesures :Problème : inexistence de serveur (chez les hébergeurs), au niveau national, connecté à la fois à tous les réseaux par une capacité supérieure à l’offre de débit le plus élevé !!!

Solution : conception d’une plate-forme de serveurs de mesures au niveau des locaux du régulateur. Les capacités des liens sont supérieures au débits mesurés (Exemple 10Mb/s pour mesurer 7,2Mb/s et 20Mb/s pour mesurer 14,4Mb/s).


QoS de l’Internet mobile 3GPlate-forme serveurs :

Tous les fichiers tests sont installés dans chaque serveur de la plate-forme connecté par FO au réseau 3G de l’opérateur.



Outils de mesures (Précautions)Equipements terminaux (PC, SP et dongles/USB) , critères de choix :

Choisir parmi les modèles industriels les plus utilisés dans le marché national,Ayant des performances ne bridant en aucun cas les débits supérieurs mesurés. Pour les PC (OS, firewalls, antivirus,…) et pour les terminaux (Twindowsize ,MTU, CPU , RAM,…).



Outils de mesures (Précautions)Profils d’abonnements utilisés :

Post-payé ou prépayé.Attention aux downgrade de débit si le volume de téléchargement atteint les seuils. Les tests sur les SP doivent se faire en mode forcé 3G et non en dual (éviter confusion GPRS ou EDGE).Pour chaque opérateur (un serveur et un lien) une seule mesure est à faire à la fois.



Outils de mesuresApplication logicielle (Agents installés dans les terminaux : PC et SP) :

A chaque connexion data, l’application remonte des informations permettant le calcul automatique de tous les indicateurs de QoS de la connexion (niveau de champs, SC, échecs, succès,…) ainsi que la position GPS.L’application permet de stocker directement et automatiquement tous les résultats (indicateurs) dans un serveur qui centralise la préparation des rapports nécessaires dans le cadre de portail dédié.





Indicateurs mesurésPlate-forme serveurs de mesuresEquipements terminauxConclusions et recommandations


Conclusions et Recommandations

Recommandation n°1Concertation permanente avec les opérateurs en amant sur la méthodologie. Adoption d’une démarche concertée de référence pour le suivi.

Recommandation n°2Aucun des opérateurs n’est informé sur les sites des mesures ni sur la période.



Recommandation n°3Réaliser un nombre important de mesures QoS à blanc, avec les mêmes outils que ceux utilisés dans les campagnes réelles de mesures et de préférence en présence des représentants des opérateurs concernés par les mesures (Minimiser à savoir éliminer toute contestation potentielle des opérateurs).



Recommandation n°4Mesures pour les opérateurs : usage positif des résultats par les opérateurs (usage de la plate-forme serveurs de tests//objectif potentiel financement des campagnes par les opérateurs).

Recommandation n°5Publier les résultats (comparatifs), adopter une stratégie de communication et considérer les sanctions pour les anomalies comme dernier recourt.



Recommandation n°5 (suite)Publication des résultats de mesures :

1ère campagne voix sur un échantillon large (trentaine de villes et points de concentration aéroports, centres touristiques…).1er trimestre de l’année

2ème campagne similaire à la première basée pratiquement sur le même échantillon.4ème trimestre de l’année

Communication des résultats aux opérateurs

Délai de 5 à 6 mois pourcorrection des anomalies

identifiées par l’ANRT

34

(Publication des résultats et

communication)Ouagadougou, 18 juillet 2013

Merci pour votre attentionQuestions/Réponses

[email protected] // [email protected]




evaluation de la qos de linternet mobile, méthodologie et outils pour les réseaux 3g cas du maroc...

Documents