forum régional de normalisation de l'uit pour l'afrique? (kampala, ouganda, 23-25 juin...

Version : 11 December 2008

Forum régional de normalisation de l'UIT pour l'Afrique? (Kampala, Ouganda, 23-25 Juin 2014)

Cadre mobile de la QoS : Compteurs, KPI, KQI

Joachim Pomy

[email protected], Germany

Kampala - Uganda - 23 - 25 June 2014 2

Cadre mobile de la QoS : Compteurs, KPI, KQI Nouveau travail de UIT-T sur la qualité de service mobile approche multidimensionnelle - Sélection de paramètres mobiles de la QoS perçues par l'utilisateur Les scénarios de test et les points de déclenchement évaluation de la qualité vocale – Test du conducteur Statistiques - Présentation des résultats compteurs, KPI, KQI

ITRs: Setting the stage for a connected world

[Contenu]


Travaux de l'UIT-T sur la qualité de service mobile (1) mobile KPI

centrée sur l'équipement / infrastructure agrégation des compteurs de réseaux de propriétaires non normalisé Nouveaux travaux de l'UIT-T sur la qualité de service mobile Projet de nouvelle Recommandation E.803 Aspects QoS pour les services populaires de réseaux mobiles Projet de nouveau Supplément E-800 série Suppl. 9 Lignes directrices sur les aspects réglementaires de la QoS D'autres Recommandations de l'UIT-T sur la couverture de la qualité de service les aspects des exigences Terminales aspects de la qualité de bout en bout Aspects de la perception des usagers




[Contenu]


Cadre mobile de la QoS : Compteurs, KPI, KQI –R+

Nouveaux travaux de l’UIT-T sur la qualité de service mobile approche multidimensionnelle - Sélection de paramètres mobile de la QoS perçus par l'utilisateur Les scénarios de test et les points de déclenchement évaluation de la qualité vocale - Test du conducteur Statistiques - Présentation des résultats compteurs, KPI, KQI


Couches QoS du mobile

Netw orkAccessibility

c ircuitsw itched

packetsw itched

ServiceAccessibility

ServiceIntegrity

ServiceRetainability

TelephonySMS

PingFile

TransferMMS

Netw orkAvailability

VideoTelephony

E-Mail

WebBrow sing

StreamingPoC

MobileBroadcast

Layer 2

Layer 3

Layer 4

Layer 1


Couches QoS du mobile(1) Si nous suivons l'approche

multidimensionnelle mettant l'accent sur des événements qui peuvent être perçus par l'utilisateur mettant l'accent sur la plupart des services pertinents sur le marché

Téléphonie , SMS , MMS

Vidéo téléphonie Video streaming Navigation sur le

WEB


QoS du mobile par couches(2 )

couche 1 Indisponibilité du réseau radio [%]

couche2 Sélection du réseau et de l'enregistrement de Ratio d’échec [de%]


QoS du mobile par couches (3)

couche de téléphonie 3 Non accessibilité du service de téléphonie [%] couche de téléphonie 4 Temps d'installation de la Téléphonie [s] Ratio d’interruption d’appel [%]


QoS du mobile par couches 4

SMS Layer 3 Non accessibilité du service SMS [%] SMS couche 4 Délai de livraison bout en bout de SMS[s] Ratio d’échec d’achèvement de SMS [%]



MMS couche 3 Ratio d’échec d’envoi de SMS [de%] MMS couche 4 Temps de livraison de bout en bout [s] Ratio d’échec de MMS de bout en bout [%]



Vidéo téléphonie couche3 Non accessibilité du service VT [%] Vidéo téléphonie couche 4 Temps d'installation de la vidéo / Audio VT[s] Ratio de rupture d’appel VT [%]



Video streaming couche 3 Non accessibilité du service streaming [%] Couche 4: Temps d’accès au service streaming [s] ratio de coupure de reproduction streaming [%]



Navigation du WEB HTTP couche3 Non accessibilité du service HTTP[%] Navigation sur le WEB couche 4

Temps d'installation HTTP[s] Ratio d’échec de la session HTTP [%] Ratio de coupure du transfert de données HTTP [%]



Cette approche nous amenerait à terminer avec une valeur superieure à 20 paramètres de QoS Tous sont relatifs aux évènements perçus par l’utilisateur Mais c'est juste de paramètres bout en bout Beaucoup plus de paramètres sont définis pour les événements liés aux segments de réseau, la main libre etc




[Contenu]


Test Scenarios

Les tests de scénarios doivent distinguer les cas d'utilisation principaux suivants services d'utilisateur à utilisateur (généralement téléphonie) services de stockage-et –d’expédition (par exemple SMS) Les services d'information (par exemple, l'accès à l'Internet ou le téléchargement FTP) services Push (transfert initié de l’expéditeur)


Considérations sur les points de déclenchement

On peut supposer que tout équipement de test possible contiendra une sorte de terminal de communication (UE) qui peut être un type particulier (par exemple une trace de téléphone) ou une norme UE En outre, on peut supposer que chaque dispositif fournira des informations à partir de différentes couches de communication de couche d’application (à proximité de l'interface d’utilisateur) vers les couches inférieures, par exemple des événements du système d'exploitation, la couche TCP / IP ou de la couche 3 des informations de signalisation, qui est utilisé comme points de déclenchement pour le traitement des paramètres de QoS En général les commandes AT peut être utilisé dans la majorité des cas action est généralement déclenché par une action de l'utilisateur entrainé provoquant une action sur l'interface air


Considerations on trigger points

Le processus de propagation de l'événement est déterministe permettant un type de correspondance entre les couches associée à la communication et le retard de traitement dans chaque étape. Choix de la couche pour la sauvegarde du point de déclenchement de l’information détermine le point de vue exprimé dans un paramètre de qualité de service le choix des événements de niveau inférieur (niveau 3) donne plus de vue centré sur le réseau Les événements sur des niveaux plus élevés pour produire des vues plus liées à l'utilisateur Car une même couche de source de paramètres QoS pour les événements utilisés comme points de déclenchement devrait être le même Dans le benchmarking, pour tous les réseaux en cours de test utilise le même type de UE, et des paramètres de QoS utilise les points de déclenchement à partir de la même couche. Modification de la couche source pour un point de déclenchement donné Les changements dans les paramètres de qualité de service doivent être attendus Les mesures d'étalonnage requis Pour évaluer l'influence sur des paramètres de QoS à la fois quantitativement et qualitativement. .




[Contenu]


Telephony Measurements in the Network (1)

définition de transaction et types de transaction L'opération de base pour les tests de la téléphonie est équivalent à un seul appel à un poste d’interlocuteur. Il est supposé que l'interlocuteur est généralement une extension de type de réseau fixe pour éviter les incertitudes liées à une deuxième connexion mobile. Le Type est soit d un téléphone mobile (MO) ou d’un Terminal mobile (MT). Il est supposé qu’ une fois qu'une connexion a été établie, pour d'autres mesures, peu importe quel côté l’a déclenché. Par conséquent, le paramètre de flux de données audio ne sera pas logiquement lié au type d'appel.



La qualité du contenu Les données d'évaluation de la qualité du contenu généré à l'extrémité de réception Pour le contenu en liaison descendante , le stockage de données est simple Pour le contenu en liaison montante , à un certain point dans le temps, les résultats doivent être intégrés Pour évaluer la qualité du contenu des échantillons complets de parole transmis, au moins les méthodes suivantes sont possibles:



qualité de contenu (ctd.) L’évaluation en temps réel mode streaming algorithme d'évaluation de la qualité de la parole détermine MOS-LQO en temps réel L’ évaluation Offline contenu d'abord enregistré Pour être traité plus tard Le traitement des données doit assurer que les données de qualité de contenu uniquement valable sont traitées l'intérieur de la fenêtre de temps "de connexion active"



Vérification des connexions bidirectionnelles utilisables Seuls les appels avec une connexion bidirectionnelle valide de bout en bout doivent être pris en considération pour l'évaluation de la qualité du contenu (appels valides). appels non valides traités comme des appels perdus avec indicateur pour cette cause particulière


Hot Topic:POLQA™ - Rec. P.863 (1)


POLQA™ - Rec. P.863 (2)

Le nouveau POLQA, lauréat de la norme des compétitions techniques rigoureuses

Réalisée par l'UIT-T pour définir la mise à jour de la technologie pour PESQ/P.862 PESQ était l'état de l'art dans presque tous les services de télécommunications à l'échelle mondiale POLQA - évaluation de la qualité d'écoute "objective et perceptive " – offre un nouveau niveau de capacité d'analyse comparative pour déterminer la qualité de la voix de services du réseau mobile


POLQA™ - Rec. P.863 (5)

Les limites des normes existantes qui sont maintenant traitées par POLQA CDMA 3G TD-SCDMA POLQA offrira également un soutien fort et immédiat pour l'essai de nouveaux réseaux à large bande 4G/LTE qui fournissent des services vocaux de qualité HD Les essais effectués lors de l'évaluation de POLQA incluent des technologies futures telles que Les communications unifiées Réseaux Next Gen 4G/LTE HD Voice, c'est à dire "à large bande" et "super-large-bande" Voir POLQA: The Next Generation dans les essais de la qualité vocale http://www.polqa.info

Kampala - Uganda - 23 - 25 June 2014 29POLQA Introduction - (c) OPTICOM GmbH 2010 29

Validation de la performance

• The ITU has validated POLQA on:

• Languages included in the POLQA validation:

• German • Swiss German• Italian,• Japanese,• Swedish

• American English and British English

• Chinese (Mandarin),• Czech,• Dutch,• French,

• 47000 file pairs across

• 64 subjective experiments




[Contenu]


Les intervalles de confiance pour les différents différentes tailles d’échantillon (1)

L’effet de différentes tailles d'échantillon dans une campagne de mesure basé sur les formules Pearson-Clopper pour le calcul des intervalles de confiance valide d'une manière générique et même pour de petits échantillons pour les numéros d'échantillonnage plus élevées, le calcul des intervalles de confiance sur la base de l'approximation d'une distribution normale peut être appliqué Trois graphiques différents sont représentés: La taille des échantillons dans la gamme: entre 100 et 1 100 échantillons; entre 1 100 et 2 100 échantillons; et entre 1 000 et 11 000 échantillons


Confidence Intervalls for Different Sample Sizes (2)

0 20 40 60 80 100

05

10

15

20

25

30

Width of confidence interval for fixed sample size (Pearson-Clopper)

Estimated rate in percent

Wid

th o

f co

nfid

enc

e in

terv

al i

n pe

rce

nt

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+o

oo

oooooooooooooooooooooooooooooooooooooooooooooo

o

ox

xx

xx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x++

++++++++++++++++++++++++++++++++++++++++++++++++

+

ox+ox+

100 Samples300 Samples500 Samples700 Samples900 Samples1100 Samples



0 20 40 60 80 100

01

23

45

67



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

x

x

x

xx

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxxx

xx

xx

xx

x

x

x

x

x+

+

+

++

++

++

++

++++++++++++++++++++++++++++

++

++

++

++

+

+

+

+o

o

o

oo

oo

oo

oo

oooooooooooooooooooooooooooooo

oo

oo

oo

o

o

o

ox

x

x

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xx

xx

xx

xx

x

x

x

x+

+

+

++

++

++

++++++++++++++++++++++++++++++++

++

++

++

+

+

+

+

ox+ox+




0 20 40 60 80 100

02

46

81

0



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+0

00

0000000000000000000000000000000000000000000000

0

0x

xxxx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x+

++++++++++++++++++++++++++++++++++++++++++++++++

+

+

ox+ox+



Rapport des résultats (1)

Quels éléments d'informations devrait-on donnée au lecteur lors de la génération d'un rapport d'essai? Lorsque les valeurs quantiles sont utilisées, il convient de garder à l'esprit que le calcul des quantiles sépare un faible pourcentage de données aberrantes des données restantes. Cela signifie: Si des valeurs inférieures représentent un meilleur résultat du point de vue du client, un faible pourcentage contenant les valeurs les plus élevées pourrait être séparé par le calcul d'un quantile à 95% ou 90% quantile. C'est le cas par exemple pour les valeurs de durée.


Rapport des résultats (2)

Si des valeurs plus élevées représentent un meilleur résultat du point de vue du client, un faible pourcentage contenant les valeurs les plus faibles pourrait être séparé par le calcul d'un 5%-quantile ou 10% quantile. C'est le cas par exemple pour les valeurs de débit. Liés à la qualité du contenu, le calcul quantile approprié s'oriente sur l'échelle des résultats des tests déterminés. Dans la pratique, certains algorithmes définissent une valeur de 0 sur une échelle de 0 à 5 comme la meilleure qualité alors que d'autres définissent la valeur de 5, comme la qualité la plus élevée possible




[Contenu]


KPI basés sur les compteurs de réseau

Vendeur Spécifique = KPI interne au réseau spécifiques différentes stratégies comment compter les événements du réseau Quels événements sont inclus dans tel ou tel compteur (s) nécessite des connaissances de système spécifique spécialistes ayant une connaissance détaillée du système tester les compteurs La documentation peut être défectueuse L’approche pour compter les changements avec la mise à jour du système Les opérateurs mobiles aux prises avec ce système La plupart des opérateurs vivent dans un environnement multi-fournisseur Les compteurs de différents fournisseurs ne peuvent pas être directement comparés exigent une attention continue et une stratégie


KPI du point de vue de l’utilisateur = KQIs

Les indicateurs clés de qualité (KQIs) = indicateurs externes peuvent être évalués dans le domaine Pour le suivi, règlement, etc…. un sous-ensemble peut être sélectionné applicable à tous les fournisseurs et opérateurs ne se limite pas au mobile, mais aussi bon pour le haut débit


KPI contre KQIs

Parfois confondu KPI = indicateurs internes La partie des performances du réseau basée sur des compteurs de réseau essentiel pour le fonctionnement, l'entretien, le modèle d'affaires peut être reporté, vérifié etc. Toutefois, insignifiant hors contexte KQIs = indicateurs externes base de l'évaluation de qualité de service perçue par l'utilisateur fournisseur indépendant opérateur indépendant idéal pour comparer les différents opérateurs sur une base statistique ne peuvent être reportés dans le système lui-même exige une sorte de test sur le terrain, en voiture, à pied, etc….


Toutes questions ?

Contact:[email protected]

forum régional de normalisation de l'uit pour l'afrique? (kampala, ouganda, 23-25 juin...

Documents