summary of results study period 2005-2008 commission d'etude 12 de l'uit-t qualité de...

InternationalTelecommunicationUnion

2

ITU-T Study Group 12Performance and Quality of Service

Sommaire

Termes of référencePrincipaux résultatsFutures activitésConclusions

Diapositives complémentaires


3


Termes of RéférenceResponsable des études se rapportant à la Responsable des études se rapportant à la qualité de qualité de transmission de bout en bout des terminaux et des transmission de bout en bout des terminaux et des réseauxréseaux, en rapport avec , en rapport avec la qualité perçue et la qualité perçue et l'acceptabilité par l'utilisateurl'acceptabilité par l'utilisateur des applications de texte, des applications de texte, de données, de parole et multimedias. de données, de parole et multimedias. Bien que les travaux couvrent les incidences Bien que les travaux couvrent les incidences correspondantes sur la transmission pour tous les réseaux correspondantes sur la transmission pour tous les réseaux et terminaux de télécommunication, une attention et terminaux de télécommunication, une attention particulière sera accordée à la particulière sera accordée à la qualité de service IPqualité de service IP, , à à l'interopérabilitél'interopérabilité et aux conséquences pour les réseaux et aux conséquences pour les réseaux NGN, ainsi qu'aux travaux sur la NGN, ainsi qu'aux travaux sur la gestion de la qualité de gestion de la qualité de fonctionnement et des ressourcesfonctionnement et des ressources..

Commission d'études directrice pour la qualité de service et de fonctionnement.


4


Résultats majeurs (I)

Nouvelle Recommandation P.505 " One-view visualisation of quality" "Quality Pie"

Les méthodologies de test pour l'évaluation subjective de la parole et de l'audio sont en permanente évolution afin de prendre en compte les nouveaux services et les nouveaux environnements.

La CE12 assure l'évaluation de la qualité des Codeurs (26 plans de test et 15 rapports de test) en collaboration avec la CE16.Nouvelle Recommandation P.805 pour les essais de conversation.

La création de 2 Groupes spécialisés pour la communication des véhicules FITCAR (clos en Janv.2008) et CARCOM(ouvert en Juin 2008

Round RobinTest sur l'impédance des oreilles Humain/artificielle révision de la Rec. P.57


5


Résultats majeurs (II)Un des domaines principaux sur lequel CE12 joue un role de

leader global est le développement de modèles de qualité et d'outils pour l'évaluation de la qualité de parole, mais aussi pour les services de données et multimédia.

Recommandation G.107 ("Modèle E") est mise à jour régulièrement. Une des évolutions majeures récentes est de traiter la parole en bande élargie.

Modèles Perceptuels pour la parole en bande étroite et bande élargie

– La Série de Recommandations P.862 fournit un ensemble complet de modèles et de guides sur les bonnes façons de les utiliser . Ces types de modèles nécessitent l'utilisation de signaux de test de référence.

– P.862.2 Extension à la Bande Elargie à la Recommandation P.862

– P.862.3 Application guide for objective Quality Measurement based on Recommendation P.862


6


Résultats majeurs (III)

Modèles de Qualité "En service sans intrusion", sans signal de référence.

Recommandation P.564, qui a également évolué pour couvrir la parole en bande élargie, spécifie les critères minimums pour les modèles d'évaluation de qualité objective de la parole afin de prédire les impacts des dégradations observées sur les réseaux IP sur la qualité monodirectionnelle perçue par l'utilisateur final pour les applications téléphoniques basées sur IP/UDP/RTP.

Un appel pour proposition a été publié pour P.NAMS (Non Intrusive assessment of performance for video streaming) 2009


7


Résultats majeurs (IV)Des recommandations pour d'autres média que la parole, par exemple, pour le visiophone (G.1070) and pour le multimédia (G.1050).

– G.1070 fournit un algorithme estimant la qualité du visiophone pour utilisation par les plannificateurs de QoS/QoE afin d'assurer la satisfaction de l'utilisateur.

– G.1050 Une modélisation de réseau pour évaluer la qualité de transmission multimedia sur IP; elle est basée sur des modèles statistiques basés sur un large éventail de configurations connues de réseaux.

Recommandation G.1030 qui fournit un modèle perceptuel pour "web browsing" et définit un cadre d'outils pour l'estimation de la qualité de transmission IP de bout en bout pour les applications des utilisateurs.


8


Résultats majeurs (V)Une des plus populaires Recommandations (Y.1541), initiée dans la CE13, a été complétée à plusieurs reprises par la CE12 afin de couvrir de nouveaux services et média,

– e.g. Appendice VIII sur les effets de la qualité de transmission de réseaux IP sur la Qualité de Service pour la télévion numérique.

Cette Recommandation fondamentale devrait être au coeur pour assurer la QoS de bout en bout pour l'interopérabilité.

L'ensemble de Recommandations existances a été complété par Y.1542, "a Framework for achieving End-to-End Performance objectives", lié à la Rec. Y.1541.


9


Résultats majeurs (VI)Les Experts et Officiels de la CE12 ont été actifs dans des Groupes Spécialisés et plusieurs Recommandations ont été développées: FG-IPTV-GSI (G.1080 and 1081 ont été adoptées et deux autres Recs pour la surveillance sont en développement), FG-NGN-GSI (Y.1542 a été adopté, TR-NGN.QoS et TR-NGN.NHNperf sont en développement).Une nouvelle recommandation relative à Ethernet performance, la Recommandation Y.1563 "Ethernet frame transfer and availability performance" a été soumise en AAP en mai 2008.

Pour les "SLA" (service level agreements), G.1040 fournit des métriques de qualité de fonctionnement utilisables par les fournisseurs de service de réseaux.


10


Futures activités (I)Pour la parole et l'audio, les sujets majeurs sont "l'extension de bande passante" (à la "super bande élargie" et à mla "bande audio entière") et la "perception binaurale". conséquences sur la sonie, la modèlisation de l'écoute

binaurale, les interfaces acoustiques (pour les terminaux et les équipements de test telles que bouche et oreilles artificielles) ainsi que sur les méthodologies de tests (subjectifs et objectifs).

Résultats issus du FG CARCOM : au moins une spécification pour la communication en bande élargie avec les automobiles.

Il sera nécessaire d'identifier les attentes des utilisateurs en matière de qualité de service ainsi que les métriques associés pour la qualité audio, video, texte, graphique.

Améliorer l'accessibilité des services.


11


Futures activités (II)Besoins de l'Industrie pour l'évaluation de tous les types de média. CE 12 va poursuivre ses activités sur la qualité audiovisuelle, les mesures de qualité visuelle et multimedia dans les services de télécommunication.

Ce travail est réalisé en étroite collaboration avec VQEG.CE12, acteur majeur pour le développement de la modélisation de la qualité pour la parole. Ce role devrait être renforcé par les activités telles que

développement de modèles perceptuels et paramétriques pour la parole, l'audio, le multimédia et la vidéo,

Guides pour l'application des outils de mesure. Cadre pour les fonctions de diagnostic et leurs

intéractions avec les modèles objectifs prédisant la qualité des média.

Aspect opérationnels pour la QoS, en particulier en direction des Pays en Développement.


12


Futures activités (III)Modèles de Qualité modèles – Le futur proche- De nouveaux modèles objectifs pour les prédictions de la qualité sont programmées pour l'évaluation de la qualité vocale (P.OLQA) à la fin de 2009 (un appel à proposition déjà émis) et pour la prédiction objective de la qualité de parole en présence de bruit (P.ONRA). - Les cadres permettant de définir un modèle de qualité pour les conversations vocales ont été approuvés.- Concernant le multimédia, l'appel à proposition a été émis Nouvelle Recommandation P.NAMS planifié pour 2009L'étape suivante: P.NBAMS un modèle sans intrusion basé sur le flux numérique pour l'évaluation de la qualité de "streaming" multimédia.QoE, QoS et Perf pour le multimédia (TVIP, HN)

G.OMVAS “Opinion Model for Video and Audio Streaming applications”

Recs. Sur le controle de la qualité TVIP( G. 1081,…)


13


Futures activités (IV)NGN améliorer l'interfonctionnement et l'interopérabilité de la performance multimédia de bout en bout ainsi que d'étudier (et résoudre) les incidences des fonctions d'interfonctionnement. Déterminer l'attribution statique et dynamique des objectifs de performance entre les réseaux et les technologies. Examiner l'opportunité d'attribuer des objectifs numériques des classes 6 et 7 provisoires de QoS sur IP visées dans la Recommandation Y.1541.

– e.g. pour les systèmes vidéo MPEG-4. et divers systèmes audio.

Problème urgent à traiter la disponibilité du service IP applicable dans l'environnement de l'opérateur de réseaux. Globalement, pour la QoS, la QoE et la qualité de fonctionnement, la CE 12 prévoit d'apporter une importante contribution pour améliorer l'interopérabilité et la convergence des services et des réseaux.


14


Futures activités (V)Globalement, les études se poursuivront sur la qualité de fonctionnement pour tout l'arsenal technologique, et sur la qualité de fonctionnement des réseaux utilisant les technologies nouvelles. Des progrès devraient être également faits sur les paramètres de qualité de fonctionnement grâce à une évaluation des modifications de l'espacement entre les paquets/trames pendant le transfert.Pour la QoS, la QoE et la qualité de fonctionnement, la CE 12 prévoit d'apporter une importante contribution pour améliorer l'interopérabilité et la convergence des services et des réseaux.


15


ConclusionPour tenir compte des projets futurs, il est proposé de donner à la Commission d'études la nouvelle dénomination suivante: "Qualité de fonctionnement, QoS et QoE", et de fixer son mandat comme suit:

– "La Commission d'études 12 est chargée des Recommandations sur la qualité de fonctionnement, la QoS et la QoE pour l'ensemble de la gamme des terminaux, réseaux et services depuis la phonie sur des réseaux fixes à circuits jusqu'aux applications multimédias sur des réseaux mobiles et par paquets.

– Une attention particulière est accordée à l'interopérabilité pour garantir la satisfaction des utilisateurs de bout en bout.

La CE 12 est la Commission d'études directrice pour la QoS et la QoE."


16


Diapositives Supplémentaires

Equipe de PilotageStructure et rôlesGroupes de travailStatistiquesAtelierPlaquette sur la QoS/QoE


17


Equipe de Pilotage

Judit Katona Kiss, TSB

Klemens Adler (G)

VP & Pres GT2/12

Chuck Dvorak (US) VP & Resp. CE Directrice

Gérald Lecucq (F)Co-Pres. GT1/12

Paul Coverdale (Ca)VP & Pres GT3/12Catherine

Quinquis (F)Co-PresGT1/12

Absent:Jean-Jacques Massima-Landji (Gabon) VP

JY Monfort ,Pres. CE, a pris la photo


18


Structure de la Commission d'Etude

GT1 Telephonométrie, Terminaux et évaluation SubjectiveDéveloppe des Recommandations sur les têtes/oreilles/bouches/signaux artificiels et sur les méthodes d'essai associéesDéveloppe les méthodes d'évaluation subjective et les plans de test

GT2 Performance, Plannification et OutilsDéveloppe des modèles de qualité pour la parole et le multimédia models (Modèle-E, Modèles Perceptifs, INMD,…)

GT3 QoS rel. à IP et gestion des ressources Definit les paramètres et les modèles pour les Classes de QoS et pour la qualité de fonctionnement des réseaux IP. Développe des cadres pour la QoS relative à l'IP


19


Créations de la CE12Groupes spécialisés FITCAR et CARCOMA l'issue de 5 réunions, la spécification sur les charactéristiques et des méthodes d'essai pour les terminaux en bande étroite installés dans les véhicules automobiles a été finalisée par FITCAR. La spécification a été soumise à la CE12. La nouvelle Recommandation P.1100, basé sur la spécification produite par le Groupe Spécialisé FITCAR, a été adoptée par la CE12 lors de sa dernière réunion.Le nouveau Groupe Spécialisé CARCOM est focalisé en particulier sur la parole en Bande Elargie

APSC-TelemovThe Advisory Panel for Standards Cooperation on Telecommunications related to Motor Vehicles - APSC TELEMOV- a été créé à la fin de la précédente période d'étude à l'issue des conclusions du Workshop on Standardization in Telecommunication for Motor Vehicles et a pour objet la coopération sur tous les aspects de la normalisation relative aux communications à l'intérieur et entre véhicules automobiles.


20


Créations de la CE12

Groupe régional de la CE12 pour l'AfriquePour encourager une participation des régulateurs et opérateurs africains dans les travaux de la CE12, et dans la mise en oeuvre des Recommandations de l'UIT-T dans les domaines de Performance/QoS et QoE…JRG on Multimedia Quality assessment a été créé entre CE12 et CE9 en 2004 avec l'objectif une participation conjointe de l'UIT-T au sein de VQEG. Le travail du JRG a agit avec succès sur les aspects de qualité Multimédia au sein du "VQEG Multimedia (MMQA) working group".


21


WP 1 /12 – Telephonometry, terminalsand Subjective assessment

Q.4/12

Q.5/12

Hands-Free communications in vehiclesMr H.W. Gierlich

Telephonometrics methodologies for handsets and headset terminals Mr L. Madec

Q.7/12 Methods, tools and test plans for the subjective assessment… Mr P. Usai and Mrs C. Quinquis

Q.3/12

Analysis methods using complex measurement signals…. Mr H.W. Gierlich

Q.6/12

Speech transmission characteristics of speech terminals … Mr Shi

Denian


22


WP 2/12 – Performance, Planning and Tools

Q.9/12

Q.10/12

Perceptual-based objective methods for voice, audio and visual quality… Mr J. Berger

Transmission planning and performance considerations… Mr V. Siply

Q.20/12 Objective assessment of conversational speech Quality in networks Mr J. Pomy

Objective assessment of conversational speech Quality in networks Mr J. Pomy

Q.8/12

In-Service Non Intrusive Assessment of voice transmission performance Mr V. Barriac

Q.14/12

Extension of the E-Model Mrs U. Jekosch and Mr S. Möller

Q.12/12Performance evaluation of services based on speech technology Mr S.Möller&MrA. Raake


23


WP 3/12 – IP-Related QoS andRessource management

Q.13/12

Q.16/12

IP based multimedia services end to end transm. planning …. M. J. Pomy

IPTV and multimedia QoE/QoS performance requirements and assessment methods A. Takahashi

IPTV and multimedia QoE/QoS performance requirements and assessment methods A. Takahashi

Q.19/12

Performance of IP-based networks Mr A. Morton -Mr H.

Kim(associate)

Speech transmission Charact. And Meas.methods for IP terminals and gateways Mr U. Brunner

Q.11/12

Broadband and IP-related resource management Mr D. Mustill

Q.17/12

Call processing performance Call processing performance

Q.2/12


24


StatistiquesAu cours de la Période d'étude, la CE12 a examiné un total de 364 contributionsSur la base de ces documents et d'un millier de Documents Temporaires, la Commission d'étude 12 a:– produit 21 nouvelles Recommandations;– amendé/revisé 23 Recommandations;– developpé 1 Supplément,– developpé 27 Plans de Test et 15 Rapports de Test dans le cadre d'une collaboration très fructueuse avec la CE16 de l'UIT-T pour les codeurs de parole et audio.


25


Ateliers organisés par la CE12 (I)

End-to-End QoS-QoE / 14-16 Juin 2006 / Genève

http://www.itu.int/ITU-T/worksem/qos/200606/index.htmlOrganisé par CE12 avec la collaboration de CE2 et CE16

The sessions were dedicated to Inter-domain QoS, Interoperability testing and terminal issues, Home Networking QoS/QoE, Quality of Experience (QoE) of new services, NGN-related QoS and the accumulation of network impairements, and Quality prediction

This workshop brought together more than 100 experts from all over the world who are involved in the definition and the delivery of end-to-end quality of experience (QoE) and quality of service (QoS).


26


Ateliers organisés par CE12 (II)From Speech to Audio/10-12 Sept 2008/Lannion, France

http://www.itu.int/ITU-T/worksem/speechaudio/index.html

The workshop was organized by WP1/12 and involved participants from ITU-T SG12, SG16, ITU-R 6C. Representatives of ETSI STQ, 3GPP SA4 also joint the workshop that was supported by France Telecom, Alcatel Lucent and DEGA (the German acoustical society)

L'atelier a été très productif et a proposé ces actions

- Améliorer le dialogue entre les universités, les organismes de normalisation et l'industrie.

Idées pour améliorer cette collab. Ont été émisesIl faut maintenant les implanter

-Produire des éléments pour développer de nouvelles méthodologies couvrant la bande auditive entière, depuis la bande étroite, jusqu'à 20-20000Hz nouvelles Recommandations-.Il y a un besoin évident d'améliorer la collaboration entre les secteurs T et R pour la qualité audio.

Keynote Speakers

Pr. J. BlauertBochum Univ.

Pr. S. MeunierUniv. Aix-Marseille


27


Ateliers soutenus par la CE12The Fully Networked Car, Geneva (Palexpo)

– http://www.itu.int/ITU-T/worksem/ict-auto/index.html

2-4 March 2005 7 - 9 March 2007 5 - 7 March 2008

– The next one : 4 - 5 March 2009 Opportunities and Challenges in Home Networking Geneva, 13 - 14 October 2005

2nd ETSI STQ Workshop on Wideband Speech Quality in Terminals and Networks: Assessment and Prediction, 22-23 June 2005, Mainz, Germany

ETSI Workshop on 'Effects of transmission performance on Multimedia QoS'Prague, Czech Republic, 17-19 June 2008


28


Une Plaquette QoS/QOE(Page 2 de la plaquette)

True Quality of Service captures the User Experience (QoE)The G.1000 Framework helps capture the many QoS dimensions, andacknowledges that QoS can be viewed from four different perspectives


29


RemerciementsUn grand merci à l'équipe de Pilotage (incluant Rodolfo Ceruti) pour son soutien sans faille, à Hans Gierlich (le Président des Groupes Spécialisés et de l'atelier "Automobile connectée"), aux Rapporteurs et contributeurs efficaces et à Daniel Waturu pour son implication dans le Groupe régional de la CE12 pour l'Afrique. Un grand merci également pour l'aide apportée par le TSB et en particulier Judit and Sarah pour la CE12, Sami et son équipe pour, en particulier les Sites Web (E-model,..), Paolo et son équipe pour l'organisation des ateliers, Sylvie, Kristin et Richard pour les organisations opérationnelles des réunions .


30


Merci!Mr Jean-Yves MonfortFrance Telecom/Orange-Labs

Standardization Senior Manager & Senior expert in QoSDurant 3 années, j'ai été Adjoint au Directeur pour la

normalisation au sein France Telecom R&D.Précédemment j'ai assuré le role d'adjoint au Chef du

Laboratoire en charge de la qualité de la parole, audio, vidéo et d'usage with speech, Audio, video pour services, terminaux and les équipments du réseau.

Un de mes loisirs