doctorat paristech t h أˆ s e telecom paristech ... 2013-enst-0078 edite - ed 130 doctorat...

Download Doctorat ParisTech T H أˆ S E TELECOM ParisTech ... 2013-ENST-0078 EDITE - ED 130 Doctorat ParisTech

Post on 27-Dec-2019

0 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • T H È S E

    2013-ENST-0078

    EDITE - ED 130

    Doctorat ParisTech

    T H È S E

    pour obtenir le grade de docteur délivré par

    TELECOM ParisTech

    Spécialité « Electronique et Communications »

    présentée et soutenue publiquement par

    Franck IUTZELER le Vendredi 6 Décembre 2013

    Estimation et Optimisation Distribuée

    pour les réseaux asynchrones

    Directeurs de thèse : Philippe CIBLAT et Walid HACHEM

    Jury M. Cédric RICHARD, Professeur, Université de Nice Sophia-Antipolis Président du jury M. Michael RABBAT, Associate Professor, McGill University Rapporteur M. Julien HENDRICKX, Chargé de Cours, Université catholique de Louvain Rapporteur M. Geert LEUS, Professor, Delft University of Technology Examinateur M. Pierre BORGNAT, Chargé de Recherche, Ecole Normale Supérieure de Lyon Examinateur M. Philippe CIBLAT, Professeur, Telecom ParisTech Directeur de Thèse M. Walid HACHEM, Directeur de Recherche, Telecom ParisTech Directeur de Thèse M. Pascal BIANCHI, Maître de Conférences, Telecom ParisTech Invité

    TELECOM ParisTech école de l’Institut Mines-Télécom - membre de ParisTech

    46 rue Barrault 75013 Paris - (+33) 1 45 81 77 77 - www.telecom-paristech.fr

  • DISTRIBUTED ESTIMATION AND OPTIMIZATION IN ASYNCHRONOUS NETWORKS

    Franck IUTZELER

  • REMERCIEMENTS

    Je voudrais tout d’abord remercier Philippe Ciblat et Walid Hachem sans rien de tout cela ne

    serait arrivé. Leur rigueur et leur enthousiasme pour la recherche ont été très importants pour

    moi. Un grand merci également à Pascal Bianchi et Jérémie Jakubowicz pour ces échanges et

    collaborations fructueuses.

    Je tiens particulièrement à remercier Julien Hendrickx et Michael Rabbat pour avoir ac-

    cepté de rapporter ma thèse ainsi que pour leurs commentaires toujours pertinents. Je remer-

    cie également Cédric Richard, qui a été le président de mon jury ainsi que Geert Leus et Pierre

    Borgnat, examinateurs lors de ma soutenance.

    Je suis aussi très reconnaissant envers :

    • les doctorants et post-doctorants du département COMELEC dont l’énumération serait aussi fastidieuse qu’inutile. Parmi ces derniers, merci particulièrement à Germain,

    Chadi, Seb, Pierre, et enfin Mélanie qui a eu une place bien particulière dans ma thèse

    et ma vie.

    • les amis “hors-thèse” (même si beaucoup sont ou seront docteurs) Florian, Moyen Sam, Jérôme, Kader, Jean-Jacques, Béné, Léopold, Popol et Marguerite.

    • les HHQQP et plus particulièrement Flo, Axelle, Victor, Jon, Tômo, Alexis et Sam, qui ont réussi a rendre simultanément mes matins plus difficiles et ma vie plus sympa.

    • mes amis de B’sac Lucie, Laure, Arnold, Romain, Alex, Renaud et Camille. • mes deux colocs Charlix et Toubi pour ces trois merveilleuses années ensemble. Finalement, je tiens à remercier ma famille et plus particulièrement ma tante Françoise,

    ma grand-mère Suzanne, et bien évidemment mes parents pour m’avoir toujours poussé et

    supporté dans mes projets.

  • CONTENTS

    LIST OF ACRONYMS v

    GENERAL RULES FOR NOTATION vii

    INTRODUCTION 1

    1 GENERAL MODEL AND TECHNICAL PRELIMINARIES 5 1.1 Network Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    1.1.1 Graph-based network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    1.1.2 Nodes activations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

    1.1.3 Nodes measurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    1.2 Non-negative matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    1.2.2 Irreducible non-negative matrices . . . . . . . . . . . . . . . . . . . . . . . . 7

    1.2.3 Primitive non-negative matrices . . . . . . . . . . . . . . . . . . . . . . . . . 8

    1.2.4 Stochastic matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

    1.2.5 Stochastic matrices and Markov Chain . . . . . . . . . . . . . . . . . . . . . 10

    1.3 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

    2 MAXIMAL VALUE SPREADING 13 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

    2.2 The maximum value diffusion seen as a Rumor Spreading problem . . . . . . . . 14

    2.2.1 The rumor spreading problem . . . . . . . . . . . . . . . . . . . . . . . . . . 14

    2.2.2 Rumor spreading algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

    2.2.3 Maximum value gossipping algorithms . . . . . . . . . . . . . . . . . . . . . 15

    2.3 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    2.3.1 Precisions about the setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    2.3.2 The convergence time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

    2.4 Performance Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

    2.4.1 Random-Walk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

    2.4.2 Random-Pairwise-Max . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

    2.4.3 Random-Broadcast-Max . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

    2.5 Numerical illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

  • ii CONTENTS

    2.5.1 About Random Geometric Graphs (RGGs) . . . . . . . . . . . . . . . . . . . 23

    2.5.2 About the tightness of the derived bounds . . . . . . . . . . . . . . . . . . . 24

    2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

    3 DISTRIBUTED AVERAGE CONSENSUS 29 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

    3.2 Standard (single-variate) framework . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

    3.2.1 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

    3.2.2 Case of doubly-stochastic matrices . . . . . . . . . . . . . . . . . . . . . . . . 32

    3.2.3 Case of non-doubly-stochastic matrices . . . . . . . . . . . . . . . . . . . . . 37

    3.3 Sum-Weight framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

    3.4 Convergence of Sum-Weight-based averaging algorithms . . . . . . . . . . . . . . 42

    3.4.1 Preliminary results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

    3.4.2 Analysis of Ψ1(t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

    3.4.3 Analysis of Ψ2(t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

    3.4.4 Final results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

    3.5 Proposed algorithm and extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

    3.5.1 Broadcast Weighted Gossip (BWGossip) algorithm . . . . . . . . . . . . . . 52

    3.5.2 Performance of the BWGossip . . . . . . . . . . . . . . . . . . . . . . . . . . 53

    3.5.3 Adaptation to smart clock management . . . . . . . . . . . . . . . . . . . . 54

    3.5.4 Distributed estimation of the sum . . . . . . . . . . . . . . . . . . . . . . . . 56

    3.5.5 Convergence with i.i.d. failures in the communication graph . . . . . . . 56

    3.6 Comparison with existing works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

    3.6.1 Comparison with Kempe’s algorithm . . . . . . . . . . . . . . . . . . . . . . 58

    3.6.2 Comparison with Bénézit’s algorithm . . . . . . . . . . . . . . . . . . . . . . 60

    3.6.3 Comparison with the single-variate algorithms . . . . . . . . . . . . . . . . 60

    3.7 An application of averaging algorithms to cognitive radio . . . . . . . . . . . . . . 62

    3.7.1 The problem of distributed spectrum sensing in cognitive radio networks 62

    3.7.2 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

    3.7.3 Review on centralized cooperative spectrum sensing . . . . . . . . . . . . 64

    3.7.4 Fully distributed spectrum sensing algorithms . . . . . . . . . . . . . . . . 66

    3.7.5 Numerical illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

    3.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

    4 DISTRIBUTED OPTIMIZATION 75 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

    4.2 First order methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

    4.2.1 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

    4.2.2 Convergence of the Synchronous Distributed gradient algorithm . . . . . 80

    4.2.3 Convergence of the Asynchronous distributed gradient algorithm . . . . 83

    4.2.4 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

  • iii

    4.3 Distributed Optimization with the ADMM . . . . . . . . . . . . . . . . . . . . . . . . 84

    4.3.1 Proximal methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Recommended

View more >