Patrick Dehornoy

La théorie des ensembles

Introduction à une théorie de l’infiniet des grands cardinaux

Calvage & Mounet

Patrick Dehornoy est professeur à l’université de Caen et membre seniorde l’Institut Universitaire de France. Ses travaux portent sur la théorie desensembles, l’algèbre, et la topologie de basse dimension. Il est l’auteur d’unecentaine d’articles de recherche et de sept livres.

patrick.dehornoy@unicaen.fr

https://dehornoy.users.lmno.cnrs.fr/

Mathematics Subject Classification (2010) – Primary :

03 -Exx Set theory03E10 Ordinal and cardinal numbers03E25 Axiom of choice and related propositions03E30 Axiomatics of classical set theory and its fragments03E35 Consistency and independence results03E45 Inner models, including constructibility, ordinal definability, andcore models03E55 Large cardinals03E60 Determinacy principles03B05 Classical propositional logic03B10 Classical first-order logic03C07 Basic properties of first-order languages and structures03D20 Recursive functions and relations, subrecursive hierarchies03F40 Gödel numberings and issues of incompleteness

Imprimé sur papier permanent

ISBN 978-2-91-635240-4

9 7 8 2 9 1 6 3 5 2 4 0 4

c© Calvage & Mounet, Paris, 2017

à une princesse

Avant-propos

Une théorie magnifique, mais objet de bien des malentendus

La théorie des ensembles est l’exploration, à l’aide des outils des mathé-matiques, de la notion d’infini. L’idée de l’infini, partagée par la plupartdes humains bien que non évidemment inscrite dans l’univers physique quinous entoure, est objet de fascination. Développée depuis un siècle et demi,la théorie des ensembles a permis de découvrir de nombreux aspects de l’in-fini, en particulier l’existence d’une multitude d’infinis différents les uns desautres mais entretenant entre eux des liens subtils. C’est une magnifiquethéorie, qui fait appel à des ressources variées et à des méthodes extrê-mement sophistiquées, une théorie dont les mots eux-mêmes font rêver :hypothèse du continu, argument diagonal, paradoxe de Russell, théorèmede non-définissabilité de la vérité, méthode du forcing, ultrapuissances ité-rées, cardinaux inaccessibles, cardinaux géants, cardinaux indescriptibles,réel 0♯, modèle Lultime, ...

Pour autant, cette théorie est méconnue et objet de plusieurs malentendus.Le premier, et le plus grave, trouve son origine dans les succès mêmes del’entreprise. Lors de la crise des fondements qui a secoué les mathématiquesau début du xxe siècle, il est apparu que la théorie des ensembles, une foisinstallée sur une base axiomatique ferme, pouvait également, et même sice n’était pas sa vocation première, servir de base fondationnelle pour latotalité de l’édifice mathématique : tout objet mathématique (ou presque)peut être représenté par un ensemble. De ce fait, on a un temps imaginéde faire jouer à la théorie des ensembles le rôle d’une sorte de théorieuniverselle englobant toutes les autres et à l’intérieur de laquelle toutesles mathématiques, et même peut-être l’enseignement des mathématiques,devraient être pensés. Cette conception réductrice a fait long feu, mais elle adurablement brouillé l’image de la théorie des ensembles : une fois dissipéela fascination pour un formalisme obscur et constatée l’évidence que lathéorie des ensembles restait impuissante dans la plupart des domaines,cette vision biaisée a détourné l’attention de ce qui est et reste la vocationpremière de la théorie, à savoir explorer l’infini.

Le second malentendu, lui aussi né des réussites de la théorie des ensembles,est la croyance que celle-ci s’est achevée en 1963, lorsque Paul Cohen a éta-

– vii –

viii Avant-propos

bli que l’hypothèse du continu n’est pas prouvable à partir des axiomes dusystème de Zermelo–Fraenkel. Certains mathématiciens ont pensé, à tort,que ce résultat magnifique marque la fin de la théorie, et que les questionslaissées ouvertes le resteront à jamais, dans un mystérieux statut ni vrai-nifaux indiquant peut-être qu’il s’agit de problèmes vides de sens. La théoriedes ensembles serait ainsi comme une étoile un temps brillante mais désor-mais éteinte. Quelle erreur ! Ce qu’a vérifié Paul Cohen est que le systèmede Zermelo–Fraenkel est incomplet, contribuant ainsi non pas à fermer,mais à ouvrir la théorie, mise en demeure de compléter une axiomatisa-tion que personne n’avait jamais prétendue exhaustive. Un demi-siècle plustard, les problèmes ne sont pas tous réglés, mais il est indéniable que l’onen sait beaucoup plus qu’aux temps de Cohen, et a fortiori de Zermeloet Fraenkel.

Les objectifs de ce texte

Ce texte est une introduction à la théorie des ensembles d’aujourd’hui. Sonbut est d’expliquer les bases de cette théorie — tout au moins ce que l’au-teur du texte en a compris ! Il n’est évidemment pas question d’offrir untableau complet : les deux mille pages du Handbook [33] n’y suffisent pas,qui pourtant sont probablement inaccessibles à la plupart des débutants.En pratique, notre ambition sera d’arriver à la compréhension des trois ré-sultats que l’on peut estimer être les plus marquants de la théorie au xxe

siècle :• la consistance de l’axiome du choix et de l’hypothèse du continu par

rapport au système de Zermelo-Fraenkel, établie par K. Gödel en 1938,• la consistance de la négation de l’hypothèse du continu par rapport

au système de Zermelo-Fraenkel, établie par P. Cohen en 1963,• l’analyse exhaustive des ensembles de cardinalité dénombrable telle

qu’elle résulte des théorèmes sur la détermination projective, établispar D.A. Martin, J. Steel, et H. Woodin en 1985 et 1987.

Pour cela, on essaiera de prendre le lecteur par la main depuis le début,pour le mener aux résultats ci-dessus et à un point d’où, ensuite, il pourrafacilement continuer dans les textes pour spécialistes. On aimerait comblerici le fossé séparant, d’une part, les nombreux textes existants exclusive-ment élémentaires et destinés aux non-spécialistes, qui souvent reflètent unevision datée et depuis longtemps dépassée, et, d’autre part, des ouvragesspécialisés d’un abord plus difficile comme [57] ou [58].

Chemin faisant, on aura à découvrir bien des outils et des méthodes : théo-rèmes de complétude et d’incomplétude, modèles intérieurs, forcing et ex-tensions génériques, axiomes de grands cardinaux, propriété de détermina-tion... À chaque fois, on essaiera de ne pas rester à un niveau exclusivementtechnique et de mettre en perspective les résultats avec les objectifs de lathéorie, en s’interrogeant sur leur signification et leur portée. La théorie desensembles est souvent remise en question aujourd’hui en tant que théorie

Avant-propos ix

fondationnelle, et c’est une question intéressante à discuter à la lueur de ré-sultats précis. Sans prétendre à une quelconque compétence en philosophie,on a néanmoins inclus quelques remarques naïves dans cette direction.

Notre espoir est que des publics variés puissent trouver leur pitance à tra-vers le copieux menu qui est proposé. Le lecteur découvrira vite qu’il existeplusieurs niveaux de lecture possibles, suggérés par la typographie : les(abondants) textes en petits caractères sont soit des démonstrations, soitdes commentaires, discussions, compléments, non nécessaires à la lecturedu texte principal, mais supposés l’éclairer. On espère que la diversité desformats facilitera la navigation.

Organisation du texte

Le texte comporte trois parties distinctes tant par leur contenu que parleur style. Dans la partie A (chapitres I à V), on expose la théorie élé-mentaire des ensembles sans supposer aucun prérequis, en particulier delogique. L’objectif est de présenter une approche aussi peu dogmatique quepossible de la théorie, en s’efforçant au fur et à mesure de justifier les op-tions adoptées et en évoquant à l’occasion certaines des pistes alternativesnon retenues. Comme dans toutes les mathématiques, quelques bribes delogique apparaissent ici ou là, mais uniquement comme une sténographie.Les arguments de cette partie résolument « pré-logique » sont donc princi-palement combinatoires. Malgré ces limitations, on verra que des résultatshautement non triviaux peuvent être établis au prix d’arguments délicats,comme à la fin du chapitre V.

Le but de la partie B (chapitres VI à IX) est de fournir, là encore sanssupposer de connaissance préalable, les bases de logique mathématique né-cessaires pour le développement ultérieur d’une théorie des ensembles plusavancée. Il s’agit donc d’un cours de logique pour débutants, partant d’uneintroduction à la logique propositionnelle et aux logiques du premier ordreet cheminant pour donner un accès aussi rapide que possible aux résultatsde logique indispensables pour la partie C, à savoir principalement le théo-rème de complétude des logiques du premier ordre et les théorèmes d’in-complétude de Gödel. Des démonstrations complètes sont données, maisl’aperçu présent ne peut prétendre constituer un cours complet de logiquemathématique, en particulier parce que le traitement de la théorie des mo-dèles et de la théorie de la démonstration y est indigent.

Dans la partie C (chapitres X à XVI), disposant désormais des résultats fon-damentaux de la logique mathématique et d’un cadre précis pour la théoriedescriptive, on revient à la théorie des ensembles pour en poursuivre l’éla-boration dans un cadre conceptuel centré sur la notion de modèle de ZFC.Cette partie correspond à ce qui est souvent appelé la théorie axiomatiquedes ensembles, par opposition à la théorie élémentaire de la partie A. De lamême façon que l’on peut étudier des modèles abstraits de l’arithmétiquequi ne sont pas nécessairement le modèle standard constitué des vrais en-

x Avant-propos

tiers et de leurs vraies opérations, on peut considérer des modèles abstraitsde la théorie des ensembles qui ne sont pas nécessairement constitués desvrais ensembles et de la vraie appartenance. En permettant de considérersimultanément plusieurs modèles et de développer des opérations adaptées,cette approche, dite sémantique, a révolutionné la théorie, et elle en est lecœur depuis des décennies. On trouvera ici une présentation de notionsdevenues classiques comme les ensembles constructibles et la méthode duforcing, mais aussi et surtout un aperçu de développements plus récentsautour de la hiérarchie des grands cardinaux et des propriétés de détermi-nation, ainsi que quelques ouvertures vers des points de recherche en cours.Globalement, le texte est orienté vers la découverte de nouveaux axiomessusceptibles de compléter le système ZFC, lequel, à l’évidence, n’épuise pasl’intuition de la notion d’infini telle qu’elle se dégage des résultats accu-mulés depuis un siècle et demi. L’idée importante qui, on l’espère, devraitémerger, est que la théorie des ensembles ne se limite pas à des résultatsnégatifs de non-prouvabilité et d’indépendance, mais qu’elle est principale-ment une théorie structurelle visant à élaborer une conception positive del’infini mathématique. On espère qu’au-delà des détails techniques, parfoisdélicats, le lecteur pourra s’imprégner de la philosophie générale de cettedémarche et ressentir l’harmonie de la conception qui s’en dégage. Commeon l’a déjà dit, notre objectif ici n’est pas d’offrir un exposé exhaustif nimême toujours des démonstrations complètes, mais plutôt de mettre l’ac-cent sur les notions et les idées fondamentales, de façon à permettre ensuiteau lecteur d’accéder, s’il le souhaite, à des textes spécialisés.

Les chapitres I à VIII sont suivis de quelques exercices. Par ailleurs, ontrouvera à la fin de chaque chapitre quelques repères chronologiques : ildoit être clair que ceci ne prétend pas fournir une vision complète d’un su-jet par ailleurs très riche, mais simplement de donner quelques dates pourfixer les idées. Sur les aspects historiques du développement de la théoriedes ensembles, on pourra consulter [31, 43, 51] pour les origines et, spécia-lement, [59] pour la période plus récente. Pour les aspects philosophiques,on pourra consulter [90].

Le texte a été revu bien des fois, mais il n’est guère douteux que des co-quilles, voire des erreurs, sont encore présentes. Les lecteurs sont invitésà les signaler à patrick.dehornoy@unicaen.fr. Une liste des correctionssera tenue à jour à l’adresse

"https://dehornoy.users.lmno.cnrs.fr/ens_erratum.html".

Les chapitres

La partie A regroupe cinq chapitres. Le chapitre I dessine un cadre axio-matique adapté à l’exploration des ensembles. Partant de l’existence deplusieurs infinis distincts, on est rapidement confronté à des problèmes nonévidents, comme le problème du continu de Cantor, et ce sont eux quirendent nécessaire l’élaboration d’une théorie des ensembles et la motivent.

Avant-propos xi

Comme il semble difficile de définir les ensembles de façon satisfaisante, onrecourt à une approche axiomatique qui, au terme de plusieurs ajustements,aboutit au système de Zermelo, qui est la base axiomatique sur laquelle onpropose de développer une théorie — donc d’explorer l’infini.

Le chapitre II contient une introduction aux ordinaux, qui sont un prolon-gement transfini de la suite des entiers naturels, et qui jouent le rôle d’unevéritable épine dorsale du monde des ensembles. Après quelques résultatsgénéraux sur les bons ordres, on présente la construction des ordinaux devon Neumann, qui fait de ceux-ci des ensembles transitifs particuliers. Cetteapproche permet d’établir rapidement les propriétés de base des ordinaux,en particulier de développer leur arithmétique. Comme applications, onétablit le théorème de Cantor–Bendixson sur la décomposition des fermésde R et le théorème de Goodstein sur la convergence des suites éponymes.

Dans le chapitre III, utilisant en particulier les ordinaux finis comme contre-parties des nombres entiers, on montre comment la plupart des objets ma-thématiques usuels peuvent être représentés par des ensembles dits purs,puis on vérifie que, pourvu qu’il soit amendé d’axiomes d’infini et de rempla-cement qui en font le système standard ZF de Zermelo-Fraenkel, le systèmeaxiomatique obtenu permet de légitimer tous les résultats de représenta-tion par des ensembles purs, ainsi que toutes les propriétés usuelles desordinaux, dont les définitions récursives. Il apparaît donc raisonnable à cepoint de poursuivre le développement sur la base du système ZF.

Le chapitre IV est consacré à l’axiome du choix AC. On y établit l’équiva-lence de AC avec ses variantes classiques, théorème de Zermelo et lemmede Zorn, et on introduit deux formes faibles, l’axiome des choix dépendantset l’axiome du choix dénombrable. Ensuite, on passe en revue quelques ap-plications de AC dans des domaines variés, allant de l’algèbre (existencede bases dans les espaces vectoriels, d’idéaux maximaux dans les anneaux)à l’analyse (existence d’ultrafiltres, théorème de Tikhonov) et à la géomé-trie (théorème de Hahn–Banach, décompositions paradoxales de Banach–Tarski). Enfin, anticipant sur les résulats d’indépendance démontrés dansla partie C, on discute brièvement du statut de AC pour conclure qu’il estcohérent avec le point de vue adopté d’inclure celui-ci dans le système debase, qui devient donc ZFC.

Dernier de la partie A, le chapitre V regroupe quelques résultats élémen-taires sur les cardinalités (infinies) qui constituent le cœur de la théorie.On y définit la notion de cardinal, avec l’énumération des cardinaux infi-nis par les ℵα de Cantor et le développement d’une arithmétique cardinaleoù l’exponentiation pose des problèmes ardus. Comme outil structurant etpermettant de mettre un peu de clarté, on introduit la cofinalité, avec lesnotions dérivées de cardinal successeur et de cardinal limite, et on conclutavec le théorème de Fodor, petit aperçu de combinatoire sur ω1 et une deses applications, le théorème de Silver sur la continuité de l’hypothèse ducontinu en cofinalité ω1, bon exemple d’un résultat purement élémentaireet néanmoins de démonstration délicate.

xii Avant-propos

Viennent ensuite les quatre chapitres de la partie B. Le chapitre VI estconsacré au calcul propositionnel, ou booléen. Il n’est pas strictement in-dispensable à la suite, mais il offre l’avantage de présenter sur un exemplesimple les notions de cohérence et de complétude pour un système depreuve. Ayant introduit les principales notions dans le cadre d’une logiqueformelle générale, on les illustre dans celui la logique booléenne, en éta-blissant notamment le théorème de complétude qui montre que l’uniquerègle de coupure adossée à quelques schémas de preuve simples épuise lespossibilités du raisonnement booléen.

Le chapitre VII est consacré aux logiques du premier ordre. Après un pas-sage en revue de la syntaxe (inévitablement rébarbatif, comme il se doit ...),on passe rapidement à la notion de preuve, avec le théorème de complétude,ici soigneusement démontré et qui ouvre la voie à la notion de modèle d’unethéorie, fondement du développement de la théorie des ensembles contem-poraine, et à la méthode sémantique de preuve qui en dérive. En vue desdéveloppements du chapitre VIII, il est utile d’appliquer ce qui précède auxmodèles de l’arithmétique de Peano faible.

Ensuite, le chapitre VIII est consacré aux célèbres résultats de limitationétablis dans les années 1930, qui tracent un cadre indépassable pour lepouvoir déductif des systèmes axiomatiques. Le point-clé est un certain ré-sultat technique, dit lemme diagonal. Une fois celui-ci établi, il est rapidede déduire à la fois le théorème d’indécidabilité de Church, le théorème denon-définissabilité de la vérité de Tarski, et les deux théorèmes d’incom-plétude de Gödel, le second ici pour les systèmes au moins aussi forts quele système de Zermelo (ce qui est suffisant pour la théorie des ensembles).Mais, pour arriver au lemme diagonal, plusieurs résultats préliminaires sontnécessaires, et on commence par expliquer tout cela : bases sur les fonctionsrécursives, existence d’une arithmétisation récursive de la prouvabilité enlogique du premier ordre, absoluité des formules d’arithmétique de com-plexité Σ1 vis-à-vis des modèles de l’arithmétique de Robinson.

Le chapitre IX contient des bases de théorie descriptive des ensembles, quiest l’étude spécifique des sous-ensembles de la droite réelle R, à la fron-tière de la topologie et de la théorie des ensembles. Cette étude, nécessaireen vue du chapitre XV, n’est pas directement partie de la logique, maisses méthodes et son esprit sont directement réminiscents de ceux du cha-pitre VIII, et il est donc naturel qu’elle soit placée là. Outre les définitionsdes hiérarchies borélienne, projective, arithmétique, et analytique, on yétablit l’universalité de l’espace de Baire parmi les espaces polonais, et lareprésentatibilité des ensembles Σ

11 comme projections des branches d’un

arbre sur ω × ω1.

Enfin viennent les sept chapitres de la partie C. Le chapitre X est introduc-tif et rassemble des résultats élémentaires sur les modèles de ZF, avec enparticulier les notions de modèle intérieur et d’absoluité d’une formule pourune famille de structures. Les résultats sont rudimentaires mais permettent

Avant-propos xiii

de sa familiariser avec la notion de modèle de ZF. Comme application facile,on établit l’indépendance de la plupart des axiomes du système ZF les unspar rapport aux autres.

Le chapitre XI décrit le modèles des ensembles constructibles qui, à l’in-térieur de tout modèle de référence, est un modèle intérieur minimal, quel’on peut imaginer comme analogue au sous-corps premier d’un corps. Onmontre en particulier comment l’existence de ce modèle et l’étude de sespropriétés permettent d’établir la consistance relative de l’axiome du choixet de l’hypothèse généralisée du continu, ainsi que celle de la négation del’hypothèse de Souslin.

Le chapitre XII est consacré à la méthode du forcing, qui permet, à partird’un modèle convenable, d’en construire une extension, c’est-à-dire un nou-veau modèle dont le modèle initial est modèle intérieur. On peut cette foispenser à une extension algébrique de corps. On décrit ici le mécanisme desextensions par forcing, et on développe quelques exemples classiques, per-mettant notamment d’établir la consistance de la négation de l’axiome duchoix et de l’hypothèse du continu, ainsi que la consistance de l’hypothèsede Souslin via l’axiome de Martin.

Les chapitres suivants sont une introduction aux axiomes de grands cardi-naux, qui occupent une place fondamentale dans la plupart des développe-ments de la théorie des ensembles depuis les années 1970. Le chapitre XIIIest centré sur les « petits » grands cardinaux, avec notamment ici les car-dinaux inaccessibles et les cardinaux faiblement compacts, et les propriétésd’arbre et de partition associées. Ensuite, un développement approfondiest consacré aux cardinaux mesurables, à la charnière des « petits » etdes « grands », grands cardinaux, qui sont fondamentaux à plusieurs titres.On étudie ici la notion-clé d’ultrapuissance d’un modèle de ZF associée àun cardinal mesurable, ainsi que la trace que laisse un tel cardinal sur lemodèle intérieur L via une famille d’ordinaux indiscernables.

Le chapitre XIV présente quelques « grands » grands cardinaux, cardi-naux forts, cardinaux de Woodin, cardinaux supercompacts, tous définisen termes de l’existence de plongements élémentaires convenables du mo-dèle de référence dans un modèle intérieur. Une place spéciale est accordéeaux cardinaux de Laver et à la structure des itérés des plongements élémen-taires associés, qui mène à des applications étonnantes (et, pour le moment,peu connues) en combinatoire finie, avec les propriétés asymptotiques despériodes dans les tables de Laver.

Le chapitre XV est consacré à la propriété de détermination d’un sous-ensemble de la droite réelle. On y montre que l’hypothèse que tous lesensembles projectifs sont déterminés (« axiome de détermination projec-tive DP ») fournit une description optimale de ces ensembles, et qu’ellerésulte d’un certain axiome de grand cardinal. On explique alors commentun tel résultat, étendant au monde Hℵ1 des ensembles dénombrables lacompréhension précédemment acquise pour le monde Hℵ0 des ensembles

xiv Avant-propos

finis, légitime un nouveau consensus dans lequel ZF amendé en ZF+DPdevient la base axiomatique standard de la théorie des ensembles.

Enfin, dans le chapitre XVI, en guise de conclusion, on commence parrevenir brièvement sur le rôle fondationnel de la théorie des ensembles poursouligner ce qui devrait apparaître à l’évidence comme des malentendus aulecteur parvenu à ce point, puis on tente une sorte d’évaluation de la théorieau vu des résultats acquis, pour revenir finalement aux mathématiquespour un aperçu de quelques travaux en cours, principalement autour desaxiomes de forcing et des modèles canoniques, et des perspectives qu’ilsouvrent pour l’analyse de la structureHℵ2 et pour une solution du problèmedu continu, toujours ouvert à ce jour, mais dont le lecteur devrait êtredésormais d’accord pour penser avec la plupart des spécialistes qu’il n’anulle vocation à le rester à jamais.

Remerciements

Les dix premiers chapitres de ce texte sont issus de cours enseignés pen-dant des années à l’université de Caen et à l’École normale supérieure deParis. Je remercie particulièrement les collègues qui m’ont épaulé à cetteoccasion et ont contribué à enrichir ces notes : Olivier Laurent, Julien Lévy,Claude Sureson, et Philippe Toffin. Je remercie également collectivementles étudiants qui ont suivi ces cours et les lecteurs connus ou inconnus destextes disponibles sur internet qui m’ont depuis des années adressé com-mentaires, questions, corrections, en particulier Pierre Ageron, AlexandreBailleul, Maxime Bourrigan, Lorenzo Carlucci, Ikram Cherigui, Pierre De-hornoy, Rémi Goblot, Marc Hoyois, Serge Leblanc, Marc Mezzaroba, SimonPépin-Lehalleur, Vincent Robin, Marc Sage, Pierre Simon, Pierre Simon-net, Lorenzo Tortora, Frédéric Wang.

Je remercie mes collègues de la communauté de théorie des ensembles, no-tamment Steve Jackson, Aki Kanamori, Stevo Todorcevic, Friedrich Weh-rung, et Hugh Woodin, pour les nombreuses explications et précisions qu’ilsm’ont apportées. Je remercie également Henri Lombardi qui, en jouant lerôle d’un opposant acharné à l’approche ensembliste, m’a aidé à dépasserles a priori dogmatiques.

Merci également à Alberto Arabia et Rached Mneimné qui, par leur ex-pertise technique et leur exigence, m’ont aidé à préparer une mise en pagesoignée et, j’espère, agréable pour le lecteur, malgré sa densité. Et à ArletteDehornoy et Isabella Bembo pour leur saisissante représentation des grandscardinaux.

Enfin et surtout, je remercie Serge Grigorieff qui, par une relecture tout àla fois minutieuse et compétente de l’intégralité de ce texte, a grandementcontribué à en améliorer la qualité.

Caen, Paris, et Arnières-sur-Iton, juin 2017

Table des matières

Partie A. Théorie élémentaire

I. Le type « ensemble »1. Pourquoi une théorie des ensembles ? . . . . . . . . . . . . . . . 4

1.1. La notion d’ensemble . . . . . . . . . . . . . . . . . . . . . . 41.2. Utilité des ensembles . . . . . . . . . . . . . . . . . . . . . . 61.3. Premiers résultats, premiers problèmes . . . . . . . . . . . . 7

2. Opérations ensemblistes . . . . . . . . . . . . . . . . . . . . . . . 142.1. Le treillis des parties d’un ensemble . . . . . . . . . . . . . 152.2. Les algèbres de Boole comme structures algébriques . . . . 172.3. Algèbres de Boole finies . . . . . . . . . . . . . . . . . . . . 19

3. Ébauche d’une théorie des ensembles . . . . . . . . . . . . . . . 213.1. Une tentative naïve . . . . . . . . . . . . . . . . . . . . . . . 213.2. Le système de Cantor . . . . . . . . . . . . . . . . . . . . . 233.3. Le paradoxe de Berry . . . . . . . . . . . . . . . . . . . . . 243.4. Le paradoxe de Russell . . . . . . . . . . . . . . . . . . . . . 283.5. Ensembles purs et système de Zermelo . . . . . . . . . . . . 32

II. Les ordinaux1. Les bons ordres . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

1.1. Relations bien fondées et bons ordres . . . . . . . . . . . . . 411.2. Rigidité et comparabilité des bons ordres . . . . . . . . . . 441.3. Opérations sur les bons ordres . . . . . . . . . . . . . . . . 47

2. Une construction des ordinaux . . . . . . . . . . . . . . . . . . . 542.1. Ensembles transitifs et ordinaux . . . . . . . . . . . . . . . 542.2. L’ordre sur les ordinaux . . . . . . . . . . . . . . . . . . . . 592.3. Borne supérieure ; ordinaux limites . . . . . . . . . . . . . . 612.4. Le théorème de comparaison . . . . . . . . . . . . . . . . . 64

3. L’arithmétique ordinale . . . . . . . . . . . . . . . . . . . . . . . 663.1. L’addition ordinale . . . . . . . . . . . . . . . . . . . . . . . 663.2. La multiplication ordinale . . . . . . . . . . . . . . . . . . . 693.3. L’exponentiation ordinale . . . . . . . . . . . . . . . . . . . 723.4. Ordinaux non dénombrables . . . . . . . . . . . . . . . . . . 74

4. Deux applications . . . . . . . . . . . . . . . . . . . . . . . . . . 764.1. Le théorème de Cantor–Bendixson . . . . . . . . . . . . . . 774.2. Le théorème de Goodstein . . . . . . . . . . . . . . . . . . . 79

– xv –

xvi Table des matières

III. Le système de Zermelo–Fraenkel1. Représentation par des ensembles purs . . . . . . . . . . . . . . 86

1.1. Ensembles purs . . . . . . . . . . . . . . . . . . . . . . . . . 861.2. Représentation des entiers naturels . . . . . . . . . . . . . . 901.3. Représentation des couples et des fonctions . . . . . . . . . 911.4. Représentation de tous les objets mathématiques . . . . . . 94

2. Axiomatisation des ensembles purs . . . . . . . . . . . . . . . . 962.1. Extensions par définition . . . . . . . . . . . . . . . . . . . . 962.2. Représentation des couples et des fonctions . . . . . . . . . 992.3. Construction des ordinaux . . . . . . . . . . . . . . . . . . . 1012.4. Les axiomes de remplacement . . . . . . . . . . . . . . . . . 106

3. Définitions récursives . . . . . . . . . . . . . . . . . . . . . . . . 1103.1. Récursion sur les entiers . . . . . . . . . . . . . . . . . . . . 1103.2. Récursion ordinale . . . . . . . . . . . . . . . . . . . . . . . 1123.3. Récursion ordinale généralisée . . . . . . . . . . . . . . . . . 114

4. La théorie des ensembles . . . . . . . . . . . . . . . . . . . . . . 1204.1. L’axiome de fondation et le système ZF . . . . . . . . . . . 1204.2. La règle du jeu . . . . . . . . . . . . . . . . . . . . . . . . . 123

IV. L’axiome du choix1. L’axiome du choix . . . . . . . . . . . . . . . . . . . . . . . . . . 130

1.1. Fonctions de choix . . . . . . . . . . . . . . . . . . . . . . . 1301.2. Formes alternatives de l’axiome du choix . . . . . . . . . . . 133

2. Des applications de l’axiome du choix . . . . . . . . . . . . . . . 1402.1. Dénombrement . . . . . . . . . . . . . . . . . . . . . . . . . 1402.2. Ensembles ordonnés et algèbre . . . . . . . . . . . . . . . . 1422.3. Topologie et analyse . . . . . . . . . . . . . . . . . . . . . . 1452.4. Géométrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

3. L’axiome du choix est-il vrai ? . . . . . . . . . . . . . . . . . . . 1563.1. Une question ambiguë . . . . . . . . . . . . . . . . . . . . . 1563.2. Est-il opportun d’adopter l’axiome du choix ? . . . . . . . . 157

V. Les cardinaux1. Cardinaux finis et infinis . . . . . . . . . . . . . . . . . . . . . . 162

1.1. La notion de cardinal . . . . . . . . . . . . . . . . . . . . . 1621.2. Dénombrements finis . . . . . . . . . . . . . . . . . . . . . . 1651.3. Les cardinaux infinis . . . . . . . . . . . . . . . . . . . . . . 166

2. L’arithmétique cardinale . . . . . . . . . . . . . . . . . . . . . . 1692.1. Opérations à deux arguments . . . . . . . . . . . . . . . . . 1692.2. Sommes et produits infinis . . . . . . . . . . . . . . . . . . . 1722.3. Les cardinaux sans axiome du choix . . . . . . . . . . . . . 173

3. La cofinalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1763.1. Ensembles cofinaux . . . . . . . . . . . . . . . . . . . . . . . 1763.2. Cardinaux réguliers et singuliers . . . . . . . . . . . . . . . 1793.3. Puissance et exponentiation cardinales . . . . . . . . . . . . 180

4. La combinatoire sur ω1 . . . . . . . . . . . . . . . . . . . . . . . 1844.1. Ensembles clos cofinaux et le théorème de Fodor . . . . . . 1844.2. Le théorème de Silver . . . . . . . . . . . . . . . . . . . . . 187

Table des matières xvii

Partie B. Un peu de logique mathématique

VI. Logique propositionnelle1. La logique booléenne . . . . . . . . . . . . . . . . . . . . . . . . 196

1.1. Logiques formelles : syntaxe et sémantique . . . . . . . . . . 1961.2. La logique booléenne . . . . . . . . . . . . . . . . . . . . . . 1981.3. Sémantique de la logique booléenne . . . . . . . . . . . . . . 200

2. Un théorème de complétude . . . . . . . . . . . . . . . . . . . . 2022.1. Preuve par coupure . . . . . . . . . . . . . . . . . . . . . . . 2032.2. La forme locale du théorème de complétude . . . . . . . . . 2052.3. La forme globale du théorème de complétude . . . . . . . . 208

VII. Logique du premier ordre1. Logiques du premier ordre . . . . . . . . . . . . . . . . . . . . . 216

1.1. Les formules de la logique LΣ . . . . . . . . . . . . . . . . . 2161.2. Sémantique de la logique LΣ . . . . . . . . . . . . . . . . . 2201.3. Exprimabilité au premier ordre . . . . . . . . . . . . . . . . 223

2. Le théorème de complétude . . . . . . . . . . . . . . . . . . . . . 2262.1. Preuves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2262.2. Le théorème de la déduction . . . . . . . . . . . . . . . . . . 2292.3. Théories explicitement complètes . . . . . . . . . . . . . . . 2302.4. La méthode de Henkin . . . . . . . . . . . . . . . . . . . . . 233

3. Applications du théorème de complétude . . . . . . . . . . . . . 2363.1. La méthode sémantique . . . . . . . . . . . . . . . . . . . . 2373.2. Limitations du pouvoir d’expression . . . . . . . . . . . . . 2403.3. Modèles de l’arithmétique . . . . . . . . . . . . . . . . . . . 244

4. La logique du premier ordre comme modèle . . . . . . . . . . . . 2484.1. Modélisation par la logique du premier ordre . . . . . . . . 2494.2. Contexte métamathématique . . . . . . . . . . . . . . . . . 2524.3. Les logiques du second ordre . . . . . . . . . . . . . . . . . 255

VIII. Théorèmes de limitation1. Fonctions et relations récursives . . . . . . . . . . . . . . . . . . 260

1.1. Fonctions primitives récursives . . . . . . . . . . . . . . . . 2611.2. Représentation des suites finies . . . . . . . . . . . . . . . . 2661.3. Fonctions et relations récursives . . . . . . . . . . . . . . . . 269

2. Arithmétisation de la syntaxe . . . . . . . . . . . . . . . . . . . 2732.1. Numérotation des formules . . . . . . . . . . . . . . . . . . 2732.2. Numérotation des preuves . . . . . . . . . . . . . . . . . . . 276

3. L’arithmétique de Robinson . . . . . . . . . . . . . . . . . . . . 2793.1. Modèles du système PAfaible . . . . . . . . . . . . . . . . . . 2803.2. Absoluité des formules Σ1 . . . . . . . . . . . . . . . . . . . 2843.3. Représentabilité . . . . . . . . . . . . . . . . . . . . . . . . . 286

xviii Table des matières

4. Indécidabilité et incomplétude . . . . . . . . . . . . . . . . . . . 2924.1. Le lemme diagonal . . . . . . . . . . . . . . . . . . . . . . . 2924.2. Le théorème d’indécidabilité de Church . . . . . . . . . . . 2944.3. Le théorème de non-définissabilité de la vérité de Tarski . . 2964.4. Le premier théorème d’incomplétude de Gödel . . . . . . . 2994.5. Le second théorème d’incomplétude de Gödel . . . . . . . . 302

IX. Théorie descriptive des ensembles1. Les boréliens d’un espace polonais . . . . . . . . . . . . . . . . . 312

1.1. Les espaces polonais . . . . . . . . . . . . . . . . . . . . . . 3131.2. La hiérarchie borélienne . . . . . . . . . . . . . . . . . . . . 3191.3. Classification des espaces polonais . . . . . . . . . . . . . . 324

2. La hiérarchie projective . . . . . . . . . . . . . . . . . . . . . . . 3272.1. Les ensembles analytiques . . . . . . . . . . . . . . . . . . . 3282.2. Les ensembles projectifs . . . . . . . . . . . . . . . . . . . . 3302.3. Le théorème de Souslin . . . . . . . . . . . . . . . . . . . . 332

3. Les hiérarchies effectives . . . . . . . . . . . . . . . . . . . . . . 3393.1. Les ensembles récursifs . . . . . . . . . . . . . . . . . . . . . 3403.2. Les hiérarchies arithmétique et analytique . . . . . . . . . . 3423.3. Lien avec les ensembles boréliens et projectifs . . . . . . . . 346

Partie C. Théorie axiomatique des ensembles

X. Modèles de ZF

1. La notion de modèle de ZF . . . . . . . . . . . . . . . . . . . . . 3541.1. Le modèle d’Ackermann . . . . . . . . . . . . . . . . . . . . 3551.2. Construction de modèles de ZF . . . . . . . . . . . . . . . . 3571.3. La méthode sémantique en théorie des ensembles . . . . . . 361

2. Modèles transitifs . . . . . . . . . . . . . . . . . . . . . . . . . . 3652.1. Satisfaction des axiomes de ZF . . . . . . . . . . . . . . . . 3662.2. Formules et opérations absolues . . . . . . . . . . . . . . . . 3672.3. Absoluité des formules ∆

ZF1 . . . . . . . . . . . . . . . . . . 375

2.4. Réduction aux modèles transitifs . . . . . . . . . . . . . . . 3773. Exemples et applications . . . . . . . . . . . . . . . . . . . . . . 383

3.1. Les structures (Vα,∈) et (Hκ,∈) . . . . . . . . . . . . . . . 3833.2. Résultats de non-prouvabilité . . . . . . . . . . . . . . . . . 387

XI. Les ensembles constructibles1. La classe L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

1.1. Les opérations de Gödel . . . . . . . . . . . . . . . . . . . . 3951.2. Le schéma de réflexion . . . . . . . . . . . . . . . . . . . . . 3991.3. La classe des ensembles constructibles . . . . . . . . . . . . 4031.4. L’axiome du choix dans L . . . . . . . . . . . . . . . . . . . 406

Table des matières xix

2. Les ensembles Lα . . . . . . . . . . . . . . . . . . . . . . . . . . 4082.1. Définissabilités externe et interne . . . . . . . . . . . . . . . 4092.2. Les ensembles Lα . . . . . . . . . . . . . . . . . . . . . . . . 4132.3. L’hypothèse généralisée du continu . . . . . . . . . . . . . . 4152.4. Élimination de AC et HC . . . . . . . . . . . . . . . . . . . . 420

3. Propriétés combinatoires de L . . . . . . . . . . . . . . . . . . . 4223.1. Le bon ordre canonique de L . . . . . . . . . . . . . . . . . 4233.2. Les principes combinatoires ♦ et � . . . . . . . . . . . . . . 4263.3. L’axiome V =L est-il vrai ? . . . . . . . . . . . . . . . . . . 431

4. D’autres modèles intérieurs . . . . . . . . . . . . . . . . . . . . . 4324.1. Constructibilité relative . . . . . . . . . . . . . . . . . . . . 4334.2. Les modèles HOD et leurs variantes . . . . . . . . . . . . . 434

XII. La méthode du forcing1. Extensions génériques . . . . . . . . . . . . . . . . . . . . . . . . 440

1.1. La méthode sémantique . . . . . . . . . . . . . . . . . . . . 4411.2. Les noms et leur évaluation . . . . . . . . . . . . . . . . . . 4431.3. Ensembles génériques et forcing . . . . . . . . . . . . . . . . 445

2. Pratique du forcing . . . . . . . . . . . . . . . . . . . . . . . . . 4522.1. Consistance relative de V 6=L . . . . . . . . . . . . . . . . . 4522.2. Consistance relative de ¬HC . . . . . . . . . . . . . . . . . . 4532.3. Consistance relative de ¬AC . . . . . . . . . . . . . . . . . . 457

3. Des notions de forcing innombrables . . . . . . . . . . . . . . . . 4603.1. Changement de cardinalité et de cofinalité . . . . . . . . . . 4603.2. L’axiome de Martin . . . . . . . . . . . . . . . . . . . . . . 4643.3. Valeur booléenne d’une formule . . . . . . . . . . . . . . . . 4693.4. Indépendance vs. indécidabilité . . . . . . . . . . . . . . . . 471

XIII. Les grands cardinaux (I)1. Les « petits » grands cardinaux . . . . . . . . . . . . . . . . . . 476

1.1. Les cardinaux inaccessibles . . . . . . . . . . . . . . . . . . 4771.2. Les cardinaux faiblement compacts . . . . . . . . . . . . . . 4801.3. Les cardinaux indescriptibles . . . . . . . . . . . . . . . . . 485

2. Les cardinaux mesurables . . . . . . . . . . . . . . . . . . . . . . 4882.1. Ultrafiltres complets . . . . . . . . . . . . . . . . . . . . . . 4882.2. Ultraproduits et théorème de Łoś . . . . . . . . . . . . . . . 4922.3. Ultrapuissances de modèles de ZFC . . . . . . . . . . . . . . 497

3. Le réel 0♯ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5033.1. Cardinaux mesurables et constructibles . . . . . . . . . . . 5043.2. Le réel 0♯ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5063.3. Le monde sans 0♯ . . . . . . . . . . . . . . . . . . . . . . . . 5113.4. Les grands cardinaux existent-ils ? . . . . . . . . . . . . . . 512

xx Table des matières

XIV. Les grands cardinaux (II)1. Les « grands » grands cardinaux . . . . . . . . . . . . . . . . . . 516

1.1. Plongements élémentaires . . . . . . . . . . . . . . . . . . . 5171.2. Les cardinaux forts et les cardinaux de Woodin . . . . . . . 5201.3. Les cardinaux supercompacts . . . . . . . . . . . . . . . . . 525

2. Rangs autosimilaires . . . . . . . . . . . . . . . . . . . . . . . . . 5282.1. La borne de Kunen . . . . . . . . . . . . . . . . . . . . . . . 5292.2. Les cardinaux de Laver . . . . . . . . . . . . . . . . . . . . 5312.3. Itérations d’un plongement élémentaire . . . . . . . . . . . . 535

3. Périodes dans les tables de Laver . . . . . . . . . . . . . . . . . . 5393.1. Les tables de Laver . . . . . . . . . . . . . . . . . . . . . . . 5403.2. Quotients finis de Iter(j) . . . . . . . . . . . . . . . . . . . . 5443.3. Deux résultats sur les périodes . . . . . . . . . . . . . . . . 5503.4. Un type nouveau d’application de la théorie des ensembles . 5543.A. Appendice : propriétés élémentaires des tables de Laver . . 556

XV. La détermination projective1. La propriété de détermination . . . . . . . . . . . . . . . . . . . 566

1.1. Jeux infinis . . . . . . . . . . . . . . . . . . . . . . . . . . . 5661.2. Pouvoir d’expression . . . . . . . . . . . . . . . . . . . . . . 5701.3. La détermination comme moyen d’exploration . . . . . . . . 576

2. Détermination et grands cardinaux . . . . . . . . . . . . . . . . 5802.1. La détermination Π

11 . . . . . . . . . . . . . . . . . . . . . . 581

2.2. La détermination projective . . . . . . . . . . . . . . . . . . 5862.3. La direction réciproque . . . . . . . . . . . . . . . . . . . . 592

3. Un nouveau cadre axiomatique . . . . . . . . . . . . . . . . . . . 5953.1. Deux approches complémentaires . . . . . . . . . . . . . . . 5953.2. Qu’est-ce qu’un axiome vrai ? . . . . . . . . . . . . . . . . . 5973.3. Le système ZFC+DP . . . . . . . . . . . . . . . . . . . . . . 598

XVI. Un bilan mitigé1. Une accumulation de malentendus . . . . . . . . . . . . . . . . . 604

1.1. Les espoirs déçus . . . . . . . . . . . . . . . . . . . . . . . . 6041.2. Dogmes et errances bourbachiques . . . . . . . . . . . . . . 6061.3. Un système fondationnel parmi d’autres . . . . . . . . . . . 608

2. Une théorie de l’infini encore incomplète . . . . . . . . . . . . . 6102.1. Des réponses . . . . . . . . . . . . . . . . . . . . . . . . . . 6112.2. Des questions qui résistent . . . . . . . . . . . . . . . . . . . 6112.3. Des interactions, mais souvent indirectes et limitées . . . . 613

3. Quelques pistes . . . . . . . . . . . . . . . . . . . . . . . . . . . 6173.1. Absoluité générique et axiomes de forcing . . . . . . . . . . 6173.2. Les modèles canoniques . . . . . . . . . . . . . . . . . . . . 6233.3. Une conclusion . . . . . . . . . . . . . . . . . . . . . . . . . 626

Bibliographie 629Notations 635Index 641