séminaire biblio lisc - 3/04/02 complexité, information daprès jp delahaye (1999)
Post on 03-Apr-2015
110 Views
Preview:
TRANSCRIPT
Séminaire Biblio LISC - 3/04/02
Complexité, information
D’après JP Delahaye (1999)
Séminaire Biblio LISC - 3/04/02
Logico-empirisme
Systèmes formels logiques
Divers empirique
Structurent
Séminaire Biblio LISC - 3/04/02
Langage formel
Ensemble de signes axiomes règles d’inférence qui permettent
de dériver des formules à partir des axiomes
Séminaire Biblio LISC - 3/04/02
Machine de Turing
1 1 11 0 0
Nombre d’états fini
Règles de transition de type : (étati, clu, étatf, cécrit, dpl)
On appelle M(n) le résultat en écriture
Séminaire Biblio LISC - 3/04/02
Thèse de Church-Turing
Toute fonction définissable par un algorithme est définissable par une machine de Turing
Equivalence avec les fonction récursives partielles ou les fonctions lambda-définissables.
Séminaire Biblio LISC - 3/04/02
0
Calculateur1 1 11 0 0Programme
11 1 100Travail
01 1 00Résultats
Uniquement lecture vers la droite
Uniquement écriture vers la droite
Séminaire Biblio LISC - 3/04/02
Calculateur universel
Il existe des calculateurs universels Ci tels que pour tout calculateur Ck, pour tout programme réduit pr de Ck, il existe pr’ un programme réduit de Ci tel que pour toute donnée s :Ci(pr’,s)=Ck(pr,s) etlongueur(pr’) <longueur(pr)+simul(Ck)
Séminaire Biblio LISC - 3/04/02
Complexité de Kolmogorov
Soit une chaine de caractères (binaires) s finie
K(s) est définie comme la taille du plus petit programme tel que, pour Cu calculateur universel :
Cu(pr,)=s
Séminaire Biblio LISC - 3/04/02
Complexité de Chaitin et Levin
Idem complexité de Kolmogorov, mais programmes auto-délimités
Permet de définir une probabilité de tirage au hasard d’un programme et de faire un lien avec l’entropie
Séminaire Biblio LISC - 3/04/02
Théorie de l’information de Shannon
La quantité d’information correspond à la longueur moyenne des programmes minimaux permettant de de reconstituer des chaines s de caractères ci dont les probabilités d’apparition sont pi
valeur : longueur(s)(-pilogpi)
Séminaire Biblio LISC - 3/04/02
Chaînes de caractères infinies
Chaine binaire infinie s Partie A de N :
Si sn=1 alors nA, si sn=0 alors nA
Ensemble de formules d’un système formel : on numérote les formules dans l’ordre lexicographique.
Séminaire Biblio LISC - 3/04/02
Cinq classes d’ensembles
Récursifs
Récursivement énumérables
Approximables Inapproximables
Incompressibles
Séminaire Biblio LISC - 3/04/02
Récursif Il existe une machine de Turing M telle
que pour tout entier n :M(n)=1 si nA et M(n)=0 si nA
Il existe un système formel correct et complet pour les énoncés de la forme nA et de la forme nA
Exemples : l’ensemble des entiers pairs l’ensemble des nombres premiers
Séminaire Biblio LISC - 3/04/02
Récursivement énumérable
Il existe une machine de Turing telle que M(n)=1 pour tout nA(mais ne s’arrête pas forcément pour nA)
Il existe un système formel correct et complet pour les énoncés de la forme nA
Exemple L’ensemble E tel que Mi(i) existe
Séminaire Biblio LISC - 3/04/02
E est récursivement énumérable
Soit M la machine qui, à partir de i : Reconstitue la machine Mi, en utilisant les
règles de numérotation (cette opération est récursive et se termine)
Fait tourner Mi sur i et inscrit 1 comme résulat après l’arrêt
M est telle que M(i)=1 pour tout i E
Séminaire Biblio LISC - 3/04/02
E n’est pas récursif (Turing 1936)
Soit M la machine qui donne M(i) =1 si Mi(i) s’arrête, M(i) = 0 si Mi(i) ne s’arrête pas.
alors on peut en déduire M’ telle que M’(i) n’existe pas si Mi(i) existe, et M’(i) = 0 si Mi(i) n’existe pas.
Posons M’=Mk, alors on a :Mk(k) existe => Mk(k) n’existe pas
Séminaire Biblio LISC - 3/04/02
Ensemble approximable
A est approximable si et seulement si A est fini ou contient un ensemble infini récursivement énumérable
Exemple : L’ensemble des formules vraies pour
l’arithmétique est approximable, mais pas récursivement énumérable
Séminaire Biblio LISC - 3/04/02
Arithmétique
Formules du calcul des prédicats du premier ordre utilisant ‘=‘, ‘0’, ‘s’, ‘+’ , ‘.’
On peut numéroter les formules de l’arithmétique, par exemple par taille croissante et par ordre lexicographique
Soit Arith l’ensemble des formules vraies de l’arithmétique
Arith est approximable car il contient l’ensemble des formules vraies m+n=p
Séminaire Biblio LISC - 3/04/02
Arith est non récursivement énumérable (Gödel 1931)
si c’était possible alors il existerait une machine de Turing capable de prédire si Mi(i) s’arrête (car ce sont des formules de l’arithmétique), ce qui est impossible
Séminaire Biblio LISC - 3/04/02
Ensemble inapproximable
L’ensemble des formules de l’arithmétique vraies de la forme “la suite s est de complexité n”
Cad : Tout système formel correct pour les énoncés de la forme “la suite s est complexité n” n’en produit qu’un nombre fini
Séminaire Biblio LISC - 3/04/02
Ensemble incompréssible
A est incompréssible si et seulement si : il existe une constante c telle que tout système formel S correct pour les énoncés de la forme “n est dans A” et de la forme “n n’est pas dans A” en produit au plus H(S)+c
Séminaire Biblio LISC - 3/04/02
Exemple d’ensemble incompressible
La partie de N associée au nombre réel :
=nA 2-H(n)
où A est récursivement énumérable infini est un ensemble incompressible
Un système formel ne peut donner un nombre de digits du début de qu’égal à sa propre complexité (à une constante près)
Séminaire Biblio LISC - 3/04/02
Profondeur logique de Bennett
Définition : Soit s une chaine binaire finie, P(s) est le lemps de calcul du programme minimal de s
Intérêt : donne une idée de la complexité organisée. La profondeur diminue avec l’aléatoire, alors que la complexité de Kolmogorov augmente
Séminaire Biblio LISC - 3/04/02
Problème de décision polynomial
Soit A un ensemble récursif, A est dans P s’il existe M une machine prédisant l’appartenance ou la non-appartenance de n à A, avec un temps de calcul majoré par une fonction polynomiale de la taille de n.
Séminaire Biblio LISC - 3/04/02
Problème NP
Un ensemble A est dans NP ssi il existe un ensemble B et une machine M telle que : Pour tout n tel que nA, il existe m
B, de taille polynomiale avec n, tel que M(n,m)=1 en temps polynomial
Pour tout nA, pour tout m N, M(n,m)=0 (en temps polynomial)
Séminaire Biblio LISC - 3/04/02
Problème NP complet
Un problème A de décision est dit NP complet s’il est NP, et que tout problème NP peut être transformé en A en temps polynomial.
Exemple de problème NP complet : la satisfiabilité des conjonctions de disjonctions (CNF)
Séminaire Biblio LISC - 3/04/02
Problème NP difficile
Un problème (pas forcément NP) tel que s’il était résolu, alors il permettrait de résoudre en temps polynomial un problème NP complet.
Séminaire Biblio LISC - 3/04/02
Conclusion
Importance de la machine de Turing universelle qui donne du sens aux complexités de Kolmogorov et Bennett
Pas de sens unique pour complexité ou information
Lien avec la physique (entropie) la biologie et la cognition à manipuler avec beaucoup de prudence
top related