avant d'ecouter ce cours - fil lille 1nebut/portail/compils5/...langages algeb riques, comparaison...

Limites des langages réguliersLangages et grammaires algébriques

Arbres syntaxiquesGrammaires � pathologiques �

Les algébriques. . . et les autres

Langages et grammaires algébriques

Mirabelle Nebut

Bureau 332 - M3mirabelle.nebut at lifl.fr

2012-2013

Mirabelle Nebut Langages et grammaires algébriques

2/112




Avant d’écouter ce cours. . .

Il faut avoir lu le résumé associé.


3/112




But de ce cours

outils pourl’analyse lexicale

outils pourl’analyse syntaxique

type delangage

langagerégulier

langagealgébrique

descriptionexpressionsrégulières

grammairesalgébriques

formalismesous-jacent

AF(N)D automates à pile


4/112





Limites des langages réguliers


Arbres syntaxiques

Grammaires � pathologiques �



5/112




Principes de l’analyse syntaxique

I reçoit de l’analyseur lexical une suite de symboles ;

I reconnâıt dans cette suite la structure d’un texte.

Ex :

...

while (true) {

while (true) {

...

}

}

...

...

instruction

WHILE

PO TRUE

PF AO ... AO ... AF ... AF

cond listeInstr

...


6/112




Décrire/reconnâıtre la structure d’un texte

Les langages réguliers / expressions régulières ne suffisent pas.

exemple archi-typique : {anbn|n ≥ 0}I parenthésage imbriquéI pour le reconnâıtre :

I compter/mémoriser le nombre de a ;I compter /mémoriser le nombre de b.

I pas régulier.


7/112




anbn pas régulier, argument intuitif - 1

Dans un AF(fini)D : états = mémoire (finie)

Ex langages réguliers finis :

I {anbn|n ≤ 3} ;I {anbn|n ≤ 9045} ;I {anbn|n ≤ k} pour k fixé ;

...

AFD

Ex langage régulier infini : a∗a


8/112





{anbn | n ≥ 0} AFD mémoire finie

⇒ il suffit de prendre n plus grand que la taille de la mémoire.


9/112





Pour reconnâıtre {anbn|n ≥ 0} :I mémoriser un nombre non borné de symboles a et b ;

I ⇒ langage non régulier.

Pour reconnâıtre {anbn|n ≤ 32} :I il faut mémoriser au pire 32 a et 32 b ;

I mémorisation bornée ⇒ régulier.


10/112




anbn pas régulier, argument formel

Theorem (Lemme de pompage)

Soit L un langage régulier. Alors il existe un entier k tq pour toutmot m de L de longueur ≥ k, il existe des mots x , u, y ∈ Σ∗ avecm = xuv, u 6= � et pour tout n, xuny ∈ L.

x

q

yu

q0 qf

Pour anbn : où placer u ?


11/112




Les grammaires algébriquesLangage engendré, dérivationsLangages algébriques, comparaison avec les réguliersOutillage


Langages et grammaires algébriquesLes grammaires algébriquesLangage engendré, dérivationsLangages algébriques, comparaison avec les réguliersOutillage

Arbres syntaxiques




12/112





Grammaire algébrique pour Init

programme → entete listDecl listInstentete → PROG ID PV une productionlistInst → � une production videlistInst → instr listInstinstr → lecture PVinstr → affect PVlecture → READ ID. . .

TERMINAUX ∈ VTnon-terminaux ∈ VN

axiome ∈ VN


12/112





Grammaire algébrique pour Init

programme → entete listDecl listInstentete → PROG ID PV une productionlistInst → � une production videlistInst → instr listInstinstr → lecture PV | affect PV// équivalent !

lecture → READ ID. . .

TERMINAUX ∈ VTnon-terminaux ∈ VN

axiome ∈ VN

On écrit X → α | β pourX → αX → β


13/112





Définition formelle

Definition (grammaire algébrique)

Une grammaire algébrique ou hors-contexte est un quadruplet

G = (VT ,VN ,P,S)

I VT et VN sont des vocabulaires disjoints : VT est l’ensembledes terminaux, VN l’ensemble des non-terminaux ;

I S ∈ VN est l’axiome, ou symbole de départ (Start) ;I P ⊆ VN × (VN ∪ VT )∗ est l’ensemble des (règles de)

productions.


14/112





Remarques

� P ⊆ VN × (VN ∪ VT )∗ est l’ensemble des productions � :

instr → affect PVest une notation pour

(instr, affect PV) ∈ P

Terminaux de VT = unités lexicales fixées à l’analyse lexicale.

La grammaire engendre des mots de VT∗.


15/112





Comment engendrer des mots ?

Problème : engendrer des mots de VT∗ à partir :

I de l’axiome ;

I et des productions de la grammaire.

Ex : engendrer le mot PROG ID PV à partir de GI :

(1) programme → entete listDecl listInst (3) listDecl → �(2) entete → PROG ID PV (4) listInst → �

Moyen : dérivations directes successives, à partir de l’axiome.


16/112





Comment engendrer des mots - dérivations directes

(1) programme → entete listDecl listInst (3) listDecl → �(2) entete → PROG ID PV (4) listInst → �

programme ⇒GI entete listDecl listInst (dér. directe par (1))entete listDecl listeInst ⇒GI PROG ID PV listDecl listInst par (2)PROG ID PV listDecl listInst ⇒GI PROG ID PV listDecl par (4)PROG ID PV listDecl ⇒GI PROG ID PV par (3)


17/112





Dérivation : définition

Une dérivation est une suite de dérivations directes :

programme ⇒GI entete listDecl listInst⇒GI PROG ID PV listDecl listInst ⇒GI PROG ID PV listDecl⇒GI PROG ID PV

Cette dérivation est de longueur 4 : programme ⇒4GI PROG ID PVNotation : programme ⇒∗GI PROG ID PVPour une grammaire G d’axiome S , une dérivation pour le mot mdésigne une dérivation de S à m.


18/112





Langage engendré par une grammaire

Definition (langage engendré)

Soit G une grammaire algébrique d’axiome S . Le langage engendrépar G est défini par :

L(G ) = {m ∈ VT ∗ | S ⇒∗ m}

Déterminer si un mot m appartient au langage engendré, c’estdéterminer si :

S ⇒∗G m ?


19/112





Autre exemple - une grammaire des additions - 1

GA = (VT ,VN ,P,A) où

I VT = {id, +}I VN = { A }I P = { A → A + A | id }


20/112





Autre exemple - une grammaire des additions - 2

A → A + A | id

Une dérivation possible pour le mot id + id + id :

A ⇒ A + A ⇒ A + A + A ⇒ A + id + A ⇒ id + id + A ⇒id + id + id

Donc A ⇒∗ id + id + id, ou A ⇒5 id + id + id


21/112





Mon voisin a trouvé une dérivation différente !

On peut souvent trouver plusieurs dérivations pour un mot.

Deux sources de choix :

I choix du non-terminal à dériver ;

I choix de la production à appliquer, de membre gauche lenon-terminal choisi.


22/112





Dérivation directe (formellement) - 1

Definition (dérivation directe)

Soient β, β′ ∈ (VN ∪ VT )∗. β se dérive directement en β′ selon G ,noté β ⇒G β′, s’il existe des mots γ, γ′ ∈ (VN ∪ VT )∗ et uneproduction X → α tels que : β = γ X γ′

β′ = γ α γ′

Ex :

β︷︸︸︷A + A + A ⇒

β′︷︸︸︷A + id + A par

X︷︸︸︷A →

α︷︸︸︷id

A +︸︷︷︸γ

A︸︷︷︸X

+ A︸︷︷︸γ′

⇒ A +︸︷︷︸γ

id︸︷︷︸α

+ A︸︷︷︸γ′


23/112





Dérivation directe (formellement) - 2

Definition (dérivation directe)

Soient β, β′ ∈ (VN ∪ VT )∗. β se dérive directement en β′ selon G ,noté β ⇒G β′, s’il existe des mots γ, γ′ ∈ (VN ∪ VT )∗ et uneproduction X → α tels que : β = γ X γ′

β′ = γ α γ′

Ex :

β︷︸︸︷A + A ⇒

β′︷︸︸︷A + A + A par

X︷︸︸︷A →

α︷︸︸︷A + A

A +︸︷︷︸γ

A︸︷︷︸X

︸︷︷︸γ′=�

⇒ A +︸︷︷︸γ

A + A︸︷︷︸α

︸︷︷︸γ′=�


24/112





Encore un exemple, et un piège

VT = {a, b}, VN = {S ,B}, axiome S ,P = {S → BB, B → a | b }.Dérivation pour aa ?

De longueur 3, pas 2 !


25/112





Dérivation (formellement)

Definition (dérivation)

Soient β, β′ ∈ (VN ∪ VT )∗. Une suite de mots β0, β1, . . ., βn(n ≥ 0) est une dérivation de β en β′ selon G si β0 = β, βn = β′,et

β0 ⇒ β1 ⇒ · · · ⇒ βn

Definition (relation de dérivation)

La relation de dérivation ⇒∗G est la fermeture réflexive et transitivede la relation de dérivation directe ⇒G .


26/112





Mon voisin a trouvé une grammaire différente !

On peut trouver 2 grammaires algébriques qui engendrent le mêmelangage.

Definition (grammaires équivalentes)

Deux grammaires sont équivalentes si elles engendrent le mêmelangage.


27/112





Langages algébriques

Definition (langage algébrique)

Les langages engendrés par les grammaires algébriques sontappelés langages algébriques.


28/112





Comparaison avec les réguliers

réguliers

algébriques

régulier ⇒ algébriquealgébrique 6⇒ régulier

Tout langage régulier est algébrique :

I possible d’utiliser une grammaire algébrique au lieud’expressions régulières ;

I mais AF plus efficaces.

Il existe des algébriques qui ne sont pas réguliers : {anbn|n ≥ 0}


29/112





Un exemple pour la route

Une première grammaire des expressions arithmétiques :

GE = (VT ,VN ,P,E ) :

I VT = {id, +, *, (, )}I VN = { E }I P = { E → E + E | E * E | ( E ) | id }

Montrer que id * (id + id) est un mot de L(GE ).

Langage algébrique ? régulier ?


30/112





Générateurs d’analyseurs syntaxiques

alg

javacjava

analyseur

syntaxique

suite

symboles

erreur

générateur

erreur

AnSynt.java

dérivationarbre synt

gram

On verra 2 outils : Cup et antLRMirabelle Nebut Langages et grammaires algébriques

31/112






Arbres syntaxiques




32/112




Arbre syntaxique

Arbre résultant de l’analyse syntaxique.

Fait apparâıtre la structure syntaxique d’un mot.

Notion très importante, on le verra plus tard.

On parle aussi d’arbre de dérivation.


33/112




Arbre syntaxique : exemple - 1

Arbre syntaxique pour id * (id + id) selon GE :

*

E E E

E

E

E

id ( id + id )


34/112




Arbre syntaxique : exemple - 2

Arbre syntaxique pour PROG ID PV selon GI :

program

entete listDecl listInst

PVIDPROG � �


35/112




Schématiquement

Pour une grammaire G :

I la racine : l’axiome de G ;

I le mot des feuilles : le mot qui nous intéresse ;

I les noeuds internes sont agencés selon les productions de G :

A→ N1N2 . . .Nk

N1 Nk

A

...

A→ �

�

A


36/112




Arbre syntaxique et appartenance à L(G )

TheoremSoit m ∈ VT ∗. m ∈ L(G ) ss’il existe un arbre syntaxique selon Gdont le mot aux feuilles est m.On dit alors que cet arbre est un arbre syntaxique pour m, ou quem admet cet arbre.

Répondre à m ∈ L(G ) = chercher un arbre syntaxique pour m.


37/112




En pratique

Les analyseurs syntaxiques ne construisent pas un arbre syntaxique.

L’arbre est une représentation commode pour comprendre l’analysesyntaxique.

Ils construisent une dérivation particulière, appelée gauche oudroite.

⇒ lien entre arbre syntaxique et dérivation ?


38/112




Arbre syntaxique et dérivations - 1

Facile de construire un arbre syntaxique à partir d’une dérivation.

E ⇒ E * E⇒ id * E⇒ id * ( E )⇒ id * ( E + E )⇒ id * ( id + E )⇒ id * ( id + id )

*

E E E

E

E

E

id ( id + id )

À une dérivation correspond un seul arbre.


39/112





À un arbre correspondent potentiellement plusieurs dérivations.

E

E E

id + id

E ⇒GI E + E ⇒GI id + E⇒GI id + id

E ⇒GI E + E ⇒GI E + id⇒GI id + id

Ces 2 dérivations sont � équivalentes � : elles correspondent aumême arbre :

I mêmes productions appliquées aux mêmes non-taux ;

I seul l’ordre des dérivations directes varie.


40/112




Arbre syntaxique et dérivations : dérivations gauche/droite

On peut fixer l’ordre des dérivations directes en choisissantsystématiquement :

I soit le non-terminal le plus à gauche ;E ⇒GI E + E ⇒GI id + E ⇒GI id + id dérivation gauche

I soit le non-terminal le plus à droite.E ⇒GI E + E ⇒GI E + id ⇒GI id + id dérivation droite

À chaque arbre syntaxique correspond une unique dérivationgauche et une unique dérivation droite.


41/112




Dérivation gauche/droite, formellement

DefinitionSoient β, β′ ∈ (VN ∪ VT )∗ et β0 ⇒ β1 ⇒ · · · ⇒ βn une dérivationde β en β′. Si à chaque étape on choisit de remplacer dans βi lenon-terminal :

I le plus à gauche : c’est une dérivation gauche (leftmost

derivation) notée βlm

=⇒∗β′ ;

I le plus à droite : c’est une dérivation droite (rightmost

derivation) notée βrm

=⇒∗β′.


42/112





Certaines dérivations ne correspondent pas au même arbre.(1) E ⇒ E * E ⇒ E * E + E ⇒∗ id * id + id(2) E ⇒ E + E ⇒ E * E + E ⇒∗ id * id + id

(1)

id id + id

E E

EE

E

*

(2)

E E

id id + id

E

E

*

E

À un mot correspondent potentiellement plusieurs arbres.


43/112




Récapitulatif

I À une dérivation correspond un seul arbre.

I À un arbre correspondent potentiellement plusieursdérivations.

I À un arbre correspond une unique dérivation gauche et uneunique dérivation droite.

I À un mot correspondent potentiellement plusieursarbres/interprétations.


44/112




AmbigüıtéGrammaires réduites



Arbres syntaxiques





45/112





Grammaire refusée par le générateur

erreur

générateurgramalg

2 cas possibles :

I la grammaire est pathologique : le concepteur doit la réviser

I la grammaire ne convient pas à la méthode d’analysesyntaxique implantée par l’outil : autre problème, cf suite ducours


46/112





Pathologies vues dans ce cours

Les grammaires ambiguës :

I elles sont rejetées par le générateur

I avec un message d’erreur pas forcément explicite

I il faut trouver une grammaire équivalente

Les grammaires non réduites :

I acceptées par le générateur, éventuellement avec warning

I mais le générateur calcule en fait une autre grammaire

I signale souvent une erreur de conception

I il faut savoir comprendre et réparer


47/112







Arbres syntaxiques



Les algébriques. . . et les autresComparaison avec les réguliersLimitation des algébriquesLes autres


48/112





Interprétation d’un mot et ambigüıté

Deux interprétations (sémantiques) différentes de id * id + id :ce mot est ambigu.

id id + id

E E

EE

E

*

+ prio sur *

E E

id id + id

E

E

*

E

* prio sur +


49/112





Définition

Definition(ambigüıté) Un mot w ∈ L(G ) est ambigu s’il admet plusieursarbres syntaxiques.


50/112





Récapitulatif

I À une dérivation correspond un seul arbre.

I À un arbre correspondent potentiellement plusieursdérivations.

I À un arbre correspond une unique dérivation gauche et uneunique dérivation droite.

I À un mot correspondent potentiellement plusieursarbres/interprétations.

I À un mot non ambigu correspond un(e) uniquearbre/interprétation.


51/112





Définitions

DefinitionUne grammaire est ambiguë si elle permet de dériver au moins unmot ambigu.

DefinitionUn langage est ambigu si toutes les grammaires qui l’engendrentsont ambiguës.


52/112





Le problème des interprétations multiples

Un programme ayant plusieurs interprétations ?

Désastreux pour un programme souhaité déterministe !

On ne travaille qu’avec des grammaires dites non ambiguës, pourlequelles tout mot admet un unique arbre syntaxique.

⇒ il faut savoir repérer les grammaires ambiguës.


53/112





Détecter l’ambigüıté - 1

Certaines grammaires sont � clairement � ambiguës, repérableavec de l’expérience.Ex de production récursive symétrique : E → E + E .

EE

+

E

+

E

E

EE

+

E

E

+

E


54/112






Certaines grammaires sont mal conçues

Ex grammaire Init G1 non ambiguë :

listInst → � | inst listInstinst → affect PV | lecture PV

lecture → READ IDENT

READ IDENT PV. . .

lecture

inst

listInst

listInst

PV


55/112






Déplacement de la production vide.

Ex grammaire Init G2 ambiguë :

listInst → inst listInst | instinst → � | affect PV | lecture PV

Voyez-vous pourquoi G2 est ambiguë ?


56/112





Prouver une ambigüıté

Prouver qu’une grammaire est ambiguë = trouver un mot quiadmet au moins 2 arbres syntaxiques.

L’utilisation d’un générateur d’analyseur syntaxique peut aider.

Prouver qu’une grammaire n’est pas ambiguë = faire une preuve.

Décider de l’ambigüıté d’une grammaire est difficile : c’est unproblème indécidable.


57/112





Grammaires ambiguës, en pratique

Quand un langage L est intuitivement non ambigü. . .

et qu’une grammaire engendrant L l’est. . . on peut essayer de larendre non ambiguë :

I le plus souvent : on réfléchit et on change peu de choses ;

I cas particulier : les grammaires à opérateurs.


58/112





Grammaires à opérateurs

Grammaires faisant intervenir des opérateurs avec :

I associativité ;

I priorités.

Ex : grammaire (ambiguë) des expressions arithmétiques

E → E + E | E * E | ( E ) | id


59/112





Associativité des opérateurs

Première source d’ambigüıté : l’associativité de + et *.

EE

+

E

+

E

E

id id id

associativité droite

EE

+

E

E

+

E

id id id

associativité gauche


60/112





Priorité des opérateurs

Seconde source d’ambigüıté : priorité de + et *.

id id + id

E E

EE

E

*

+ prio sur *

E E

id id + id

E

E

*

E

* prio sur +

NB : plus prioritaire = dérivé du E le plus bas dans l’arbre


61/112





Principes - 1

E → E + E | E * E | ( E ) | id

Dans cette grammaire l’axiome E représente potentiellement :

I une somme : opérateur + ;

I un produit : opérateur * ;

I une expression atomique : id ;

I une expression parenthésée.

Pour refléter les priorités des opérateurs dans la grammaire :

I on repère la structure d’une expression ;

I on structure la grammaire en conséquence.


62/112





Principes - 2

Structure d’une expression : somme de produits de facteurs∑

i=0...n

∏

j=0...m

xij

Rmq : d’abord la somme, la moins prioritaire.

Les facteurs xij sont soit :

I un atome id ;I une expression parenthésée.

Pour imiter cette structure dans la grammaire, on lui ajoute :

I S ∈ VN pour une somme ;I P ∈ VN pour un produit ;I F ∈ VN pour un facteur.


63/112





Traitement de l’associativité, ex des produits - 1

F → id | ( E ) P → ? * ?Un opérande d’un produit peut être :

I un autre produit : récursivité sur P ;

I un facteur F (ne permettant pas de dériver un produit).

Par ailleurs :

I on ne veut pas d’un produit P * P !

I il faut un � cas d’arrêt � : P → FP → F | P * F ?F → id | ( E )Récursivité gauche ?

P → F | F * P ?F → id | ( E )Récursivité droite ?


64/112





Traitement de l’associativité, ex des produits - 2

P → F | P * FF → . . . récursivité gauche

P

P F

F

id id* * id

F

P

associativité gauche

P → F | F * PF → . . . récursivité droite

P

P F

F

id id**id

F

P

associativité droite

Ici on choisira donc une récursivité gauche.


65/112





Traitement des priorités - 1

En traitant la somme (de produits) de la même manière : OK

E → SS → P | S + PP → F | P * FF → id | ( E )

F

F

F

S

P

S

P

E

id * id + id

P


66/112





Traitement des priorités - 2

Rmq : en inversant somme et produit : KO

E → S S en hautS → P | S + PP → F | P * F . . .

F

F

F

S

P

S

P

E

id * id + id

P

E → P P en hautP → S | P * SS → F | S + F . . .

F F F

SP

E

P

SS

id id + id*


67/112





Systématisation

Pour rendre une grammaire à opérateur non ambiguë :

I on ajoute un non terminal par niveau de priorité (S pour +, Ppour *, etc) ;

I les moins prioritaires en haut de l’arbre, proches de l’axiome ;

I les plus prioritaires en bas de l’arbre, proches des feuilles ;

I les � atomes � tout en bas ;

I associativité gauche/droite ⇒ récursivité gauche/droite.


68/112





Exemple plus gros

E → E + E | E - E | E * E | E / E | - E | ( E ) | id

{+,−b}︸︷︷︸S

≤prio {∗, /}︸︷︷︸P

≤prio {-u}︸︷︷︸U

≤prio {()}︸︷︷︸A

E → SS → P | S + P | S - PP → U | P * U | P / UU → - U | AA → ( E ) | id


69/112





Grammaires à opérateurs, bilan

Version ambiguë : très intuitive. . . mais ambiguë !

Version non ambiguë : opérationnalisable. . .

I mais complètement illisible !

I taille arbre beaucoup plus grande.


70/112





Grammaires à opérateurs, automatisation

On a un algorithme qui calcule une grammaire nonambiguë équivalente.

Il prend en entrée :

I une grammaire à opérateurs ambiguë ;

I et les niveaux de priorité + associativité des opérateurs.


71/112





Grammaires à opérateurs, outillage

Cup :

I on spécifie (et décore) uniquement la grammaire ambiguë ;

I on spécifie les niveaux de priorité + associativité desopérateurs.

I la version non-ambiguë est automatiquement calculée, maisreste implicite.

antLR :

I il faut écrire la grammaire non-ambiguë à la main

I donc mâıtriser l’algorithme de calcul. . .


72/112







Arbres syntaxiques





73/112





Aparté : parallèle code/grammaire - 1

Quand on code. . . :

I on écrit des bêtises (bugs) ;

I on écrit du code mort ;

I on écrit des choses simplifiables, genre if (x == true) ;

I etc.

Pour détecter ces bêtises :I analyses statiques possibles (à la compilation) :

I détecte des erreurs de typages, de syntaxe, code mort, etc.

I test (à l’exécution) :I on essaie pour voir si ça marche ;I détecte les erreurs � sémantiques � (le programme est

syntaxiquement correct mais ne répond pas à sa spécification).


74/112






Quand on écrit une grammaire : c’est pareil ! on peut se tromper :

I on a oublié une production ;

I on s’est trompé dans l’écriture d’une production ;

I etc.

Certaines erreurs sont détectables statiquement :

I détection de productions et non-taux inutiles (∼ code mort) ;I ⇒ obtention d’une grammaire dite réduite (cf cours).

Erreurs sémantiques (la grammaire ne dit pas ce qu’on pense) :

I on teste en exécutant l’analyseur syntaxique.


75/112






On souhaite parfois réusiner (refactoring) un programme. . .

. . . de même on peut souhaiter transformer une grammaire pour :

I obtenir des arbres syntaxiques plus compacts ;I suppression des règles X → Y et X → � ;I ⇒ grammaires propres ;

I obtenir une forme de grammaire particulière propice àcertaines analyses ;

I forme normale de Chomsky (FNC) ;I X → a ou X → YZ ;

I mettre à part �.

Pas dans ce cours, cf la littérature.


76/112





Grammaires réduites

Certaines grammaires sont � pathologiques � car certainsnon-terminaux ne servent à rien.

Souvent dû à une erreur de conception : cf code mort.

En pratique :

I les générateurs signalent au mieux le problème par un warningà la génération

I on décèle souvent le problème en testant l’analyseursyntaxique.

DefinitionUne grammaire est dite réduite si elle ne contient pas denon-terminal improductif ou inaccessible.


77/112





Non-terminaux improductifs : exemple

liste → elt ; listeelt → a | b

liste est improductif : il ne permet pas de dériver un mot de{a, b, ; }∗.En fait on voulait dire : liste → elt ; liste | elt

elt → a | b


78/112





Ce qu’en disent les outils

liste → elt ; listeelt → a | b

Rien ! Pas de warning à la génération.

Mais l’analyseur syntaxique généré signale une erreur syntaxiquedès qu’on termine l’entrée par EOF.

⇒ on se doute qu’il y a une erreur qqpart !


79/112





Définition d’un improductif

DefinitionUn non-terminal X ∈ VN est improductif s’il n’existe pas de motu ∈ VT ∗ tel que X ⇒∗ u (le langage engendré par X est vide). Ilest productif sinon.


80/112





Calcul des improductifs

1. on calcule les productifs ;

2. par complémentaire on a les improductifs.

Ensuite on répare la grammaire pour que les improductifs ne lesoient plus.

NB : on obtiendrait une grammaire équivalente à celle de départ ensupprimant toutes les productions contenant un improductif enpartie gauche ou droite.


81/112





Calcul des productifs : idée

X est productif :

I s’il existe une production X → u avec u ∈ VT ∗ ;I ou s’il existe une production X → α avec α ∈ (VN ∪ VT )∗ tel

que tous les non-terminaux apparaissant dans α sontproductifs.


82/112





Calcul des productifs : plus petit point fixe

Algorithme näıf pour calculer un plus petit point fixe par itérationssuccessives :

I on part d’un ensemble initial ;

I on le fait grossir itérativement ;

I jusqu’à stabilisation.


83/112





Exemple

G1 telle que VN = {S ,X ,Y ,Z ,W } (axiome S), VT = {a, b, d} et(1) S → a X(2) S → d W(3) X → b S(4) X → a Y b Y(5) Y → b a(6) Y → a Z(7) Z → a Z X(8) W → a S


84/112





Exemple, résolution

no itération Prod

0 (init)123

. . .


85/112





Algorithme de calcul des productifs

Entrée : une grammaire algébrique GSortie : l’ensemble Prodde ses non-terminaux productifs

// Init

Prod = ∅pour toute production X → u, u ∈ VT ∗faire Prod = Prod ∪ {X} // noté Prod ∪= {X}fait


86/112





Algorithme de calcul des productifs

// Itérationsfaire jqa stabilisation de Prod

New = ∅ // les productifs découverts// pendant l’itération

pour toute production X → u1X1u2 . . .Xnuntq X 6∈ Prod // X pas encore traité

et {X1, . . . ,Xn} ⊆ Prod // X productiffaire New ∪= {X}faitProd ∪= New

fait


87/112





Exemple, solution

On trouve Prod = {Y ,X ,S ,W }, donc Z est improductif.En supprimant Z partout on obtient la grammaire équivalente àG1 :

G ′1 telle que VN = {S ,X ,Y ,W } et(1) S → a X(2) S → d W(3) X → b S(4) X → a Y b Y(5) Y → b a(8) W → a S


88/112





Non-terminaux inaccessibles : exemple

Ex : instr → if |while | doaffect → IDAFFID

L’axiome ne permet pas � d’attraper � affect, qui est inutile.

En fait on voulait dire : instr → if |while | do | affectaffect → . . .


89/112





Ce qu’en disent les outils

instr → if |while | doaffect → IDAFFID

Cup affiche un warning :*** Production ”affect : := ID AFF ID” never reduced

antLR ne signale rien.

Dans les 2 cas l’analyseur syntaxique généré n’accepte aucuneaffectation.

⇒ on se doute qu’il y a une erreur qqpart !


90/112





Définition d’un inaccessible

DefinitionSoit G une grammaire algébrique d’axiome S . Un non-terminalX ∈ VN est inaccessible s’il n’existe pas de motsα, β ∈ (VN ∪ VT )∗ tels que S ⇒∗ αXβ. Il est accessible sinon.


91/112





Calcul des inaccessibles

1. on calcule les accessibles ;

2. on a par complémentaire les inaccessibles ;

Ensuite on répare la grammaire pour que les inaccessibles ne lesoient plus.

NB : on obtiendrait une grammaire équivalente à celle de départensupprimant toutes les productions contenant un inaccessible enpartie gauche (suffisant, supprime automatiquement lesinaccessibles en partie droite).


92/112





Calcul des accessibles : idée

X est accessible si :

I c’est l’axiome ;

I ou il existe une production Y → αXβ telle que Y estaccessible.

Même principe d’itération de point fixe que pour les accessiblesmais on cherche les candidats en partie droite de production.


93/112





Exemple

G2 telle que VN = {S ,Y ,U,V ,X ,Z} (axiome S),VT = {a, b, d , e} et(1) S → Y(2) Y → Y Z(3) Y → Y a(4) Y → b(5) U → V(6) X → e(7) V → V d(8) V → d(9) Z → Z X


94/112





Exemple, solution

Acc = {S , Y , Z , X}En supprimant U et V partout on obtient la grammaireéquivalente à G2 :

G ′2 telle que VN = {S ,X ,Y ,Z} et(1) S → Y(2) Y → Y Z(3) Y → Y a(4) Y → b(6) X → e(9) Z → Z X


95/112





Algorithme de calcul des accessibles

Entrée : une grammaire algébrique G d’axiome SSortie : l’ensemble Accde ses non-terminaux accessibles

// Init

Acc = {S}


96/112





Algorithme de calcul des accessibles

// Itérationsfaire jqa stabilisation de Acc

New = ∅ // les accessibles découverts// pendant l’itération

pour toute production Y → αXβ, {X ,Y } ⊆ VNtq X 6∈ Acc // X pas encore traité

et Y ∈ Acc // X accessiblefaire New ∪= {X}faitAcc ∪= New

fait


97/112





Grammaire réduite : attention

Si on souhaite calculer une grammaire réduite :

Il faut supprimer d’abord les improductifs puis les inaccessibles.

Ex : Improductifs de G ′2 : {Z}Si on supprime Z . . . X devient inaccessible !

La grammaire réduite équivalente est donc :(1) S → Y(3) Y → Y a(4) Y → b


98/112




Comparaison avec les réguliersLimitation des algébriquesLes autres



Arbres syntaxiques




99/112





Propriétés de clôture

réguliers ⊂ algébriquesLes algébriques sont plus expressifs que les réguliers. Ils ont doncdes propriétés moins fortes :

clôture par langages réguliers langages algébriques

Union Oui Oui

Concaténation Oui Oui

Etoile Oui Oui

Intersection Oui Non

Complémentaire Oui Non


100/112





Régulier ? Algébrique ?

Description de déplacements sur h et b.

L1 = {w ∈ {h, b}∗}L2 = {hnbp | n ≥ 0, p ≥ 0}L3 = {hnbp | n ≥ p ≥ 0}L4 = {w ∈ {h, b}∗ | |w |h = |w |b}L5 = {w ∈ {h, b}∗ | w est un palindrome }L6 = {ww | w ∈ {h, b}∗}


101/112





Limitation des algébriques

L6 = {ww | w ∈ {h, b}∗} n’est pas algébrique.Les grammaires algébriques expriment :

I les propriétés structurelles des langages ;

I mais pas leurs propriétés contextuelles ;

I on les appelle aussi � grammaires hors contexte �.

Par ex, on ne peut pas exprimer par une grammaire algébrique :

I que toute variable utilisée a été déclarée ;

I les vérifications de typage, etc.

Ces propriétés relèvent de l’analyse sémantique.


102/112





Limitation des algébriques

Étant donné :

I un mot m de (VT ∪ VN)∗ contenant X ∈ VNI une production X → α

la dérivation remplace X par α indépendamment de m, le contextede X .

X

m


103/112





Ex de propriété structurelle

Toute accolade ouverte est fermée : S → � | aSb

a

S

S

b

a et b sont dans le même arbre issu de S

⇒ propriété indépendante du contexte.


104/112





Ex de propriété contextuelle

{ww | w ∈ {h, b}∗} : essai. . .

S → S1S2S1 ⇒∗ w1S2 ⇒∗ w2

S

w1 w2

S1 S2

w1 et w2 sont dans deux arbres indépendants :

I on ne peut pas forcer w1 = w2 ;

I propriété dépendante du contexte.


105/112





Autre exemple

{anbncn | n ≥ 0}

Comment forcer autant de a que de b que de c ?

Impossible avec des dérivations indépendantes les unes des autres.

⇒ {anbncn | n ≥ 0} n’est pas algébrique.


106/112





Justification théorique : lemme fondamental desalgébriques

Soient u1, u2, v ∈ (VT ∪ VN)∗.Si u1u2 →k v alors il existe v1, v2 ∈ (VT ∪ VN)∗ tels que :

I v = v1v2I u1 →k1 v1 et u2 →k2 v2I k1 + k2 = k .

Ce lemme ou sa généralisation sert dans les preuves, par exemplepour montrer que le langage engendré par S → aSb | � est{anbn | n ≥ 0}.


107/112





Comment être sensible au contexte ?

En utilisant une grammaire contextuelle.

Productions de la forme : α→ β avec |α| ≤ |β|avec α, β ∈ (VN ∪ VT )∗

Ex : AB → BALes grammaires contextuelles :

I engendrent les langages contextuels ;

I ne sont pas utilisées lors de l’analyse syntaxique ;

I pas d’algorithme polynomial connu qui, pour tout mot,détermine si ce mot est engendré par une grammairecontextuelle donnée.


108/112





Si on continue à généraliser. . .

Il existe des grammaires arbitraires.

Productions de la forme : α→ βavec α, β ∈ (VN ∪ VT )∗

Ex : AB → �Ces grammaires engendrent l’ensemble de tous les langages.


109/112





Hiérarchie des langages et des grammaires

régulier

algébrique

arbitraire

contextuel

Chaque type de langage est généré par un type de grammaireparticulier. . . y compris les réguliers.

Classification de Chomsky pour les grammaires :

régulière ⊂ algébrique ⊂ contextuelle ⊂ quelconque


avant d'ecouter ce cours - fil lille 1nebut/portail/compils5/...langages algeb riques, comparaison...

Documents