inf l11 langage et informatique 1 cours 10 – correction orthographique

INF L11INF L11Langage et informatique 1Langage et informatique 1

Cours 10 – Correction orthographiqueCours 10 – Correction orthographique

IntroductionIntroduction Quantité colossale de textes écritsQuantité colossale de textes écrits Sans doute en très grande Sans doute en très grande

progressionprogression WebWeb E-mailE-mail ChatsChats SMSSMS BlogsBlogs

La planète n’a jamais autant écrit !La planète n’a jamais autant écrit ! Orthographe souvent approximativeOrthographe souvent approximative

ApplicationApplication

Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples

Recherche d’informationRecherche d’information

Exemple (Exemple (GoogleGoogle))

488941 britney spears

40134 brittany spears

36315 brittney spears

24342 britany spears

7331 britny spears

6633 briteny spears

2696 britteny spears

1807 briney spears

1635 brittny spears

1479 brintey spears

1479 britanny spears

1338 britiny spears

1211 britnet spears

1096 britiney spears

991 britaney spears

991 britnay spears

811 brithney spears

811 brtiney spears

664 birtney spears

664 brintney spears

664 briteney spears

601 bitney spears

601 brinty spears

544 brittaney spears

544 brittnay spears

364 britey spears

364 brittiny spears

329 brtney spears

269 bretney spears

269 britneys spears

244 britne spears

244 brytney spears

220 breatney spears

220 britiany spears

199 britnney spears

163 britnry spears

147 breatny spears

147 brittiney spears

147 britty spears

147 brotney spears

147 brutney spears

133 britteney spears

133 briyney spears

121 bittany spears

121 bridney spears

121 britainy spears

121 britmey spears

109 brietney spears

109 brithny spears

109 britni spears

... etc.

ApplicationApplication

Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples

Recherche d’informationRecherche d’information Traduction automatiqueTraduction automatique

ApplicationApplication

Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples

Recherche d’informationRecherche d’information Traduction automatiqueTraduction automatique Synthèse de la paroleSynthèse de la parole

TerminologieTerminologie

TraditionTradition orthographe d’usage ou lexicaleorthographe d’usage ou lexicale

écriture du mot en lui-même, sans écriture du mot en lui-même, sans considération des rapports qu’il entretient avec considération des rapports qu’il entretient avec le reste de la phrasele reste de la phrase

ex. ex. fôte, ortografe, lappin,fôte, ortografe, lappin, etc. etc.

orthographe grammaticaleorthographe grammaticale partie qui dépend des relations grammaticalespartie qui dépend des relations grammaticales

accords : accords : des des fautefaute d’orthographe, nous sommes d’orthographe, nous sommes venuvenu conjugaisons : conjugaisons : je vous aimje vous aimezez, nous avons mang, nous avons mangerer homographes grammaticaux : homographes grammaticaux : c’est – ces –ses, à – a,c’est – ces –ses, à – a,

etc.etc.

TerminologieTerminologie

Jargon informatiqueJargon informatique Correcteur Correcteur

orthographiqueorthographique= orthographe d’usage = orthographe d’usage

(lexicale)(lexicale) Correcteur Correcteur

grammaticalgrammatical= orthographe = orthographe

grammaticalegrammaticale

+ autres erreurs de + autres erreurs de grammaire, non grammaire, non orthographiquesorthographiques

Orthographe lexicaleOrthographe lexicale

Principe de base Principe de base La machine contient un La machine contient un

dictionnairedictionnaire Chaque mot du texte est comparé Chaque mot du texte est comparé

au dictionnaireau dictionnaire

Deux problèmes Deux problèmes différentsdifférents

Détecter les Détecter les erreurserreurs Souligner les mots Souligner les mots

erronéserronés Fournir des Fournir des

corrections corrections possiblespossibles

...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...

orthograffe ?

DétectionDétection Un accès au dictionnaireUn accès au dictionnaire

CorrectionCorrection Plus compliquéPlus compliqué

...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...

orthograffe ? on proposequoi ?

ProblèmeProblème

Où chercher ?Où chercher ?

...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...

ortographe

(loin !)

ProblèmeProblème

Encore pireEncore pire

...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...

rthographe

(très très loin !)

Temps de calculTemps de calcul

Il faudrait parcourir tout le Il faudrait parcourir tout le dictionnaire pour chaque motdictionnaire pour chaque mot

Trop coûteux en temps de Trop coûteux en temps de calculcalcul

Donc, méthodes Donc, méthodes approximativesapproximatives bonnes la plupart du tempsbonnes la plupart du temps échouent de temps à autre...échouent de temps à autre...

Il faut avoir un « modèle des Il faut avoir un « modèle des erreurs »erreurs »

Modèle des erreursModèle des erreurs

Erreurs de performanceErreurs de performance L’utilisateur sait, mais son doigt L’utilisateur sait, mais son doigt

glisse...glisse... brintey spears

Erreur de compétenceErreur de compétence L’utilisateur ne sait pas et produit une L’utilisateur ne sait pas et produit une

graphie approximativegraphie approximative brittany spears

Erreurs de performanceErreurs de performance Catégories les plus Catégories les plus

fréquentesfréquentes InsertionInsertion

beabeazzcoupcoup SuppressionSuppression

beabeauououpup SubstitutionSubstitution

bebezzucoupucoup InterversionInterversion

bbaeaeucoupucoup

Dans la grande majorité Dans la grande majorité des casdes cas une seule erreurune seule erreur

Diverses techniquesDiverses techniques Exemple : cléExemple : clé

on classe les lettres du mot par ordre on classe les lettres du mot par ordre alphabétique et on enlève les doublonsalphabétique et on enlève les doublons

on fait pareil avec le dictionnaireon fait pareil avec le dictionnaire

ORTHOGRAPHEORTHOGRAPHE AEGHOPRTAEGHOPRT

ORTHOGRAFFEORTHOGRAFFE AEFGHORTAEFGHORT

ORTOGRAPHEORTOGRAPHE AEGHOPRTAEGHOPRT

RTOGRAPHERTOGRAPHE AEGHOPRTAEGHOPRT

...... ......

On n’examine que les clés de longueur N-1, N On n’examine que les clés de longueur N-1, N ou N+1ou N+1

AccidentsAccidents

L’affaire Cordial / NPA (mars 2000)L’affaire Cordial / NPA (mars 2000) Anti-stressAnti-stress anti-arabesanti-arabes !!! !!! scandale, procès...scandale, procès...

Pourtant, l’explication est simple :Pourtant, l’explication est simple :

anti-anti-arabesarabes

AABBEINRSEINRSTT

anti-stressanti-stress AEINRSTAEINRST

clés identiques à une lettre près

Solution MicrosoftSolution Microsoft SupprimerSupprimer le mot le mot anti-arabeanti-arabe du dictionnaire ! du dictionnaire ! Pourtant c’est un mot français, et utilePourtant c’est un mot français, et utile Il sert à Il sert à dénoncerdénoncer les sentiments anti-arabes les sentiments anti-arabes

Faire une Faire une recherche recherche GoogleGoogle Le premier lien (10/12/2004) pointe sur le site du Le premier lien (10/12/2004) pointe sur le site du

MRAP (qui avait porté plainte, puis retiré sa plaine), MRAP (qui avait porté plainte, puis retiré sa plaine), qui dénonce le racisme anti-arabe...qui dénonce le racisme anti-arabe...

Autre exempleAutre exemple

Marie-Solange Marie-Solange marie-salope marie-salope Supprimé du dictionnaire !Supprimé du dictionnaire ! test:test:

marie-salpe marie-salpe ne suggère plus rien ne suggère plus rien « logiciels politiquement corrects »« logiciels politiquement corrects » mais linguistiquement idiots...mais linguistiquement idiots...

Erreurs de compétenceErreurs de compétence

Erreurs phono-graphiquesErreurs phono-graphiques eau eau o o ph ph f f etc.etc.

HomographesHomographes pantoufle de verre, etc.pantoufle de verre, etc.

Très difficile !Très difficile !

Un défi...Un défi...

Une vraie dictée (V. Rey) :Une vraie dictée (V. Rey) : Un corbeau Un corbeau percheperche sur sur lantènelantène d'un d'un batiman batiman

piinpiin dans son dans son becebece une souris une souris bléséblésé. . Ranu furidRanu furid par par sept ezo cuèlesept ezo cuèle des des anfen lance dé caiouanfen lance dé caiou pour pour lobijé a canvollobijé a canvol..

Original :Original : Un corbeau perché sur l'antenne d'un bâtiment Un corbeau perché sur l'antenne d'un bâtiment

tient dans son bec une souris blessée. Rendus tient dans son bec une souris blessée. Rendus furieux par cet oiseau cruel, des enfants lancent furieux par cet oiseau cruel, des enfants lancent des cailloux pour l'obliger à s'envoler.des cailloux pour l'obliger à s'envoler.

Autres problèmesAutres problèmes

Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle

DérivationDérivation

Préfixes, suffixesPréfixes, suffixes Infinité de mots possiblesInfinité de mots possibles

coll

er

ab

le

ilité

redésur

coller, collable, collabilité, recoller, recollable, recollabilité, décoller, décollable, décollabilité, surcoller, surcollable, surcollabilité, redécoller, redécollable, redécollabilité, surdécoller, surdécollable, surdécollabilité, etc.

dire 9 140 000

redire 175 000

reredire 61

rereredire 19

rerereredire 8

rererereredire 10

rerererereredire 10

rerererereredire 2

faire 31 700 000

refaire 315 000

rerefaire 116

rererefaire 22

rerererefaire 1

rererererefaire 1

rerererererefaire 3

rererererererefaire 2

Google (10/12/2004)

Autres problèmesAutres problèmes

Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle empruntsemprunts

EmpruntsEmprunts

différentes sourcesdifférentes sources sciencescience

laser, radar, sonarlaser, radar, sonar informatiqueinformatique

bug, mail, blog, SMSbug, mail, blog, SMS medias, show businessmedias, show business

casting, zapping, nominercasting, zapping, nominer francisationfrancisation

tagguer, rapper, zapper, bugger tagguer, rapper, zapper, bugger (bugguer?)(bugguer?)

FrançaisFrançais

35 000 mots courants 35 000 mots courants 4 200 4 200 empruntsemprunts anglais (25 %)anglais (25 %) italien (16,8 %)italien (16,8 %) francique (13 %)francique (13 %) arabe (5,1 %)arabe (5,1 %)

Exemples intégrés...Exemples intégrés... ArabeArabe

alambic, alcool, algèbre, assassin, azur, café, alambic, alcool, algèbre, assassin, azur, café, carafe, chiffre, coton, élixir, épinard, estragon, carafe, chiffre, coton, élixir, épinard, estragon, gazelle, girafe, goudron, guitare, harem, hasard, gazelle, girafe, goudron, guitare, harem, hasard, jupe, matraque, momie, nénuphar, orange, sirop, jupe, matraque, momie, nénuphar, orange, sirop, sucre, zérosucre, zéro

ItalienItalien arcade, artisan, balcon, banque, banqueroute, arcade, artisan, balcon, banque, banqueroute,

bouffon, burlesque, caleçon, caresse, carnaval, bouffon, burlesque, caleçon, caresse, carnaval, charlatan, citron, concert, corridor, courtisan, charlatan, citron, concert, corridor, courtisan, douche, escadron, faïence, festin, frégate, gazette, douche, escadron, faïence, festin, frégate, gazette, gondole, passager, poltron, porcelaine, soldat, gondole, passager, poltron, porcelaine, soldat, sonnetsonnet

etc.etc.

Autres problèmesAutres problèmes

Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle empruntsemprunts néologismesnéologismes

NéologismesNéologismes

Noms propresNoms propres sarkozien (ou sarkosien ?), sarkozien (ou sarkosien ?),

benladenisationbenladenisation SciencesSciences

nanotechnologiesnanotechnologies SociétéSociété

bioterrorisme, sidologie, insécuritaire, bioterrorisme, sidologie, insécuritaire, internauteinternaute

etc.etc.

Evaluation des Evaluation des performancesperformances

4 cas possibles4 cas possibles

AlerteAlerte Pas alertePas alerte

ErreurErreur OKOK Faux négatifsFaux négatifs

Pas erreurPas erreur Faux positifFaux positif OKOK

BruitBruit = faux positifs / nb total d’alertes = faux positifs / nb total d’alertes SilenceSilence = faux négatifs / nb total erreurs = faux négatifs / nb total erreurs

ExempleExemple

  Alerte Pas alerte Total

Erreur 13 3 16

Pas erreur 2 92 94

Total 15 95 110

Bruit =2/15 13,3%

Silence =3/16 18,8%