inf l11 langage et informatique 1 cours 10 – correction orthographique
TRANSCRIPT
INF L11INF L11Langage et informatique 1Langage et informatique 1
Cours 10 – Correction orthographiqueCours 10 – Correction orthographique
IntroductionIntroduction Quantité colossale de textes écritsQuantité colossale de textes écrits Sans doute en très grande Sans doute en très grande
progressionprogression WebWeb E-mailE-mail ChatsChats SMSSMS BlogsBlogs
La planète n’a jamais autant écrit !La planète n’a jamais autant écrit ! Orthographe souvent approximativeOrthographe souvent approximative
ApplicationApplication
Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples
Recherche d’informationRecherche d’information
Exemple (Exemple (GoogleGoogle))
488941 britney spears
40134 brittany spears
36315 brittney spears
24342 britany spears
7331 britny spears
6633 briteny spears
2696 britteny spears
1807 briney spears
1635 brittny spears
1479 brintey spears
1479 britanny spears
1338 britiny spears
1211 britnet spears
1096 britiney spears
991 britaney spears
991 britnay spears
811 brithney spears
811 brtiney spears
664 birtney spears
664 brintney spears
664 briteney spears
601 bitney spears
601 brinty spears
544 brittaney spears
544 brittnay spears
364 britey spears
364 brittiny spears
329 brtney spears
269 bretney spears
269 britneys spears
244 britne spears
244 brytney spears
220 breatney spears
220 britiany spears
199 britnney spears
163 britnry spears
147 breatny spears
147 brittiney spears
147 britty spears
147 brotney spears
147 brutney spears
133 britteney spears
133 briyney spears
121 bittany spears
121 bridney spears
121 britainy spears
121 britmey spears
109 brietney spears
109 brithny spears
109 britni spears
... etc.
ApplicationApplication
Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples
Recherche d’informationRecherche d’information Traduction automatiqueTraduction automatique
ApplicationApplication
Pas seulement problème cosmétiquePas seulement problème cosmétique ExemplesExemples
Recherche d’informationRecherche d’information Traduction automatiqueTraduction automatique Synthèse de la paroleSynthèse de la parole
TerminologieTerminologie
TraditionTradition orthographe d’usage ou lexicaleorthographe d’usage ou lexicale
écriture du mot en lui-même, sans écriture du mot en lui-même, sans considération des rapports qu’il entretient avec considération des rapports qu’il entretient avec le reste de la phrasele reste de la phrase
ex. ex. fôte, ortografe, lappin,fôte, ortografe, lappin, etc. etc.
orthographe grammaticaleorthographe grammaticale partie qui dépend des relations grammaticalespartie qui dépend des relations grammaticales
accords : accords : des des fautefaute d’orthographe, nous sommes d’orthographe, nous sommes venuvenu conjugaisons : conjugaisons : je vous aimje vous aimezez, nous avons mang, nous avons mangerer homographes grammaticaux : homographes grammaticaux : c’est – ces –ses, à – a,c’est – ces –ses, à – a,
etc.etc.
TerminologieTerminologie
Jargon informatiqueJargon informatique Correcteur Correcteur
orthographiqueorthographique= orthographe d’usage = orthographe d’usage
(lexicale)(lexicale) Correcteur Correcteur
grammaticalgrammatical= orthographe = orthographe
grammaticalegrammaticale
+ autres erreurs de + autres erreurs de grammaire, non grammaire, non orthographiquesorthographiques
Orthographe lexicaleOrthographe lexicale
Principe de base Principe de base La machine contient un La machine contient un
dictionnairedictionnaire Chaque mot du texte est comparé Chaque mot du texte est comparé
au dictionnaireau dictionnaire
Deux problèmes Deux problèmes différentsdifférents
Détecter les Détecter les erreurserreurs Souligner les mots Souligner les mots
erronéserronés Fournir des Fournir des
corrections corrections possiblespossibles
...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...
orthograffe ?
DétectionDétection Un accès au dictionnaireUn accès au dictionnaire
CorrectionCorrection Plus compliquéPlus compliqué
...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...
orthograffe ? on proposequoi ?
ProblèmeProblème
Où chercher ?Où chercher ?
...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...
ortographe
(loin !)
ProblèmeProblème
Encore pireEncore pire
...orteilorteilsorthodoxeorthodoxeorthodoxesorthodoxesorthodoxieorthodoxiesorthogonalorthogonaleorthogonalesorthogonauxorthographeorthographesorthophonieorthophoniesorthopédieorthopédiesorthopédiqueorthopédiqueorthopédiquesorthopédiquesortieorties...
rthographe
(très très loin !)
Temps de calculTemps de calcul
Il faudrait parcourir tout le Il faudrait parcourir tout le dictionnaire pour chaque motdictionnaire pour chaque mot
Trop coûteux en temps de Trop coûteux en temps de calculcalcul
Donc, méthodes Donc, méthodes approximativesapproximatives bonnes la plupart du tempsbonnes la plupart du temps échouent de temps à autre...échouent de temps à autre...
Il faut avoir un « modèle des Il faut avoir un « modèle des erreurs »erreurs »
Modèle des erreursModèle des erreurs
Erreurs de performanceErreurs de performance L’utilisateur sait, mais son doigt L’utilisateur sait, mais son doigt
glisse...glisse... brintey spears
Erreur de compétenceErreur de compétence L’utilisateur ne sait pas et produit une L’utilisateur ne sait pas et produit une
graphie approximativegraphie approximative brittany spears
Erreurs de performanceErreurs de performance Catégories les plus Catégories les plus
fréquentesfréquentes InsertionInsertion
beabeazzcoupcoup SuppressionSuppression
beabeauououpup SubstitutionSubstitution
bebezzucoupucoup InterversionInterversion
bbaeaeucoupucoup
Dans la grande majorité Dans la grande majorité des casdes cas une seule erreurune seule erreur
Diverses techniquesDiverses techniques Exemple : cléExemple : clé
on classe les lettres du mot par ordre on classe les lettres du mot par ordre alphabétique et on enlève les doublonsalphabétique et on enlève les doublons
on fait pareil avec le dictionnaireon fait pareil avec le dictionnaire
ORTHOGRAPHEORTHOGRAPHE AEGHOPRTAEGHOPRT
ORTHOGRAFFEORTHOGRAFFE AEFGHORTAEFGHORT
ORTOGRAPHEORTOGRAPHE AEGHOPRTAEGHOPRT
RTOGRAPHERTOGRAPHE AEGHOPRTAEGHOPRT
...... ......
On n’examine que les clés de longueur N-1, N On n’examine que les clés de longueur N-1, N ou N+1ou N+1
AccidentsAccidents
L’affaire Cordial / NPA (mars 2000)L’affaire Cordial / NPA (mars 2000) Anti-stressAnti-stress anti-arabesanti-arabes !!! !!! scandale, procès...scandale, procès...
Pourtant, l’explication est simple :Pourtant, l’explication est simple :
anti-anti-arabesarabes
AABBEINRSEINRSTT
anti-stressanti-stress AEINRSTAEINRST
clés identiques à une lettre près
Solution MicrosoftSolution Microsoft SupprimerSupprimer le mot le mot anti-arabeanti-arabe du dictionnaire ! du dictionnaire ! Pourtant c’est un mot français, et utilePourtant c’est un mot français, et utile Il sert à Il sert à dénoncerdénoncer les sentiments anti-arabes les sentiments anti-arabes
Faire une Faire une recherche recherche GoogleGoogle Le premier lien (10/12/2004) pointe sur le site du Le premier lien (10/12/2004) pointe sur le site du
MRAP (qui avait porté plainte, puis retiré sa plaine), MRAP (qui avait porté plainte, puis retiré sa plaine), qui dénonce le racisme anti-arabe...qui dénonce le racisme anti-arabe...
Autre exempleAutre exemple
Marie-Solange Marie-Solange marie-salope marie-salope Supprimé du dictionnaire !Supprimé du dictionnaire ! test:test:
marie-salpe marie-salpe ne suggère plus rien ne suggère plus rien « logiciels politiquement corrects »« logiciels politiquement corrects » mais linguistiquement idiots...mais linguistiquement idiots...
Erreurs de compétenceErreurs de compétence
Erreurs phono-graphiquesErreurs phono-graphiques eau eau o o ph ph f f etc.etc.
HomographesHomographes pantoufle de verre, etc.pantoufle de verre, etc.
Très difficile !Très difficile !
Un défi...Un défi...
Une vraie dictée (V. Rey) :Une vraie dictée (V. Rey) : Un corbeau Un corbeau percheperche sur sur lantènelantène d'un d'un batiman batiman
piinpiin dans son dans son becebece une souris une souris bléséblésé. . Ranu furidRanu furid par par sept ezo cuèlesept ezo cuèle des des anfen lance dé caiouanfen lance dé caiou pour pour lobijé a canvollobijé a canvol..
Original :Original : Un corbeau perché sur l'antenne d'un bâtiment Un corbeau perché sur l'antenne d'un bâtiment
tient dans son bec une souris blessée. Rendus tient dans son bec une souris blessée. Rendus furieux par cet oiseau cruel, des enfants lancent furieux par cet oiseau cruel, des enfants lancent des cailloux pour l'obliger à s'envoler.des cailloux pour l'obliger à s'envoler.
Autres problèmesAutres problèmes
Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle
DérivationDérivation
Préfixes, suffixesPréfixes, suffixes Infinité de mots possiblesInfinité de mots possibles
coll
er
ab
le
ilité
redésur
coller, collable, collabilité, recoller, recollable, recollabilité, décoller, décollable, décollabilité, surcoller, surcollable, surcollabilité, redécoller, redécollable, redécollabilité, surdécoller, surdécollable, surdécollabilité, etc.
dire 9 140 000
redire 175 000
reredire 61
rereredire 19
rerereredire 8
rererereredire 10
rerererereredire 10
rerererereredire 2
faire 31 700 000
refaire 315 000
rerefaire 116
rererefaire 22
rerererefaire 1
rererererefaire 1
rerererererefaire 3
rererererererefaire 2
Google (10/12/2004)
Autres problèmesAutres problèmes
Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle empruntsemprunts
EmpruntsEmprunts
différentes sourcesdifférentes sources sciencescience
laser, radar, sonarlaser, radar, sonar informatiqueinformatique
bug, mail, blog, SMSbug, mail, blog, SMS medias, show businessmedias, show business
casting, zapping, nominercasting, zapping, nominer francisationfrancisation
tagguer, rapper, zapper, bugger tagguer, rapper, zapper, bugger (bugguer?)(bugguer?)
FrançaisFrançais
35 000 mots courants 35 000 mots courants 4 200 4 200 empruntsemprunts anglais (25 %)anglais (25 %) italien (16,8 %)italien (16,8 %) francique (13 %)francique (13 %) arabe (5,1 %)arabe (5,1 %)
Exemples intégrés...Exemples intégrés... ArabeArabe
alambic, alcool, algèbre, assassin, azur, café, alambic, alcool, algèbre, assassin, azur, café, carafe, chiffre, coton, élixir, épinard, estragon, carafe, chiffre, coton, élixir, épinard, estragon, gazelle, girafe, goudron, guitare, harem, hasard, gazelle, girafe, goudron, guitare, harem, hasard, jupe, matraque, momie, nénuphar, orange, sirop, jupe, matraque, momie, nénuphar, orange, sirop, sucre, zérosucre, zéro
ItalienItalien arcade, artisan, balcon, banque, banqueroute, arcade, artisan, balcon, banque, banqueroute,
bouffon, burlesque, caleçon, caresse, carnaval, bouffon, burlesque, caleçon, caresse, carnaval, charlatan, citron, concert, corridor, courtisan, charlatan, citron, concert, corridor, courtisan, douche, escadron, faïence, festin, frégate, gazette, douche, escadron, faïence, festin, frégate, gazette, gondole, passager, poltron, porcelaine, soldat, gondole, passager, poltron, porcelaine, soldat, sonnetsonnet
etc.etc.
Autres problèmesAutres problèmes
Le lexique d’une langue n’est pas Le lexique d’une langue n’est pas closclos morphologie dérivationnellemorphologie dérivationnelle empruntsemprunts néologismesnéologismes
NéologismesNéologismes
Noms propresNoms propres sarkozien (ou sarkosien ?), sarkozien (ou sarkosien ?),
benladenisationbenladenisation SciencesSciences
nanotechnologiesnanotechnologies SociétéSociété
bioterrorisme, sidologie, insécuritaire, bioterrorisme, sidologie, insécuritaire, internauteinternaute
etc.etc.
Evaluation des Evaluation des performancesperformances
4 cas possibles4 cas possibles
AlerteAlerte Pas alertePas alerte
ErreurErreur OKOK Faux négatifsFaux négatifs
Pas erreurPas erreur Faux positifFaux positif OKOK
BruitBruit = faux positifs / nb total d’alertes = faux positifs / nb total d’alertes SilenceSilence = faux négatifs / nb total erreurs = faux négatifs / nb total erreurs
ExempleExemple
Alerte Pas alerte Total
Erreur 13 3 16
Pas erreur 2 92 94
Total 15 95 110
Bruit =2/15 13,3%
Silence =3/16 18,8%