Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê...

65
Απνζήθεο Γεδνκέλσλ θαη Δμόξπμε Γεδνκέλσλ: Καηεγνξηνπνίεζε: Μέξνο Α’ http://datalab.csd.auth.gr/~gounaris/courses/dwdm/

Upload: others

Post on 06-Jul-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Απνζήθεο Γεδνκέλσλ θαη Δμόξπμε Γεδνκέλσλ:

Καηεγνξηνπνίεζε: Μέξνο Α’

http://datalab.csd.auth.gr/~gounaris/courses/dwdm/

Page 2: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δπραξηζηίεο

• Οη δηαθάλεηεο ηνπ καζήκαηνο ζε γεληθέο γξακκέο αθνινπζνύλ ην ζύγγξακκα «Δηζαγσγή ζηελ Δμόξπμε θαη ηηο Απνζήθεο Γεδνκέλσλ»

• Xξεζηκνπνηήζεθε επηπιένλ πιηθό από ηα βηβιία

– «Introduction to Data Mining» ησλ Tan, Steinbach, Kumar , θαη

– «Data Mining: Concepts and Techniques» ησλ Jiawei Han, Micheline Kamber.

2

Page 3: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Μέξνο Α’

• Δηζαγσγηθέο Έλλνηεο

• Γέλδξα Απόθαζεο

Μέξνο Β’

• Bayesian θαηεγνξηνπνηεηέο

• Καηεγνξηνπνηεηέο πιεζηέζηεξσλ γεηηόλσλ

• Απνηίκεζε Αθξίβεηαο

Θέκαηα πξνο εμέηαζε

3

Page 4: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηεγνξηνπνίεζε

• H αλάζεζε αληηθεηκέλσλ ζε πξνθαζνξηζκέλεο θιάζεηο

• Ιδηόηεηεο Υ1, Υ2,... Υθ

• Μνληέιν θαηεγνξηνπνίεζεο

f: D(Υ1) x .... x D(Υk) D(C)

• Δθπαίδεπζε από ππάξρνληα δεδνκέλα (ζύλνιν εθκάζεζεο)

4

Page 5: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα

f: [20...40] x {Άγακνο, Έγγακνο, Γηαδεπγκέλνο} {ΝΑΙ, ΟΥΙ}

5

Ηιηθία Οηθνγελεηαθή Καηάζηαζε Αγνξαζηήο

20 Γηαδεπγκέλνο ΝΑΙ

30 Γηαδεπγκέλνο ΝΑΙ

25 Έγγακνο ΟΥΙ

30 Άγακνο ΝΑΙ

40 Άγακνο ΝΑΙ

20 Έγγακνο ΟΥΙ

30 Γηαδεπγκέλνο ΝΑΙ

25 Γηαδεπγκέλνο ΝΑΙ

40 Γηαδεπγκέλνο ΝΑΙ

20 Άγακνο ΟΥΙ

Page 6: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηεγνξηνπνηεηήο

• Αιγόξηζκνο θαηαζθεπήο κνληέινπ

– Γηακεξηζκόο ζε πεξηνρέο

– Δμέηαζε θαηαλνκώλ πηζαλόηεηαο

– Δμέηαζε πιεζηέζηεξσλ αληηθεηκέλσλ

6

Page 7: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα

7

Page 8: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Γηακεξηζκόο ζε πεξηνρέο

8

Page 9: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δμέηαζε θαηαλνκώλ πηζαλόηεηαο

9

Page 10: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δμέηαζε πιεζηέζηεξσλ αληηθεηκέλσλ

10

Page 11: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Κξηηήξηα Αμηνιόγεζεο Καηεγνξηνπνηεηώλ

• Αθξίβεηα πξόβιεςεο ηνπ κνληέινπ

• Δπθνιία ζηελ θαηαλόεζε ηνπ κνληέινπ

• Κιηκάθσζε ζην κέγεζνο ηνπ ζπλόινπ εθκάζεζεο

• Αλνρή ζην ζόξπβν θαη ζηηο ειιηπείο ηηκέο

11

έ

έέί

#

#

Page 12: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Γέλδξα απόθαζεο

12

Page 13: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηεγνξηνπνίεζε κε δέλδξν

• {Έγγακνο, 22 εηώλ}. Πηζαλόο αγνξαζηήο;

13

Page 14: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δμαγσγή θαλόλσλ

• Μνλνπάηη = ζπδεύμεηο

• Κιάζε = δηάδεπμε ζπδεύμεσλ

14

Μνλνπάηηα: 1. Ηιηθία<30 θαη Ο.Κ. {Α,Δ} 2. Ηιηθία<30 θαη Ο.Κ. {Γ} 3. Ηιηθία >= 30

Κιάζε ΝΑΙ: (Ηιηθία<30 θαη Ο.Κ. {Γ}) ή (Ηιηθία >= 30)

Page 15: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηαζθεπή δέλδξνπ απόθαζεο (brute-force)

• Καηαζθεπή θάζε δπλαηνύ πηζαλνύ δέλδξνπ

• Δπηινγή ηνπ αθξηβέζηεξνπ

• NP-complete

15

Page 16: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηαζθεπή δέλδξνπ απόθαζεο (greedy)

16

Page 17: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα 1/3

17

Page 18: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα 2/3

18

Page 19: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα 3/3

19

Page 20: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Πόζα παηδηά;

• εκαληηθό πξόβιεκα ζηηο ζπκβνιηθέο ηδηόηεηεο:

2 ή 3 (όζεο νη δηαθνξεηηθέο Οηθ. Καηαζηάζεηο);

20

Page 21: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Πιενλεθηήκαηα-Μεηνλεθηήκαηα

• Πνιιά παηδηά (=όια)

+ εύθνιε δηάζπαζε

- πεξίπινθν δέλδξν

- αξηζκεηηθέο ηδηόηεηεο? (κόλν κε θβάλησζε)

• 2 παηδηά

- δύζθνιε δηάζπαζε

+ απιό/επλόεην δέλδξν

+ ρεηξηζκόο αξηζκεηηθώλ ηδηνηήησλ

+ ζπρλά θαιύηεξε αθξίβεηα ζηελ πξάμε!

Πξώηε καο επηινγή: δπαδηθά δέλδξα (2 παηδηά)

21

Page 22: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Γηάζπαζε ζε δπαδηθά δέλδξα

22 12 1 n#δπλαηέο επηινγέο:

Page 23: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα δπαδηθήο δηάζπαζεο κίαο ζπκβνιηθήο κεηαβιεηήο κε ηηκέο a,b,c

• a

• b

• c

• a,b

• a,c

• b,c

• a,b,c

• -

• b, c

• a, c

• a, b

• c

• b

• a

• -

• a,b,c

(2n-2) / 2 = 2n-1-1

23

Page 24: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Γηάζπαζε αξηζκεηηθώλ ηδηνηήησλ

• Σαμηλόκεζε ηηκώλ

• Αλ ππάξρνπλ n δηαθνξεηηθέο αξηζκεηηθέο ηηκέο ζηελ ηδηόηεηα,

ηόηε εμέηαζε n-1 δηαρσξηζηηθώλ ζέζεσλ

24

Page 25: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Πώο επηιέγνπκε ηε δηαρσξηζηηθή ηδηόηεηα

0 ΝΑΙ:3 ΟΥΙ 2:0

2:1 0:2

2:2

0:1

25

Page 26: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Μέηξν αλνκνηνγέλεηαο

• Δληξνπία γηα c θιάζεηο

• Γηα c = 2

26

Page 27: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δληξνπία γηα c = 2

27

Page 28: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα

0:3 2:0 2:1

0:2

2:2

0:1

Τπνινγίζηε ηελ εληξνπία θάζε πεξίπησζεο (p Ναη)

28

Page 29: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

0:3 2:0

2:1 0:2

2:2

0:1

Α) Α: -0log0-1log1=0

Γ: -1log1-0log0=0

B) A: -2/3 log (2/3)

-1/3 log (1/3) = 0.9183

Γ: -0log0 -1log1=0

Γ) Α: - 2/4 log (2/4)

- 2/4 log (2/4) = 1

Γ: -0log0 -1log1=0

29

Παξάδεηγκα

Page 30: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Αμηνιόγεζε δηαρσξηζηηθήο ηδηόηεηαο

• Πιεξνθνξηαθό όθεινο γηα κία ηδηόηεηα:

30

Page 31: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα πιεξνθνξηαθνύ νθέινπο

31

0 0 0.9183

0

1

0

Πξηλ ηε δηάζπαζε: Δ(Ν) = 0.971

Τπνινγίζηε ην πιεξνθνξηαθό όθεινο θάζε πεξίπησζεο

Page 32: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα πιεξνθνξηαθνύ νθέινπο

A) 0.971 – 3/5 *0 -2/5*0 = 0.971

B) 0.971 – 3/5*0.9183 – 2/5 * 0 = 0.42

Γ) 0.971 – 4/5 *1 – 1/5 * 0 = 0.171

32

0 0 0

1

0

Πξηλ ηε δηάζπαζε: Δ(Ν) = 0.971

0.9183

Page 33: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δπηινγή δηαρσξηζηηθήο ηδηόηεηαο

• Δμεηάδνπκε γηα θάζε ηδηόηεηα όινπο ηνπο δπλαηνύο δηαρσξηζκνύο

– επηιέγνπκε ην δηαρσξηζκό κε ην κέγηζην όθεινο

• Δπηιέγνπκε ηελ ηδηόηεηα κε ην κεγαιύηεξν πιεξνθνξηαθό όθεινο

– εθαξκόδνπκε ην δηαρσξηζκό κεγίζηνπ νθέινπο

33

Page 34: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Καηαζθεπή δέλδξνπ απόθαζεο (greedy)

ΜΗ ΠΡΑΚΣΙΚΟ ΚΡΙΣΗΡΙΟ

34

Page 35: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δλαιιαθηηθά θξηηήξηα ηεξκαηηζκνύ

• Έλα πνζνζηό (π.ρ., 80%) αλήθνπλ ζηελ ίδηα θιάζε

• Αλ ν θόκβνο πεξηέρεη ιηγόηεξα από, π.ρ., 10, αληηθείκελα

– ε θιάζε ηνπ θύιινπ είλαη ε πιεηνςεθνύζα

• Μπνξνύκε λα έρνπκε θαη ηα δύν θξηηήξηα

35

Page 36: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Απνηέιεζκα ελαιιαθηηθώλ θξηηεξίσλ

36

Page 37: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Υαξαθηεξηζηηθά Γέλδξσλ Απόθαζεο

• Η θαηαζθεπή ηνπ βέιηηζηνπ δέλδξνπ απόθαζεο απαηηεί απνηξεπηηθό ρξόλν (είλαη NP-complete πξόβιεκα). – Γηα ην ιόγν απηό ρξεζηκνπνηνύληαη επξεηηθνί αιγόξηζκνη, νη νπνίνη είλαη

άπιεζηνη θαη δελ ρξεζηκνπνηνύλ νπηζζνδξόκεζε. – Σα επξεηηθά κεηώλνπλ θαηά πνιύ ην ρξόλν θαηαζθεπήο. – Σν απνηέιεζκα είλαη όηη ηα δέλδξα απόθαζεο θιηκαθώλνληαη ζε

κεγάινπο όγθνπο δεδνκέλσλ

• Γξήγνξε εθαξκνγή.

• Η αθξίβεηα πξόβιεςεο ησλ δέλδξσλ απόθαζεο είλαη απνδεθηή γηα ηηο πεξηζζόηεξεο πεξηπηώζεηο, ζπγθξίζηκε κε ηελ αθξίβεηα άιισλ θαηεγνξηνπνηεηώλ

• Σν κνληέιν πνπ πξνθύπηεη είλαη πνιύ εύθνιν ζηελ θαηαλόεζε.

• Σα δέλδξα απόθαζεο έρνπλ θαιή αλνρή ζην ζόξπβν – εηδηθά όηαλ εθαξκόδεηαη ςαιηδηζκόο

37

Page 38: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

• Σα ΓΑ κπνξνύλ λα δηαρεηξηζηνύλ πνιπδηάζηαηα δεδνκέλα

– 1 δηάζηαζε ηε θνξά ρξεζηκνπνηείηαη θαηά ηελ αλάπηπμε ηνπ κνληέινπ

• … θαη θάζε ηύπν κεηαβιεηώλ

– πκβνιηθέο, αξηζκεηηθέο, θιπ.

Δπηπιένλ

38

Page 39: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Μεηνλεθηήκαηα

• Αγλννύλ εμαξηήζεηο κεηαμύ ησλ ηδηνηήησλ.

• Πξνβιήκαηα όηαλ ιείπνπλ πνιιά δεδνκέλα

• Γηάζπαζε σο πξνο κία ηδηόηεηα =>

– αληηζηνίρηζε κε πεξηνρέο, ηα όξηα ησλ νπνίσλ είλαη παξάιιεια κε ηνπο άμνλεο. Π.ρ., ε παξαθάησ δηάζπαζε ΓΔΝ γίλεηαη ζε έλα ζηάδην.

39

Page 40: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

x + y < 1

Class = + Class =

• Οη ζπλζήθεο ειέγρνπ κπνξνύλ λα πεξηιακβάλνπλ πεξηζζόηεξα από έλα γλσξίζκαηα

• Μεγαιύηεξε εθθξαζηηθόηεηα

• Η εύξεζε βέιηηζησλ ζπλζεθώλ ειέγρνπ είλαη ππνινγηζηηθά αθξηβή

Oblique (πιάγην) Δέληξν Απόθαζεο

Πιάγηα Γέλδξα Απόθαζεο

40

Page 41: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Η εικόνα είναι από

Duda, Hart & Stork,

Chap. 8

Μηθξή κεηαθίλεζε ελόο κόλν δείγκαηνο, νδεγεί ζε πνιύ δηαθνξεηηθά απνηειέζκαηα.

Πξόβιεκα αζηάζεηαο

41

Page 42: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Βειηίσζε ηεο αθξίβεηαο

• Ξέξνπκε πώο λα εθηηκνύκε ζσζηά ηελ αθξίβεηα

• Μπνξνύκε λα βειηηώζνπκε ηελ αθξίβεηα ρξεζηκνπνηώληαο δηαθνξεηηθά ηνπο γλσζηνύο καο θαηεγνξηνπνηεηέο; – Κιάδεκα

– ύλνια θαηεγνξηνπνηεηώλ

42

Page 43: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Σν θαηλόκελν ηεο ππεξβνιηθήο πξνζαξκνγήο

• 2000 δηζδηάζηαηα ζεκεία ζε δύν θιάζεηο (1000 ζεκεία αλά θιάζε), πνπ αθνινπζνύλ θαλνληθή θαηαλνκή.

• Πξνζζέηνπκε ζόξπβν: αληαιιάδνπκε ηελ θιάζε 150 ζεκείσλ • Γηαρσξίδνπκε 1000 ζεκεία ζην ζύλνιν ειέγρνπ • Πξνζζέηνπκε επηπιένλ ζόξπβν ζην ζύλνιν εθκάζεζεο:

αληαιιάδνπκε ηελ θιάζε άιισλ 200 ηπραίσλ ζεκείσλ

43

Page 44: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Σν θαηλόκελν ηεο ππεξβνιηθήο πξνζαξκνγήο

44

Page 45: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Σν θαηλόκελν ηεο ππεξβνιηθήο πξνζαξκνγήο

• Μηθξόο αξηζκόο θόκβσλ: αλεπαξθήο πξνζαξκνγή (undefiting)

• ην δέλδξν απόθαζεο πξνζηίζεληαη νινέλα θαη πεξηζζόηεξνη θόκβνη κε ζθνπό λα θαιπθζνύλ (δειαδή, λα γίλεη εθκάζεζε) ηα ζεκεία ζνξύβνπ.

• Η ππεξβνιηθή πξνζαξκνγή, πνπ δειώλεηαη από ηε κείσζε ηνπ ιάζνπο εθκάζεζεο, κεηώλεη όκσο ηε δπλαηόηεηα ηνπ δέλδξνπ απόθαζεο λα γεληθεύεη ζε άγλσζηα αληηθείκελα, θάηη πνπ δειώλεηαη από ηελ αύμεζε ηνπ ιάζνπο ειέγρνπ.

• Σν πξόβιεκα είλαη γεληθό ζε όινπο ηνπο θαηεγνξηνπνηεηέο, όρη κόλν ζηα ΓΑ.

45

Page 46: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Κιάδεκα (pruning)

• Πξν-θιάδεκα: ελαιιαθηηθά θξηηήξηα ηεξκαηηζκνύ θαηά ηε δεκηνπξγία (δηαθ. 35)

– Γύζθνιε επηινγή θαησθιίνπ

• Μεηά-θιάδεκα:

– Πξώηα δεκηνπξγνύκε ην δέλδξν

– Μεηά, δηαγξάθνπκε ππνδέλδξα ώζηε λα κεηώζνπκε ηελ ππεξβνιηθή πξνζαξκνγή

46

Page 47: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Αιγόξηζκνο REP

47

REP: Reduced Error Pruning

Page 48: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

1. Καηεγνξηνπνηνύκε ηα αληηθείκελα ηνπ ζπλόινπ ςαιηδηζκνύ.

2. Δθαξκόδνπκε κεηα-δηαηεηαγκέλε δηάζρηζε ζην δέλδξν.

3. Δμεηάδνπκε θάζε εζσηεξηθό θόκβν λ πνπ είλαη παηέξαο θύιινπ:

– Δ(Σ_λ): αληηθείκελα ηνπ ζπλόινπ ςαιηδηζκνύ πνπ θαηαηάζζνληαη ιαλζαζκέλα ζε όια ηα θύιια ηνπ λ

– Δ(λ): αληηθείκελα ηνπ ζπλόινπ ςαιηδηζκνύ πνπ θαηαηάζζνληαη ιαλζαζκέλα αλ ζέζνπκε ην λ σο θύιιν

• θιάζε ηνπ λένπ θύιινπ λ : ε πην ζπρλή θιάζε ησλ αληηθεηκέλσλ ησλ ησξηλώλ θύιισλ

Αιγόξηζκνο REP

48

Page 49: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

4. Αλ γηα θάζε θόκβν λ ηζρύεη Δ(λ)>Δ(Σ_λ), ηόηε ν αιγόξηζκνο ηεξκαηίδεη.

5. Γηαθνξεηηθά βξίζθνπκε ηνλ θόκβν λ κε ηε κεγαιύηεξε δηαθνξά Δ(Σ_λ)-Δ(λ).

6. Φαιηδίδνπκε ην ππνδέλδξν κε ξίδα ην λ, ζέηνληαο ην λ σο θύιιν θαη αλαζέηνληάο ηνπ ηελ θιάζε πνπ πιεηνςεθεί κεηαμύ ησλ αληηθεηκέλσλ ηνπ ζπλόινπ αλάπηπμεο.

7. Πίζσ ζην Βήκα 1.

49

Αιγόξηζκνο REP (ζπλέρεηα)

Page 50: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα

50

Page 51: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Κιηκαθνύκελνη αιγόξηζκνη

• Γέλδξα απόθαζεο:

– απαίηεζε ηα δεδνκέλα λα είλαη ζηελ θύξηα κλήκε γηα απνδεθηή απόδνζε,

– αιιεπάιιειεο ηαμηλνκήζεηο ζπκβνιηθώλ θαη αξηζκεηηθώλ δεδνκέλσλ ζε θάζε θόκβν.

• Γελ θιηκαθώλνληαη εύθνια.

• Κιηκαθνύκελεο παξαιιαγέο πνπ ζα εμεηάζνπκε: SLIQ, SPRINT

– ΔΕΝ κεηώλνπλ ηελ αθξίβεηα

51

Page 52: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

SLIQ: Supervised Learning In Quest

• Αξρέο ηνπ SLIQ:

– Πξν-ηαμηλόκεζε

– Αλάπηπμε θαηά πιάηνο

52

Page 53: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Πξν-ηαμηλόκεζε: Λίζηεο Ιδηνηήησλ/Κιάζεσλ

Αξρηθή ξίδα

53

Page 54: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Γηάζπαζε κε gini index

• Έζησ c θιάζεηο θαη n αληηθείκελα.

• Pi : ζρεηηθή ζπρλόηεηα ηεο θιάζεο i ζην ζύλνιν S

• Γείθηεο gini:

• Αλ έλα δηαρσξηζηηθό ζεκείν ρσξίδεη ην ζύλνιν S ζε δύν ππνζύλνια, S1 θαη S2 , κεγέζνπο n1 θαη n2 αληίζηνηρα:

54

2

11)( i

c

ipSgini

)()()( 22

11 Sgini

n

nSgini

n

nSginisplit

Page 55: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα SLIQ

55

Page 56: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα SLIQ

56

Page 57: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Παξάδεηγκα SLIQ

57

Page 58: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Έλα αθόκε παξάδεηγκα: θαηά πιάηνο αλάπηπμε

κηζζόο RID

15 2

40 4

60 6

65 1

75 3

100 5

58

RID θιάζε Φύιιν

1 ΝΑΙ Ν1

2 ΟΥΙ Ν1

3 ΝΑΙ Ν2

4 ΟΥΙ Ν2

5 ΝΑΙ Ν2

6 ΝΑΙ Ν2

Μειεηνύκε ηε δηάζπαζε ησλ Ν1, Ν2 ηαπηόρξνλα βάζεη κηζζνύ: Εμεηάδνπκε κία κία ηηο εγγξαθέο ηεο αληίζηνηρεο ιίζηαο

Ν1 Ο Ν Ν2 Ο Ν

Αξη 0 0 Αξη 0 0

Γεμ 1 1 Γεμ 1 3

Ν1 Ο Ν Ν2 Ο Ν

Αξη 1 0 Αξη 0 0

Γεμ 0 1 Γεμ 1 3

Ν1 Ο Ν Ν2 Ο Ν

Αξη 1 0 Αξη 1 0

Γεμ 0 1 Γεμ 0 3

Αξρηθά (κηζζόο < 15) Μεηά ηελ 1ε εγγξαθή (κηζζόο < 27.5)

Μεηά ηελ 2ε εγγξαθή (κηζζόο < 50) θ.ν.θ

Page 59: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Πνιππινθόηεηα

• Αλ έρνπκε D εγγξαθέο ζην ζύλνιν εθπαίδεπζεο θαη k αξηζκεηηθέο ηδηόηεηεο:

– ε θάζε επίπεδν ηνπ δέλδξνπ έρνπκε θόζηνο O(kD), γηα ηελ εμέηαζε όισλ ησλ πηζαλώλ ηδηνηήησλ δηάζπαζεο.

– Άξα ην θόζηνο είλαη O(kD*depth), όπνπ depth ην βάζνο ηνπ δέλδξνπ.

– Αλ έρνπκε ζπκβνιηθέο ηδηόηεηεο θαη θάλνπκε δπαδηθέο δηαζπάζεηο, ηόηε πξέπεη λα ιεθζεί ππόςηλ ε ζπδήηεζε ζηηο πξνεγνύκελεο δηαθάλεηεο.

59

Page 60: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

SPRINT (Scalable PaRallelizable INndution of decision Tree)

• Ο SLIQ απαηηεί ε ιίζηα θιάζεο λα παξακέλεη ζηε κλήκε

• Πξόβιεκα αλ απηό δελ είλαη εθηθηό

• Ο SPRINT θαηαξγεί ηε ιίζηα θιάζεο

– πξνζζέηεη ηελ θιάζε ζηηο ιίζηεο ηδηνηήησλ

• Κάζε θόκβνο έρεη ηε δηθή ηνπ ιίζηα ηδηνηήησλ

– Γπλαηόηεηα γηα παξαιιειηζκό

60

Page 61: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Λίζηεο ηδηνηήησλ SPRINT

61

Page 62: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Δλεκέξσζε ιηζηώλ

• Γηα ηελ ηδηόηεηα δηάζπαζεο:

– απιώο δηαρσξίδεηαη ε αληίζηνηρε ιίζηα ζε 2 άιιεο (δπαδηθή δηάζπαζε)

• Γηα ηηο ππόινηπεο ηδηόηεηεο:

– ν δηαρσξηζκόο γίλεηαη βάζεη RID

62

Page 63: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

SPRINT vs. SLIQ

• SPRINT

– Γελ έρεη πεξηνξηζκό κλήκεο

– Απαηηεί ρξόλν ελεκέξσζεο θαη επαλαπνζήθεπζεο ιηζηώλ

– Παξαιιειίδεηαη εύθνια

• SLIQ

– Μεηώλεη ηνπο πεξηνξηζκνύο κλήκεο αιιά δελ ηνπο εμαιείθεη (ιίζηα θιάζεο)

– Δλεκεξώλεη κόλν ηε ιίζηα θιάζεσλ (ζηε κλήκε)

– Γελ παξαιιειίδεηαη εύθνια (ιόγσ κίαο θεληξηθήο ιίζηαο θιάζεο)

63

Page 64: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

ρεηηθά κε ηα κέηξα δηάζπαζεο

• Σν πιεξνθνξηαθό όθεινο, ηείλεη λα πξνηείλεη δηαζπάζεηο ζε πνιιά κνλνπάηηα, ζε πεξίπησζε πνπ εμεηάδνπκε κε δπαδηθά δέλδξα.

• Μπνξνύκε λα κεηξηάζνπκε απηή ηελ ηάζε δπγίδνληαο ην όθεινο κε έλα «θόζηνο δηάζπαζεο». Απηό ην κέηξν ιέγεηαη Gain Ratio.

• To ginisplit δελ έρεη ηέηνηα ηάζε.

64

Page 65: Απε Γεδ α Δ Γεδ Ìgounaris/courses/dwdm/class... · 2019-12-10 · •2 παδ - δζ Ê Æ δζπαζ + απ ×/εη δ ¿ Ìδ Ï Î + εζ × α Ï È Ç Ëη Ù Ì

Οη δύν βαζηθνί αιγόξηζκνη πνπ ρξεζηκνπνηνύληαη ζηελ πξάμε

• C4.5 (J48 ζην WEKA):

– Υξεζηκνπνηεί ην Gain Ratio

– Δπηηξέπεη δηάζπαζε ζπκβνιηθώλ ηδηνηήησλ ζε πάλσ από 2 παηδηά

– Γηαδέρζεθε ην ID3 πνπ ρξεζηκνπνηεί ην πιεξνθνξηαθό όθεινο, δελ θάλεη θιάδεκα, δελ ρεηξίδεηαη ειιηπείο ηηκέο θαη δηαζπά ζε όζα παηδηά όζεο θαη νη δηαθξηηέο ηηκέο

• CART:

– Υξεζηκνπνηεί ην gini

– Δθαξκόδεη δπαδηθέο δηαζπάζεηο

• Καη νη 2 αιγόξηζκνη ρξεζηκνπνηνύλ δηαθνξνπνηεκέλεο ηερληθέο γηα

– pruning, πνπ είλαη πην εμειηγκέλεο από ην REP

– δηαρείξηζε ειιεηπώλ ηηκώλ

65