Download - Asi4 Poker

Transcript
Page 1: Asi4 Poker

Modélisation du jeu du poker par un réseau bayésien

Sandrine GUILMINEAUGeoffroy NOIZETASI4Juin 2001

Page 2: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

2

PLAN

Présentation de l ’articleMise en œuvre pratiqueDémonstration

Page 3: Asi4 Poker

PRESENTATION

DE L'ARTICLE

Page 4: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

4

Présentation de l ’article : plan

IntroductionLe Poker Five-Card StudUn réseau bayésien pour le pokerLa randomisationL ’expérimentationLe travail futur

Page 5: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

5

Introduction

Le poker : idéal pour tester les raisonnements automates avec de l ’incertitude.

Incertitude due à : Hasard physique Information incomplète sur les mains des

adversaires Information limitée sur la technique des

adversaires

Page 6: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

6

Le Poker Five-Card Stud : plan

Le jeuLa force des mainsLes chances du pot et probabilités

Page 7: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

7

Le Poker Five-Card Stud :le jeu

1 : mise initiale. 2 : distribution de 5 cartes à chaque joueur

la 1ère carte est cachée. Les autres sont visibles (à tous les autres).

Chaque joueur parie après chaque carte distribuée. Il peut : Abandonner (fold) Suivre (call) Surenchérir (raise)

3 : A la fin, le joueur ayant la main la plus forte gagne en étalant son jeu.

Page 8: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

8

Le Poker Five-Card Stud :la force des mains

Type de la main Probabilité

Quelconque 0,50156

Une paire 0,42257

Deux paires 0,04754

Un brelan 0,02110

Une suite (straight) 0,00355

Toutes les cartes de même couleur (flush) 0,00197

Une paire et un triple (full house) 0,00144

Un carré 0,00025

Une suite de même couleur (straight flush) 0,00001

Page 9: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

9

Le Poker Five-Card Stud :Chance du pot et probabilités

Hypothèse: un joueur peut soit : abandonner, soit surenchérir.

Calcul (dans le cas de 2 joueurs): du pot, puis d ’un seuil pour prendre la décision d ’abandonner ou

de surenchérirseuil de probabilité pour lequel

p(abandonner)=p(surenchérir).

Page 10: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

10

Le Poker Five-Card Stud :Chance du pot et probabilités

Procédure 1 : Calcul de la probabilité courante de

gagner 2 : Comparaison avec le seuil 3 : Décision

AbandonSurenchère

Page 11: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

11

Que fait le BPP?

A partir des cartes visibles : calcul d ’une estimation de la probabilité de gain

Ignore : aspects physiques: tics, agitation nerveuse, dilatation

de la pupille... comportement courant à parier de son adversaire

Prend en compte tout au long du jeu: comportement à parier

-->pour apprendre à connaître son adversaire

Page 12: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

12

Un réseau bayésien pour le poker : plan

La structure du réseauLes types de mainLes matrices de probabilité conditionnelle

Page 13: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

13

Structure du réseau bayésien

Le BPP (Bayesien Poker Program)

modélise des relations entre le : type de la main courante type de la main finale comportement adverse

Structure du réseau maintenue pour les 4 tours du jeu (après la distribution de 2, 3, 4 et 5 cartes)

Page 14: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

14

Structure du réseau bayésien

Page 15: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

15

Le réseau bayésien: les types de main

Les nœuds représentent les types de main.

Chaque nœud est initialisé par une valeur correspondant à une des 17 catégories de mains finales

de 1 à 6: busted (low, medium, dame, roi, as)de 7 à 12: pairepuis 2 paires, brelan, suite, flush, full house, carré

et straight flush

Page 16: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

16

Le réseau bayésien : matrices de probabilité conditionnelle

4 matrices d ’action MA/C : reporte les probabilités de passer ou de surenchérir, connaissant la main courante de l ’adversaire. Mises à jour tout au long du jeu

4 matrices MU/C : donnent la probabilité conditionnelle d ’avoir une certaine carte visible sachant la main courante de l ’adversaire

4 matrices MC/F : donnent la probabilité conditionnelle de chaque type de main partielle, sachant la main finale.

Page 17: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

17

La randomisation: plan

Les courbes de pariLe bluff

randomisation: Fait d'introduire un élément aléatoire dans un calcul ou dans un raisonnement

Page 18: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

18

La randomisation:courbes de pari

Seuil tel que p(abandonner) = p(surenchérir) Si p > seuil -> surenchérir Si p < seuil -> abandonner

Manière trop simple de jouer que les autres joueurs vont vite détecter. ->Introduction de courbes de pari

Page 19: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

19

La randomisation:courbes de pari

Page 20: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

20

La randomisation:le bluff

Bluff : représentation erronée intentionnelle de la force d'une main surestimation sous-estimation

-> Créer de l'incertitude sur la pensée de l'adversaire grâce à la randomisation introduite par les courbes de pari

Page 21: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

21

L'expérimentation

4 types d'adversaires : automate basé sur les probabilités automate basé sur des règles plus pointues combinaison d'humains humain expérimenté qui joue et gagne souvent

Résultats : BPP > automates BPP : résultats variables face à une combinaison

d'humains BPP ~ humain expérimenté

Page 22: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

22

L'expérimentation

Page 23: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

23

Travail futur

Améliorations : Affinage des types de main Amélioration de la structure du graphe Amélioration de l'apprentissage pour

l'adversaire

Programme multi-joueursRéseau bayésien dynamique

-> interrelations entre les tours

Page 24: Asi4 Poker

MISE EN OEUVRE

Page 25: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

25

Mise en œuvre : plan

Algorithme général et réseau utiliséFonctions utiliséesRésultatAméliorations possibles

Page 26: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

26

Algorithme général 1/5

Création du jeu de cartes Ensemble de 52 cartes : 13 valeurs, 4 couleurs.

Déclaration des nœuds du réseau Opponent Final Hand : O_F BPP Final Hand : B_F Opponent Current Hand : O_C BPP Win : B_W BPP Current Hand : B_C Opponent Action : O_A Opponent Upcards Hand : O_U

Page 27: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

27

Algorithme général 2/5

Déclaration des liens entre les nœuds

Création du réseau bayésien

Affichage du réseau :

Page 28: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

28

Algorithme général 3/5

Lecture des matrices de probabilités conditionnelles Sources : fichiers envoyés par les chercheurs. Résultat de 10 millions de manches.

Tirage de la carte cachée de chaque joueurDécision de la volonté de bluffer pour cette

manche Abandon rapide ou Poursuite de la manche, même avec mauvais jeu

Page 29: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

29

Algorithme général 4/5

Tirage d'une nouvelle carte par joueurAffichage des jeux

Penser à cacher la première carte Initialisation des probabilités conditionnelles

Matrices différentes pour les 4 tours de jeuSaisie de l'évidence

A partir des nœuds observables : O_U, O_A et B_C Inférence sur les autres nœuds

O_F et B_F

Page 30: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

30

Algorithme général 5/5

Calcul de la probabilité de gagner Reprise de l’algorithme du BPP

Calcul de la décision à prendre comparaison avec un seuil, variable selon les

tours. BPP continue ou abandonne

Affichage final des jeuxCalcul et affichage du gagnant

Page 31: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

31

Fonctions utilisées

Fonctions BNTType_main

Donne le type de la main Force de 1 (busted low) à 13 (straight flush)

Tirage Sort une carte au hasard Dans le jeu restant

Proba_gagner

Page 32: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

32

Difficultés rencontrées

Obtention des matrices de proba. cond. Attente Compréhension du code Lisp

Création de certains algorithmesDivers problèmes BNT

Page 33: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

33

Résultat

Programme qui fonctionneBPP utilise

les cartes visibles, les annonces de l’adversaire son propre jeu

Gagne des partiesBluffe 3 fois sur 10BPP annonce son évaluation du jeu de

l’adversaire

Page 34: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

34

Améliorations possibles

Apprentissage de la façon de jouer de l’adversaire modification des matrices de proba. cond. Annonces BPP dépendant de l’adversaire

Mise en place d’enchères et utilisation de la somme du pot pour évaluer le jeu adverse

Page 35: Asi4 Poker

DEMONSTRATION

Page 36: Asi4 Poker

Juin 2001 Modélisation du jeu de Poker par un réseau bayésien

36

Démonstration

Lancer matlab et poker_avec_bluffBNT dernière version nécessaire.


Top Related