AlphaGo
AlphaGo est un programme informatique capable de jouer au jeu de go, développé par l'entreprise britannique DeepMind et racheté en 2014 par Google.
| Développé par | Google DeepMind |
|---|---|
| Type |
Logiciel de jeu de go Entité artificiellement intelligente (d) |
| Site web | Site officiel |
En , il devient le premier programme à battre un joueur professionnel (le français Fan Hui) sur un goban de taille normale (19×19) sans handicap. Il s'agit d'une étape symboliquement forte puisque le programme joueur de go est alors un défi complexe de l'intelligence artificielle[1]. En , il bat Lee Sedol, un des meilleurs joueurs mondiaux (9e dan professionnel)[2],[3]. Le , il bat le champion du monde Ke Jie et le retrait du logiciel est annoncé.
L'algorithme d'AlphaGo combine des techniques d'apprentissage automatique et de parcours de graphe, associées à de nombreux entrainements avec des humains, d'autres ordinateurs, et surtout lui-même.
Cet algorithme sera encore amélioré dans les versions suivantes. AlphaGo Zero en atteint un niveau supérieur en jouant uniquement contre lui-même. AlphaZero en décembre 2017 surpasse largement, toujours par auto-apprentissage, le niveau de tous les joueurs humains et logiciels, non seulement au go, mais aussi aux échecs et au shōgi.
Histoire
modifierContexte
modifierProgrammer un joueur de go est considéré comme un problème bien plus difficile que pour d'autres jeux, comme les échecs, en raison d'un bien plus grand nombre de combinaisons possibles[4], mais aussi parce que la condition de victoire et les objectifs intermédiaires sont beaucoup moins clairs, ce qui rend extrêmement complexe l'utilisation de méthodes traditionnelles telles que la recherche exhaustive[5]. Quand l'ordinateur d'IBM Deep Blue a battu le champion du monde d'échecs Garry Kasparov en 1997, les ordinateurs étaient alors limités au niveau des joueurs amateurs faibles au jeu de go.
Le monde de la recherche voit en cette difficulté un défi à relever et améliore ses algorithmes[6], et le niveau des programmes s'accélère dans les années 2010. En 2012, le programme Zen a battu Takemiya Masaki (9e dan) deux fois, avec un handicap de 5 et 4 pierres[7]. En 2013, Crazy Stone a battu Ishida Yoshio (9e dan) avec un handicap de 4 pierres[8].
Début 2016, Facebook annonce avoir des résultats encourageants à propos d'une intelligence artificielle de go[9] appelée Darkforest développée en interne.
Développement
modifierAlphaGo a été développé par DeepMind Technologies, une entreprise britannique spécialisée dans l'intelligence artificielle créée par Demis Hassabis, Mustafa Suleyman et Shane Legg[10] en 2010, et rachetée par Google en 2014.
AlphaGo représente une amélioration significative par rapport aux précédents programmes de go. Sur 500 parties jouées contre d'autres programmes, y compris Crazy Stone et Zen[11], AlphaGo n'en a perdu qu'une[12].
Match contre Fan Hui
modifierEn , AlphaGo bat le champion européen de go Fan Hui (2e dan), 5-0 en parties lentes[13] et 3-2 en parties rapides[14]. C'est la première fois qu'un programme de go bat un joueur professionnel dans un match avec parties sans handicap sur un goban de taille normale (19×19)[14]. La nouvelle n'a été annoncée que le pour coïncider avec la publication d'un article dans le journal Nature[15] décrivant l'algorithme utilisé[13].
Match contre Lee Sedol
modifier
AlphaGo affronte en le joueur sud-coréen Lee Sedol (9e dan professionnel, niveau maximal), considéré comme le meilleur joueur du monde entre 2000 et 2010[1]. Le match, récompensé par un prix d'un million de dollars, est diffusé et commenté en direct sur internet[16]. Lee Sedol reçoit 150 000 $ pour sa participation, et 20 000 $ pour chaque partie gagnée.
Le match en 5 parties se termine par la victoire 4-1 de l'ordinateur :
- Victoire d'AlphaGo avec les blancs, par abandon après 3 heures et 39 minutes de jeu[17].
- Victoire d'AlphaGo avec les noirs, par abandon[18].
- Victoire d'AlphaGo avec les blancs, par abandon.
- Victoire de Lee Sedol avec les blancs (en offrant un jeu de qualité, et découvrant une faille dans le logiciel ; cette faiblesse d'AlphaGo sera réparée dans les versions ultérieures), par abandon[19].
- Victoire d'AlphaGo avec les blancs[20]. Lee Sedol joue les noirs à sa demande considérant qu'ainsi la partie aurait plus de valeur[21].
Avant même la dernière partie et assuré de la victoire, AlphaGo est classé 9e dan professionnel de manière honorifique par la Hanguk Kiwon (fédération coréenne de jeu de go)[22]. Le prix d'un million de dollars, gagné par l'équipe d'AlphaGo, est donné à des associations caritatives.
Après le match contre Lee Sedol
modifierAvant même la rencontre, d'autres professionnels avaient manifesté leur désir de s'opposer à AlphaGo[23], même si Ke Jie estimait, au vu de ses parties contre Fan Hui, que ce n'était pas un adversaire digne de lui[24]. Après le match, Lee Sedol regrettait de ne pas avoir donné toute sa mesure, et souhaitait une revanche[25]. Mais ce n'est qu'au début de que la perspective d'une nouvelle rencontre se précisait ; cependant, le , Demis Hassabis refusait de confirmer ces informations[26],[27].
Le , AlphaGo devient le meilleur joueur du monde au classement de GoRatings, avec 3612 points Elo (contre 3608 au second, Ke Jie)[28].
En , des commentaires détaillés des parties du match contre Lee Sedol, dus à Gu Li et Zhou Ruiyang (en) et s’appuyant sur les analyses d’AlphaGo, ont été publiés sur le site de DeepMind[29] ; d’après Gu Li, la maîtrise d’AlphaGo et la profondeur de ses analyses dépassent encore ce qu’on en avait déjà dit lors du match.
Le , Demis Hassabis annonce qu’une version améliorée d'AlphaGo vient de disputer une série de 60 parties rapides contre les meilleurs joueurs mondiaux (Ke Jie, Iyama Yuta, Gu Li, Park Jeong-hwan (en)…)[30], parties qu’elle a toutes gagnées, et qu’elle disputera des matchs officiels un peu plus tard dans l’année[31].
Du 23 au , un festival intitulé The Future of Go Summit est organisé par Google et l’association chinoise de weiqi à Wuzhen ; la plus récente version d'AlphaGo y affronte Ke Jie dans un match en trois parties, ainsi que d'autres professionnels chinois jouant en consultation. Là encore, AlphaGo gagne toutes les parties jouées[32]. Après cette rencontre, Google annonce qu'AlphaGo ne jouera plus en compétition, mais qu'ils vont publier des documents techniques décrivant leurs dernières améliorations et un ensemble de parties jouées par la machine contre elle-même ; ils envisagent aussi de développer à l'usage des joueurs un outil d'analyse s'appuyant sur ce logiciel[33],[34].
Le , DeepMind annonce un nouveau développement, qu’ils nomment AlphaGo Zero ; ce programme utilise une architecture simplifiée et part d’une connaissance nulle du jeu (uniquement les règles) ; jouant uniquement contre lui-même, il atteint le niveau débutant en trois heures, bat 100 à 0 la version ayant battu Lee Sedol après 72 heures, et après 40 jours, il bat la version de (dite « Master ») 89 parties sur 100[35],[36].
Le , une nouvelle version nommée AlphaZero généralise encore cet algorithme, obtenant un programme générique capable d'apprendre à jouer au go, aux échecs ou au shōgi à partir de la simple connaissance des règles ; le programme parvient en quelques heures à battre les meilleurs programmes existants (par exemple, pour les échecs, il obtient après quatre heures d'apprentissage une nette victoire sur Stockfish : sur 100 parties, 25 victoires avec Blanc, 3 avec Noir, et 72 nulles)[37].
Algorithme
modifierLes premières versions d'AlphaGo utilisent la méthode de Monte-Carlo, guidée par un « value network » et un « policy network » (un réseau de valeur et un réseau d'objectifs), tous deux implémentés en utilisant un réseau de neurones profond[5].
AlphaGo a initialement été entraîné pour « imiter » les joueurs humains, en retrouvant les coups enregistrés lors de dizaines de milliers de parties menées par des joueurs experts[2]. Une fois un certain niveau atteint, il s'est entraîné à jouer des millions de parties contre d'autres instances de lui-même[2], utilisant l'apprentissage par renforcement pour s'améliorer[5].
Cependant, en , DeepMind publie dans Nature une nouvelle étude, décrivant AlphaGo Zero, une architecture simplifiée et n’utilisant plus ni la méthode de Monte-Carlo, ni des connaissances humaines, mais parvenant pourtant très rapidement à des performances supérieures à celles des versions précédentes[36].
Projet Leela Zero
modifierL’algorithme d’AlphaGo (ou du moins ses idées essentielles) ayant été rendu public, plusieurs groupes ont essayé de le reproduire, voire de l’améliorer. À partir de 2018 en particulier, un projet collaboratif et open source, Leela Zero, a obtenu en un an des résultats analogues, portables sur des ordinateurs individuels, et même sur des smartphones.
Notes et références
modifier- (en) Jethro Mullen, « Computer scores big win against humans in ancient game of Go », CNN, (consulté le ).
- Classement des meilleurs joueurs mondiaux, sur le site goratings.org
- Le nombre de parties raisonnables possibles est immense, il est estimé à 10600 pour un goban 19x19, alors que pour les échecs, il ne serait que de 10120 (le nombre de Shannon), nombre lui-même immensément supérieur à celui (1080) des particules de l'univers (voir « L'ordinateur battra-t-il l'homme au Jeu de Go ? », sur reseaux-telecoms.net (consulté le )).
- (en) David Silver et Demis Hassabis, « AlphaGo: Mastering the ancient game of Go with Machine Learning », sur Google Research Blog, .
- (en-US) Alan Levinovitz, « The Mystery of Go, the Ancient Game That Computers Still Can't Win », sur Wired, (consulté le ).
- (en) David Ormerod, « Zen computer Go program beats Takemiya Masaki with just 4 stones! », sur Go Game Guru (consulté le ).
- (ja) « 「アマ六段の力。天才かも」囲碁棋士、コンピューターに敗れる 初の公式戦 », MSN Sankei News, (consulté le ).
- (en-GB) HAL 90210, « No Go: Facebook fails to spoil Google's big AI day », The Guardian, (lire en ligne, consulté le )
- (en) Amy Thomson, « Google Buys U.K. Artificial Intelligence Company DeepMind », sur Bloomberg.com (consulté le )
- (en) Sarah Griffiths, « Artificial intelligence breakthrough as Google's software beats grandmaster of Go, the 'most complex game ever devised' », Daily Mail, (consulté le ).
- (en) Chris Duckett, « Google AlphaGo AI clean sweeps European Go champion », ZDNet, (consulté le ).
- (en) « Google achieves AI 'breakthrough' by beating Go champion », BBC News, .
- David Larousserie et Morgane Tual, « Première défaite d'un professionnel du go contre une intelligence artificielle », Le Monde.fr, (lire en ligne, consulté le ).
- (en) David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel et Demis Hassabis, « Mastering the game of Go with deep neural networks and tree search », Nature, vol. 529, no 7587, , p. 484–489 (DOI 10.1038/nature16961, lire en ligne, consulté le ).
- (en-GB) Samuel Gibbs, « Google’s AI AlphaGo to take on world No 1 Lee Se-dol in live broadcast », The Guardian, (lire en ligne, consulté le )
- « Le meilleur joueur mondial de go battu par une intelligence artificielle dans un match symbolique », Le Monde.fr, (lire en ligne, consulté le ).
- « Jeu de go : Lee Sedol perd la deuxième manche face à l'intelligence artificielle », Le Monde.fr, (lire en ligne, consulté le ).
- « Jeu de go : première victoire de Lee Sedol contre l’intelligence artificielle de Google », Le Monde.fr, (lire en ligne, consulté le )
- « Jeu de go : victoire finale de l'intelligence artificielle sur le score de 4 à 1 », Le Monde.fr, (lire en ligne, consulté le )
- (en) « Lee Se-dol shows AlphaGo beatable », sur The Korea Times (consulté le )
- (en) hermesauto, « Google's AlphaGo gets 'divine' Go ranking », sur The Straits Times (consulté le )
- (en) « In the "aftermath" of AlphaGo - Opinions of Professional Go Players » [« Dans le sillage d'AlphaGo : opinions de joueurs professionnels »], European Go Federation, .
- « "AlphaGo ne peut pas me battre", déclare Ke Jie, joueur professionnel de go », sur french.xinhuanet.com, (consulté le ).
- (en) « Defeated Go champion Lee Sedol wants a rematch against AlphaGo » [« Lee Sedol, le champion de go battu, veut un match retour contre AlphaGo »], sur independent.co.uk, (consulté le ).
- Julien Cadot, « Le numéro 1 du jeu de Go veut la revanche de l’humanité sur l’intelligence artificielle », sur numerama.com, (consulté le ).
- Karyl Ait-Kaci-Ali, « AlphaGo : pas de match contre Ke Jie (pour l'instant ?) déclare DeepMind », sur CNETfrance.fr, (consulté le ).
- Julien Lausson, « AlphaGo devient le joueur le mieux classé du monde », sur numerama.com, .
- (en) Les parties commentées, et trois parties d’AlphaGo contre lui-même.
- (de) Diagrammes interactifs (mais non commentés) de ces parties.
- (en) Message officiel de Demis Hassabis.
- (en) Annonce, résultats et commentaires de la rencontre sur le site de DeepMind.
- Morgane Tual, « AlphaGo prend sa retraite », Le Monde.fr, (lire en ligne).
- Cet outil (un ensemble d'analyses de 6000 fuseki (séquences d'ouverture) fréquemment joués par les professionnels et les forts amateurs) est accessible en ligne depuis l'automne 2017 sous le nom de AlphaGo Teach (en).
- Morgane Tual, « Intelligence artificielle : toujours plus puissant, AlphaGo apprend désormais sans données humaines », Le Monde.fr, (lire en ligne).
- (en) David Silver, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, Yutian Chen, Timothy Lillicrap, Fan Hui, Laurent Sifre, George van den Driessche, Thore Graepel et Demis Hassabis, « Mastering the game of Go without human knowledge », Nature, vol. 550, , p. 354–359 (DOI 10.1038/nature24270, lire en ligne).
- (en) David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, Timothy Lillicrap, Karen Simonyan et Demis Hassabis, « Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm », arXiv, (lire en ligne).
