Les ordinateurs ont dominé les humains dans les jeux en tête-à-tête comme les échecs pendant des décennies, mais il est un peu plus difficile de faire coopérer l'intelligence artificielle (IA) avec ses coéquipiers. Des chercheurs du projet Google DeepMind de Google ont appris aux joueurs de l’intelligence artificielle à travailler ensemble dans des équipes réunissant des humains et d’autres ordinateurs afin de participer au jeu vidéo Quake III Arena de 1999.
Edd Gent at Science rapporte que lorsque l'IA n'a qu'un seul adversaire, elle s'en sort plutôt bien puisqu'elle n'anticipe que les mouvements possibles d'un seul esprit. Mais le travail d'équipe est une toute autre affaire car il inclut des actions pour lesquelles les ordinateurs ne sont généralement pas bons, comme prédire le comportement d'un groupe de coéquipiers. Pour que l'IA soit réellement utile, elle doit apprendre à coopérer avec d'autres intelligences.
L'équipe DeepMind de Google explique dans un article de blog:
«Des milliards de personnes habitent la planète, chacune avec ses propres objectifs et actions, mais toujours capable de se rassembler au sein d'équipes, d'organisations et de sociétés dans le cadre d'impressionnantes démonstrations d'intelligence collective. Nous appelons cela l'apprentissage multi-agents: de nombreux agents individuels doivent agir de manière indépendante, tout en apprenant à interagir et à coopérer avec d'autres agents. C'est un problème extrêmement difficile, car avec des agents co-adaptateurs, le monde change constamment. ”
Les jeux vidéo multijoueurs à la première personne, dans lesquels des équipes de joueurs sillonnent les mondes virtuels, tirant généralement des armes à feu ou des lance-grenades, sont le lieu idéal pour que l'IA apprenne les subtilités du travail d'équipe. Chaque joueur doit agir individuellement et faire des choix qui profitent à l’ensemble de l’équipe.
Pour l'étude, l'équipe a formé l'IA à jouer pour capturer le drapeau sur la plate-forme Quake III Arena . Les règles sont assez simples: deux équipes s'affrontent sur un champ de bataille semblable à un labyrinthe. L’objectif est de capturer autant de drapeaux virtuels que les autres équipes tout en protégeant les leurs et quelle que soit l’équipe qui remporte le plus grand nombre de drapeaux en cinq minutes. En pratique, cependant, les choses peuvent devenir très compliquées rapidement.
L’équipe DeepMind a créé 30 algorithmes de réseau de neurones et les a confrontés sur une série de cartes de jeu générées aléatoirement. Les bots ont marqué des points en capturant des drapeaux et en zappant les autres joueurs, en les renvoyant dans une zone de réapparition où leur personnage est réinitialisé. Au début, les actions des robots semblaient aléatoires. Cependant, plus ils jouaient, mieux ils devenaient. Tous les réseaux de neurones systématiquement perdus étaient éliminés et remplacés par des versions modifiées de l'intelligence artificielle gagnante. Au terme de 450 000 parties, l'équipe a été couronnée championne du réseau de neurones, baptisé For the Win (FTW).
Le groupe DeepMind a joué l'algorithme FTW contre ce qu'on appelle les robots miroirs, pour lesquels il manque des compétences d'apprentissage de l'IA, puis contre des équipes humaines. FTW a écrasé tous les challengers.
Le groupe a ensuite organisé un tournoi au cours duquel 40 joueurs humains ont été confrontés au hasard en tant que coéquipiers et adversaires du bot. Selon le blog, des joueurs humains ont découvert que les robots étaient plus collaboratifs que leurs coéquipiers réels. Les joueurs humains jumelés à des agents FTW ont pu vaincre les cyber-guerriers dans environ 5% des matchs.
Au fur et à mesure de leur apprentissage, les robots ont découvert des stratégies adoptées depuis longtemps par les joueurs humains, comme se tenir près du point de réapparition d'un drapeau pour l'attraper quand il réapparaîtrait. Les équipes de FTW ont également découvert un bug qu’elles pourraient exploiter: si elles tiraient leur propre coéquipier dans le dos, cela leur donnerait un coup de pouce de vitesse, quelque chose qu’elles utilisaient à leur avantage.
«Ce qui était étonnant pendant le développement de ce projet, c’était de voir émerger certains de ces comportements de haut niveau», explique Max Jaderberg, chercheur à DeepMind et auteur principal. "Ce sont des choses que nous pouvons comprendre en tant qu'acteurs humains."
L'une des principales raisons pour lesquelles les robots étaient meilleurs que les joueurs humains est qu'ils étaient des tireurs rapides et précis, les rendant plus rapides au tirage que leurs adversaires humains. Mais ce n'était pas le seul facteur de leur succès. Selon le blog, lorsque les chercheurs ont mis en place le temps de réaction différé en une seconde et quart dans les robots de tir, les meilleurs humains ne pouvaient encore les battre que 21% du temps environ.
Depuis cette étude initiale, FTW et ses descendants ont été libérés sur l’ensemble du champ de bataille de Quake III Arena et ont montré qu’ils pouvaient maîtriser un monde encore plus complexe avec plus d’options et de nuances. Ils ont également créé un bot qui excelle dans le jeu de stratégie ultra-complexe Starcraft II.
Mais la recherche ne consiste pas uniquement à créer de meilleurs algorithmes de jeu vidéo. En savoir plus sur le travail d'équipe pourrait éventuellement aider l'IA à travailler dans des flottes de voitures autonomes ou peut-être un jour devenir des assistants robotiques aidant à anticiper les besoins des chirurgiens, rapporte le journal Science de Gent.
Cependant, tout le monde ne pense pas que les robots étoiles arcade représentent un véritable travail d'équipe. Le chercheur en intelligence artificielle Mark Riedl de Georgia Tech a déclaré au New York Times que les robots sont si bons au jeu parce que chacun comprend les stratégies en profondeur. Mais ce n'est pas nécessairement une coopération, car les équipes d'intelligence artificielle manquent d'un élément crucial du travail d'équipe humain: la communication et la coopération intentionnelle.
Et, bien sûr, il leur manque également l’autre caractéristique de l’expérience de jeu vidéo coopératif: parler trash à l’autre équipe.
