Skip to content

Commit b4fccd1

Browse files
daphnedemekasGeorge DeaneGeorge DeaneJack Heartjacklionheart
authored
Add memory and multiagent evals, and track these metrics in policy metadata (Metta-AI#262)
We want to be able to select policy checkpoints based on their performance on individual eval sets (navigation, memory, multiagent, object use, etc) and here we allow for that by keeping track of the scores during training This PR also includes: - prioritized environment replay in Mettagridenvset - memory evals - multiagent evals --------- Co-authored-by: George Deane <georgedeane@Georges-MacBook-Air.local> Co-authored-by: George Deane <georgedeane@Mac.localdomain> Co-authored-by: Jack Heart <jack@Jacks-MBP.localdomain> Co-authored-by: Jack Heart <jack@stem.ai> Co-authored-by: Jack Heart <jack@softmax.com> Co-authored-by: George Deane <georgedeane@MacBook-Pro.local> Co-authored-by: Lars Sandved <lars.sandvedsmith@gmail.com> Co-authored-by: georgejwdeane <101122217+georgejwdeane@users.noreply.github.com> Co-authored-by: George Deane <george@stema.ai>
1 parent 028f9af commit b4fccd1

File tree

66 files changed

+1579
-123
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

66 files changed

+1579
-123
lines changed

‎configs/env/mettagrid/maps/multiagent/radial_cross.map‎

Lines changed: 24 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,24 @@
1+
WWWWWWWWWWWWWWWWWWWWW
2+
WWWWWWWW a WWWWWWWW
3+
WWWWWWWW WWWWWWWW
4+
WWWWWWWW WWWWWWWW
5+
WWWWWWWW WWWWWWWW
6+
WWWWWWWW WWWWWWWW
7+
WWWWWWWW WWWWWWWW
8+
WWWWWWWW WWWWWWWW
9+
WWWWWWWW WWWWWWWW
10+
WWWWWWWW WWWWWWWW
11+
W W
12+
W A A W
13+
Wa aW
14+
W A A W
15+
W W
16+
WWWWWWWW WWWWWWWW
17+
WWWWWWWW WWWWWWWW
18+
WWWWWWWW WWWWWWWW
19+
WWWWWWWW WWWWWWWW
20+
WWWWWWWW WWWWWWWW
21+
WWWWWWWW WWWWWWWW
22+
WWWWWWWW WWWWWWWW
23+
WWWWWWWW a WWWWWWWW
24+
WWWWWWWWWWWWWWWWWWWWW

‎configs/env/mettagrid/maps/multiagent/radial_cross_large.map‎

Lines changed: 58 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,58 @@
1+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
2+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW a WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
3+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
4+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
5+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
6+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
7+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
8+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
9+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
10+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
11+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
12+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
13+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
14+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
15+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
16+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
17+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
18+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
19+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
20+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
21+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
22+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
23+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
24+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
25+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
26+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
27+
W W
28+
W W
29+
W A W
30+
Wa A A a W
31+
W A W
32+
W W
33+
W W
34+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
35+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
36+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
37+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
38+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
39+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
40+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
41+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
42+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
43+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
44+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
45+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
46+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
47+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
48+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
49+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
50+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
51+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
52+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
53+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
54+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
55+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
56+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
57+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW a WWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
58+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW

‎configs/env/mettagrid/maps/multiagent/radial_diffusion.map‎

Lines changed: 31 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,31 @@
1+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
2+
WWW WWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
3+
WWWWWW a WWWWWWWWWWWWWWWWWWWW a WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
4+
WWWWWW WWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
5+
WWWWWWWWW WWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWW
6+
WWWWWWWWWWW WWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWW a WWWWWWWWWW
7+
WWWWWWWWWWWW WWWWWWWWWWWWWWW WWWWWWWWWWWWWWWW WWWWWWWWWWWWW
8+
WWWWWWWWWWWWW WWWWWWWWWWWWW WWWWWWWWWWWW WWWWWWWWWWWWWWWWW
9+
WWWWWWWWWWWWWWWW WWWWWWWWWWW WWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWW
10+
WWWWWWWWWWWWWWWWWW WWWWWWWWW WWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWW
11+
WWWWWWWWWWWWWWWWWWWW WWWWWWW WWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWW
12+
WWWWWWWWWWWWWWWWWWWWWW WWWWW WWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWW
13+
WWWWWWWWWWWWWWWWWWWWWWWW WWWW WWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
14+
WWWWWWWWWWWWWWWWWWWWWWWWWW WW WW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
15+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
16+
W W
17+
W a A A A a W
18+
W A A A W
19+
W A A W
20+
WWWWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
21+
WWWWWWWWWWWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
22+
WWWWWWWWWWWWWWWWWWWWWWWW WWWW WWW WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
23+
WWWWWWWWWWWWWWWWWWWWW WWWWWW WWWW WWWWWWWWWWWWWWWWWWWWWWWWWWWW
24+
WWWWWWWWWWWWWWWWWWWWW WWWWWWW WWWWWW WWWWWWWWWWWWWWWWWWWWWWWWWWW
25+
WWWWWWWWWWWWWWWWWWWW WWWWWWWWW WWWWWWWW WWWWWWWWWWWWWWWWWWWWWWWW
26+
WWWWWWWWWWWWWWWWWW WWWWWWWWWW WWWWWWWWWWW WWWWWWWWWWWWWWWWWWWWW
27+
WWWWWWWWWWWWWWWW WWWWWWWWWWWWW WWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWW
28+
WWWWWWWWWWWWWW WWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWW
29+
WWWWWWWWWWW a WWWWWWWWWWWWWWWWW WWWWWWWWWWWWWWWWWWW WWWWWWWWWWWW
30+
WWWWWW WWWWWWWWWWWWWWWWWW a WWWWWWWWWWWWWWWWWWWWWW a WWWWWWWWWWW
31+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW

‎configs/env/mettagrid/maps/multiagent/spine_maze_extended.map‎

Lines changed: 27 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,27 @@
1+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
2+
WWWWW WWWWWWWWWW a WWWWWWWWWW a WWWWWWWWWW a WWWWW
3+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
4+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
5+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
6+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
7+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
8+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
9+
WWWWWWWWWWWWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
10+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
11+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
12+
WWWWWWWWWWWWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
13+
W W
14+
WAAA W
15+
WAAA W
16+
W W
17+
WWWWWWWWWWWWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
18+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
19+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
20+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
21+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
22+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
23+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
24+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
25+
WWWWW WWWWWWWWWW WWWWWWWWWW WWWWWWWWWW WWWWW
26+
WWWWW WWWWWWWWWW a WWWWWWWWWW a WWWWWWWWWW a WWWWW
27+
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW

‎configs/env/mettagrid/maps/quantity_evals/quantity_1.map‎

Lines changed: 15 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,15 @@
1+
WWWWWWWWWWWWWWW
2+
W W
3+
W W
4+
W W W
5+
W W W
6+
Waaa W W
7+
WWWWWW W
8+
W A W
9+
W WWWWWW
10+
W W a W
11+
W W W
12+
W W W
13+
W W
14+
W W
15+
WWWWWWWWWWWWWWW

‎configs/env/mettagrid/memory/evals/quantity_1.yaml‎

Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,21 @@
1+
defaults:
2+
- /env/mettagrid/mettagrid@
3+
4+
game:
5+
num_agents: 24 #how many agents are in the map x2
6+
max_steps: 100
7+
agent:
8+
rewards:
9+
heart: 0.333
10+
map_builder:
11+
12+
_target_: mettagrid.config.room.multi_room.MultiRoom
13+
num_rooms: 12
14+
room:
15+
_target_: mettagrid.config.room.ascii.Ascii
16+
border_width: 1
17+
uri: "configs/env/mettagrid/maps/memory/quantity_1.map"
18+
19+
objects:
20+
altar:
21+
cooldown: 255

‎configs/env/mettagrid/memory/training/easy.yaml‎

Lines changed: 3 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -2,15 +2,15 @@ defaults:
22
- /env/mettagrid/mettagrid@
33

44
game:
5-
num_agents: 32 #how many agents are in the map x2
6-
max_steps: 42
5+
num_agents: 16 #how many agents are in the map x2
6+
max_steps: 45
77
agent:
88
rewards:
99
heart: 0.333
1010
map_builder:
1111

1212
_target_: mettagrid.config.room.multi_room.MultiRoom
13-
num_rooms: 4
13+
num_rooms: 2
1414
room:
1515
_target_: mettagrid.config.room.ascii.Ascii
1616
border_width: 1

‎configs/env/mettagrid/memory/training/medium.yaml‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -2,15 +2,15 @@ defaults:
22
- /env/mettagrid/mettagrid@
33

44
game:
5-
num_agents: 32 #how many agents are in the map x2
5+
num_agents: 16 #how many agents are in the map x2
66
max_steps: 58
77
agent:
88
rewards:
99
heart: 0.333
1010
map_builder:
1111

1212
_target_: mettagrid.config.room.multi_room.MultiRoom
13-
num_rooms: 4
13+
num_rooms: 2
1414
room:
1515
_target_: mettagrid.config.room.ascii.Ascii
1616
border_width: 1

‎configs/env/mettagrid/multiagent/evals/radial_cross.yaml‎

Lines changed: 23 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,23 @@
1+
defaults:
2+
- /env/mettagrid/mettagrid@
3+
- _self_
4+
5+
game:
6+
num_agents: 80 #how many agents are in the map x2
7+
max_steps: 25
8+
9+
agent:
10+
rewards:
11+
heart: 1
12+
13+
map_builder:
14+
_target_: mettagrid.config.room.multi_room.MultiRoom
15+
num_rooms: 20
16+
room:
17+
_target_: mettagrid.config.room.ascii.Ascii
18+
border_width: 1
19+
uri: "configs/env/mettagrid/maps/multiagent/radial_cross.map"
20+
21+
objects:
22+
altar:
23+
cooldown: 255

‎configs/env/mettagrid/multiagent/evals/radial_cross_large.yaml‎

Lines changed: 23 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,23 @@
1+
defaults:
2+
- /env/mettagrid/mettagrid@
3+
- _self_
4+
5+
game:
6+
num_agents: 80 #how many agents are in the map x2
7+
max_steps: 50
8+
9+
agent:
10+
rewards:
11+
heart: 1.0
12+
13+
map_builder:
14+
_target_: mettagrid.config.room.multi_room.MultiRoom
15+
num_rooms: 20
16+
room:
17+
_target_: mettagrid.config.room.ascii.Ascii
18+
border_width: 1
19+
uri: "configs/env/mettagrid/maps/multiagent/radial_cross_large.map"
20+
21+
objects:
22+
altar:
23+
cooldown: 255

0 commit comments

Comments
 (0)