first phase at optimizing merging large mappings

bulk them the same level ones when traversing and introduce them

Author: kimchy

src/main/java/org/elasticsearch/index/mapper/DocumentMapper.java

@@ -304,26 +304,21 @@ public DocumentMapper(String index, @Nullable Settings indexSettings, DocumentMa
  rootMapper(RoutingFieldMapper.class).markAsRequired();
  }
 
- final List<FieldMapper> tempFieldMappers = newArrayList();
+ FieldMapperListener.Aggregator fieldMappersAgg = new FieldMapperListener.Aggregator();
  for (RootMapper rootMapper : rootMappersOrdered) {
  if (rootMapper.includeInObject()) {
  rootObjectMapper.putMapper(rootMapper);
  } else {
  if (rootMapper instanceof FieldMapper) {
- tempFieldMappers.add((FieldMapper) rootMapper);
+ fieldMappersAgg.fieldMappers.add((FieldMapper) rootMapper);
  }
  }
  }
 
  // now traverse and get all the statically defined ones
- rootObjectMapper.traverse(new FieldMapperListener() {
- @Override
- public void fieldMapper(FieldMapper fieldMapper) {
- tempFieldMappers.add(fieldMapper);
- }
- });
+ rootObjectMapper.traverse(fieldMappersAgg);
 
- this.fieldMappers = new DocumentFieldMappers(this, tempFieldMappers);
+ this.fieldMappers = new DocumentFieldMappers(this, fieldMappersAgg.fieldMappers);
 
  final Map<String, ObjectMapper> objectMappers = Maps.newHashMap();
  rootObjectMapper.traverse(new ObjectMapperListener() {
@@ -541,12 +536,16 @@ public ParsedDocument parse(SourceToParse source, @Nullable ParseListener listen
  return doc;
  }
 
- public void addFieldMapper(FieldMapper fieldMapper) {
+ public void addFieldMappers(Collection<FieldMapper> fieldMappers) {
+ addFieldMappers(fieldMappers.toArray(new FieldMapper[fieldMappers.size()]));
+ }
+
+ public void addFieldMappers(FieldMapper... fieldMappers) {
  synchronized (mutex) {
- fieldMappers = fieldMappers.concat(this, fieldMapper);
+ this.fieldMappers = this.fieldMappers.concat(this, fieldMappers);
  }
  for (FieldMapperListener listener : fieldMapperListeners) {
- listener.fieldMapper(fieldMapper);
+ listener.fieldMappers(fieldMappers);
  }
  }
 
@@ -566,15 +565,23 @@ public void traverse(FieldMapperListener listener) {
  rootObjectMapper.traverse(listener);
  }
 
- public void addObjectMapper(ObjectMapper objectMapper) {
+ public void addObjectMappers(Collection<ObjectMapper> objectMappers) {
+ addObjectMappers(objectMappers.toArray(new ObjectMapper[objectMappers.size()]));
+ }
+
+ public void addObjectMappers(ObjectMapper... objectMappers) {
  synchronized (mutex) {
- objectMappers = MapBuilder.newMapBuilder(objectMappers).put(objectMapper.fullPath(), objectMapper).immutableMap();
- if (objectMapper.nested().isNested()) {
- hasNestedObjects = true;
+ MapBuilder<String, ObjectMapper> builder = MapBuilder.newMapBuilder(this.objectMappers);
+ for (ObjectMapper objectMapper : objectMappers) {
+ builder.put(objectMapper.fullPath(), objectMapper);
+ if (objectMapper.nested().isNested()) {
+ hasNestedObjects = true;
+ }
  }
+ this.objectMappers = builder.immutableMap();
  }
  for (ObjectMapperListener objectMapperListener : objectMapperListeners) {
- objectMapperListener.objectMapper(objectMapper);
+ objectMapperListener.objectMappers(objectMappers);
  }
  }
 

src/main/java/org/elasticsearch/index/mapper/FieldMapperListener.java

@@ -25,10 +25,9 @@
 /**
  *
  */
-public interface FieldMapperListener {
-
- public static class Aggregator implements FieldMapperListener {
+public abstract class FieldMapperListener {
 
+ public static class Aggregator extends FieldMapperListener {
  public final List<FieldMapper> fieldMappers = new ArrayList<FieldMapper>();
 
  @Override
@@ -37,5 +36,11 @@ public void fieldMapper(FieldMapper fieldMapper) {
  }
  }
 
- void fieldMapper(FieldMapper fieldMapper);
+ public abstract void fieldMapper(FieldMapper fieldMapper);
+
+ public void fieldMappers(FieldMapper... fieldMappers) {
+ for (FieldMapper mapper : fieldMappers) {
+ fieldMapper(mapper);
+ }
+ }
 }

src/main/java/org/elasticsearch/index/mapper/MapperService.java

@@ -938,17 +938,27 @@ protected TokenStreamComponents wrapComponents(String fieldName, TokenStreamComp
  }
  }
 
- class InternalFieldMapperListener implements FieldMapperListener {
+ class InternalFieldMapperListener extends FieldMapperListener {
  @Override
  public void fieldMapper(FieldMapper fieldMapper) {
  addFieldMappers(new FieldMapper[]{fieldMapper});
  }
+
+ @Override
+ public void fieldMappers(FieldMapper... fieldMappers) {
+ addFieldMappers(fieldMappers);
+ }
  }
 
- class InternalObjectMapperListener implements ObjectMapperListener {
+ class InternalObjectMapperListener extends ObjectMapperListener {
  @Override
  public void objectMapper(ObjectMapper objectMapper) {
  addObjectMappers(new ObjectMapper[]{objectMapper});
  }
+
+ @Override
+ public void objectMappers(ObjectMapper... objectMappers) {
+ addObjectMappers(objectMappers);
+ }
  }
 }

src/main/java/org/elasticsearch/index/mapper/ObjectMapperListener.java

@@ -27,10 +27,9 @@
 /**
  *
  */
-public interface ObjectMapperListener {
-
- public static class Aggregator implements ObjectMapperListener {
+public abstract class ObjectMapperListener {
 
+ public static class Aggregator extends ObjectMapperListener {
  public final List<ObjectMapper> objectMappers = new ArrayList<ObjectMapper>();
 
  @Override
@@ -39,5 +38,11 @@ public void objectMapper(ObjectMapper objectMapper) {
  }
  }
 
- void objectMapper(ObjectMapper objectMapper);
+ public abstract void objectMapper(ObjectMapper objectMapper);
+
+ public void objectMappers(ObjectMapper... objectMappers) {
+ for (ObjectMapper objectMapper : objectMappers) {
+ objectMapper(objectMapper);
+ }
+ }
 }

src/main/java/org/elasticsearch/index/mapper/multifield/MultiFieldMapper.java

@@ -266,9 +266,7 @@ public void merge(Mapper mergeWith, MergeContext mergeContext) throws MergeMappi
  }
  }
  // call it outside of the mutex
- for (FieldMapper fieldMapper : mappersToAddToDocMapper) {
- mergeContext.docMapper().addFieldMapper(fieldMapper);
- }
+ mergeContext.docMapper().addFieldMappers(mappersToAddToDocMapper);
  }
 
  @Override

src/main/java/org/elasticsearch/index/mapper/object/ObjectMapper.java

@@ -539,19 +539,13 @@ private void serializeObject(final ParseContext context, String currentFieldName
  if (newMapper) {
  // we need to traverse in case we have a dynamic template and need to add field mappers
  // introduced by it
- objectMapper.traverse(new FieldMapperListener() {
- @Override
- public void fieldMapper(FieldMapper fieldMapper) {
- context.docMapper().addFieldMapper(fieldMapper);
- }
- });
- objectMapper.traverse(new ObjectMapperListener() {
- @Override
- public void objectMapper(ObjectMapper objectMapper) {
- context.docMapper().addObjectMapper(objectMapper);
- }
- });
+ FieldMapperListener.Aggregator fieldMappersAgg = new FieldMapperListener.Aggregator();
+ objectMapper.traverse(fieldMappersAgg);
+ context.docMapper().addFieldMappers(fieldMappersAgg.fieldMappers);
 
+ ObjectMapperListener.Aggregator objectMappersAgg = new ObjectMapperListener.Aggregator();
+ objectMapper.traverse(objectMappersAgg);
+ context.docMapper().addObjectMappers(objectMappersAgg.objectMappers);
  }
  // now, parse it
  objectMapper.parse(context);
@@ -775,12 +769,9 @@ private void serializeValue(final ParseContext context, String currentFieldName,
  }
  }
  if (newMapper) {
- mapper.traverse(new FieldMapperListener() {
- @Override
- public void fieldMapper(FieldMapper fieldMapper) {
- context.docMapper().addFieldMapper(fieldMapper);
- }
- });
+ FieldMapperListener.Aggregator fieldMappersAgg = new FieldMapperListener.Aggregator();
+ mapper.traverse(fieldMappersAgg);
+ context.docMapper().addFieldMappers(fieldMappersAgg.fieldMappers);
  }
  mapper.parse(context);
  }
@@ -823,20 +814,14 @@ public void merge(final Mapper mergeWith, final MergeContext mergeContext) throw
  }
  }
  // call this outside of the mutex
+ FieldMapperListener.Aggregator fieldMappersAgg = new FieldMapperListener.Aggregator();
+ ObjectMapperListener.Aggregator objectMappersAgg = new ObjectMapperListener.Aggregator();
  for (Mapper mapper : mappersToTraverse) {
- mapper.traverse(new FieldMapperListener() {
- @Override
- public void fieldMapper(FieldMapper fieldMapper) {
- mergeContext.docMapper().addFieldMapper(fieldMapper);
- }
- });
- mapper.traverse(new ObjectMapperListener() {
- @Override
- public void objectMapper(ObjectMapper objectMapper) {
- mergeContext.docMapper().addObjectMapper(objectMapper);
- }
- });
+ mapper.traverse(fieldMappersAgg);
+ mapper.traverse(objectMappersAgg);
  }
+ mergeContext.docMapper().addFieldMappers(fieldMappersAgg.fieldMappers);
+ mergeContext.docMapper().addObjectMappers(objectMappersAgg.objectMappers);
  }
 
  protected void doMerge(ObjectMapper mergeWith, MergeContext mergeContext) {