Mongo db devfestw

MongoDB Mix Paris - Mars 2013 jeudi 14 mars 13

Agile Developer MongoDB User @karesti MongoDB Master Katia Aresti Freelance jeudi 14 mars 13

Faisons connaissance ... jeudi 14 mars 13

Faisons connaissance ... • Avant cette soirée, je ne connaissais que lui jeudi 14 mars 13

Faisons connaissance ... • Avant cette soirée, je ne connaissais que lui • J’en ai entendu un peu parler jeudi 14 mars 13

Faisons connaissance ... • Avant cette soirée, je ne connaissais que lui • J’en ai entendu un peu parler • J’ai déjà utilisé MongoDB à la maison jeudi 14 mars 13

Faisons connaissance ... • Avant cette soirée, je ne connaissais que lui • J’en ai entendu un peu parler • J’ai déjà utilisé MongoDB à la maison • J’utilise MongoDB chez mon client jeudi 14 mars 13

1ème partie Mongo jeudi 14 mars 13

Mini-introduction jeudi 14 mars 13

«MongoDB has the best features of key/value stores, document databases and relational databases in one.» John Nunemaker jeudi 14 mars 13

Orienté Document jeudi 14 mars 13

Orienté Document • Pas de jointures jeudi 14 mars 13

Orienté Document • Pas de jointures • Pas de transaction multi-documents jeudi 14 mars 13

Orienté Document • Pas de jointures • Pas de transaction multi-documents • Les documents inclus et les tableaux limitent les besoins de jointures jeudi 14 mars 13

Orienté Document • Pas de jointures • Pas de transaction multi-documents • Les documents inclus et les tableaux limitent les besoins de jointures • Sans schéma jeudi 14 mars 13

Orienté Document • Pas de jointures • Pas de transaction multi-documents • Les documents inclus et les tableaux limitent les besoins de jointures • Sans schéma • Système de requêtes très évolué jeudi 14 mars 13

La donnée normalisée Category • Name • Url Article User • Name Tag • Name • Slug • Name • Email Address • Publish date • Url • Text Comment • Comment • Date • Author © jeudi 14 mars 13

Une base de données document Article • Name • Slug • Publish date User • Text • Name • Author • Email Address Comment[] • Comment • Date • Author Tag[] • Value Category[] • Value © jeudi 14 mars 13

RDBMS Mongo Table,View ➜ Collection Row ➜ Document Index ➜ Index Join ➜ Embedded Document Foreign Key ➜ Reference Partition ➜ Shard jeudi 14 mars 13

Techniquement jeudi 14 mars 13

Techniquement • Ecrit en C++ jeudi 14 mars 13

Techniquement • Ecrit en C++ • Portable (presque) partout ! jeudi 14 mars 13

Techniquement • Ecrit en C++ • Portable (presque) partout ! • La donnée est sérialisée en BSON jeudi 14 mars 13

Techniquement • Ecrit en C++ • Portable (presque) partout ! • La donnée est sérialisée en BSON • Utilisation massive de la mémoire jeudi 14 mars 13

Haute-Disponibilité & Scalabilité jeudi 14 mars 13

Haute-Disponibilité & Scalabilité • Réplication de server avec failover du master automatique jeudi 14 mars 13

Haute-Disponibilité & Scalabilité • Réplication de server avec failover du master automatique • Sharding automatique jeudi 14 mars 13

Haute-Disponibilité & Scalabilité • Réplication de server avec failover du master automatique • Sharding automatique • Distribution des lectures sur les serveurs jeudi 14 mars 13

Haute performance jeudi 14 mars 13

Haute performance • La plupart des opération sont faites en mémoire. jeudi 14 mars 13

Haute performance • La plupart des opération sont faites en mémoire. • Ecriture et Lecture très rapides. jeudi 14 mars 13

Haute performance • La plupart des opération sont faites en mémoire. • Ecriture et Lecture très rapides. • Indexation de n'importe quel champs ou sous- documents jeudi 14 mars 13

Haute performance • La plupart des opération sont faites en mémoire. • Ecriture et Lecture très rapides. • Indexation de n'importe quel champs ou sous- documents • Ecritures asynchrones si besoin jeudi 14 mars 13

Qui utilise MongoDB ? jeudi 14 mars 13

2ème partie Mongo reloaded jeudi 14 mars 13

Il était une fois ... jeudi 14 mars 13

Mission • Les négociations ont échoué... jeudi 14 mars 13

Mission • Les négociations ont échoué... • Il faut monter une équipe... jeudi 14 mars 13

Mission • Les négociations ont échoué... • Il faut monter une équipe... • Proposer des services qui afﬁchent 100k points d'intérêts... jeudi 14 mars 13

Mission • Les négociations ont échoué... • Il faut monter une équipe... • Proposer des services qui afﬁchent 100k points d'intérêts... • Et les enrichir avec une 10 de partenaires... jeudi 14 mars 13

Mission • Les négociations ont échoué... • Il faut monter une équipe... • Proposer des services qui afﬁchent 100k points d'intérêts... • Et les enrichir avec une 10 de partenaires... • ...en 2 mois... jeudi 14 mars 13

Architecture Emergente jeudi 14 mars 13

Architecture Emergente • Concept des méthodes agiles. jeudi 14 mars 13

Architecture Emergente • Concept des méthodes agiles. • Retarder au plus tard les décisions d'architectures lourdes, aﬁn de décider avec le plus d'éléments possibles. jeudi 14 mars 13

Architecture Emergente • Concept des méthodes agiles. • Retarder au plus tard les décisions d'architectures lourdes, aﬁn de décider avec le plus d'éléments possibles. • N'est possible qu'en écrivant du code de façon incremental. jeudi 14 mars 13

Architecture Emergente • Concept des méthodes agiles. • Retarder au plus tard les décisions d'architectures lourdes, aﬁn de décider avec le plus d'éléments possibles. • N'est possible qu'en écrivant du code de façon incremental. • Suite de tests unitaires et fonctionnels très importantes. jeudi 14 mars 13

Architecture Initiale Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage • Rapidité de lecture Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage • Rapidité de lecture • Recherche geospatiale Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage • Rapidité de lecture • Recherche geospatiale • Recherche textuelle Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage • Rapidité de lecture • Recherche geospatiale • Recherche textuelle Services Data • Requêtes complexes REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture •Initiale Fort stockage • Rapidité de lecture • Recherche geospatiale • Recherche textuelle Services Data • Requêtes complexes REST • Aucune écriture ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture Initiale Services Data REST • Très fort stockage ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture Initiale Services Data REST • Très fort stockage • Ecriture bulk Staging ... XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture Initiale Services Data REST • Très fort stockage • Ecriture bulk Staging ... • Requête simple XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture Initiale Services Data REST • Très fort stockage • Ecriture bulk Staging ... • Requête simple XML • CSV Historise la donnée SOAP ETL REST ... jeudi 14 mars 13

Architecture Initiale Services Data REST ? ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

1er choix banal mais serein. jeudi 14 mars 13

Modélisation de données Table GéoEntités Nom Lat Lng Arc de Triomphe 48.873383 2.294463 Notre-Dame 48.898734 2.302374 0,n Table Films Film Durée Année Persepolis 2H30 2007 Rosario 1h30 2011 jeudi 14 mars 13

Nos besoins • Fort volume jeudi 14 mars 13

Nos besoins • Fort volume • Pas de jointure jeudi 14 mars 13

Nos besoins • Fort volume • Pas de jointure • Pas de transactions complexes jeudi 14 mars 13

Nos besoins • Fort volume • Pas de jointure • Pas de transactions complexes • Rapidité de lecture jeudi 14 mars 13

Nos besoins • Fort volume • Pas de jointure • Pas de transactions complexes • Rapidité de lecture • Scalabilité horizontale jeudi 14 mars 13

Challenge • En 2 heures faire une lecture/écriture de géo-entité avec MongoDB. MySQL ça serait le temps nécessaire. jeudi 14 mars 13

Remise en question Fort volume de stockage Fort volume de stockage Windows + MS SQL Server Linux Recherche GéoSpatiale Recherche Géospatiale Recherche sur mot clé (*) Recherche sur mot clé (*) Réplication Réplication + Sharding Temps de requêtes moyen Temps de requête moyen 150-300ms 40-100ms jeudi 14 mars 13

Déploiement v0 Staging XML CSV ELB SOAP REST ... jeudi 14 mars 13

Version 1 • L'utilisateur d'UrbanDive est en mesure de créer des POI (POPI). jeudi 14 mars 13

Déploiement v1 Staging Replica Set Secondary ELB Arbiter Primary Secondary jeudi 14 mars 13

Version 2 • Le marketing des POIs veut faire une recherche full-text et du scoring. • Nous voulons créer et rechercher des évènements jeudi 14 mars 13

Architecture V2 Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Version 3 • Nombreux contenus real-time jeudi 14 mars 13

Architecture V3 Services Data REST ... Staging XML CSV SOAP ETL REST ... jeudi 14 mars 13

Architecture V3 Services REST Data ... XML CSV SOAP ETL REST ... jeudi 14 mars 13

Conclusions • Expérience très positive jeudi 14 mars 13

Conclusions • Expérience très positive • Prise en main très rapide jeudi 14 mars 13

Conclusions • Expérience très positive • Prise en main très rapide • Facilite la vie pour multiple use case jeudi 14 mars 13

Conclusions • Expérience très positive • Prise en main très rapide • Facilite la vie pour multiple use case • Support gratuit et commercial jeudi 14 mars 13

Conclusions • Expérience très positive • Prise en main très rapide • Facilite la vie pour multiple use case • Support gratuit et commercial • Produit s'améliore en continue, point critique la suivi en production jeudi 14 mars 13

3ème partie Mongo Revolution jeudi 14 mars 13

Mongo + Java = Jongo ODM pour Java jeudi 14 mars 13

Revenons à 2010 ... jeudi 14 mars 13

{mongo : "genial"} jeudi 14 mars 13

REST Web Services Search of POI-s jeudi 14 mars 13

API DBObject REST Web Services Search of POI-s jeudi 14 mars 13

API DBObject REST Web Services Search of POI-s {DBObject : "pas mal, mais ça peut être mieux" jeudi 14 mars 13

Back on 2010 ... jeudi 14 mars 13

Back on 2010 ... Morphia ? jeudi 14 mars 13

Morphia JPA-LIKE jeudi 14 mars 13

Donc ... • Morphia ce n’est pas mal, bon travail ! jeudi 14 mars 13

Donc ... • Morphia ce n’est pas mal, bon travail ! • Mais : Nous avons besoin d’apprendre une nouvelle API Need => Mongo, Driver Java, Morphia jeudi 14 mars 13

Donc ... • Morphia ce n’est pas mal, bon travail ! • Mais : Nous avons besoin d’apprendre une nouvelle API Need => Mongo, Driver Java, Morphia • Mais : JPA Like -> Le paradigm de Mongo ce n’est pas du JPA ou Hibernate jeudi 14 mars 13

Donc ... • Morphia ce n’est pas mal, bon travail ! • Mais : Nous avons besoin d’apprendre une nouvelle API Need => Mongo, Driver Java, Morphia • Mais : JPA Like -> Le paradigm de Mongo ce n’est pas du JPA ou Hibernate • Morphia arrive au driver java ? jeudi 14 mars 13

Donc ... • Morphia ce n’est pas mal, bon travail ! • Mais : Nous avons besoin d’apprendre une nouvelle API Need => Mongo, Driver Java, Morphia • Mais : JPA Like -> Le paradigm de Mongo ce n’est pas du JPA ou Hibernate • Morphia arrive au driver java ? • Notre choix : Morphia pour mapper les objets et le Driver Java pour tout le reste. jeudi 14 mars 13

@bguerout Jongo @amsellemyves • Qu’est-ce que c’est que Jongo ? jeudi 14 mars 13

@bguerout Jongo @amsellemyves • Qu’est-ce que c’est que Jongo ? • ODM sur le driver Javao jeudi 14 mars 13

@bguerout Jongo @amsellemyves • Qu’est-ce que c’est que Jongo ? • ODM sur le driver Javao • Jackson and BSON4Jackson pour (Un)marshalling jeudi 14 mars 13

@bguerout Jongo @amsellemyves • Qu’est-ce que c’est que Jongo ? • ODM sur le driver Javao • Jackson and BSON4Jackson pour (Un)marshalling • Pas de JPA / Hibernate jeudi 14 mars 13

@bguerout Jongo @amsellemyves • Qu’est-ce que c’est que Jongo ? • ODM sur le driver Javao • Jackson and BSON4Jackson pour (Un)marshalling • Pas de JPA / Hibernate • Requête Mongo comme dans le shell jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get(); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get(); DBObject query = QueryBuilder.start().or(firstQuery,secondQuery).get(); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get(); DBObject query = QueryBuilder.start().or(firstQuery,secondQuery).get(); DBCursor results = collection.find(query); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Driver Java : DB db = mongo.getDB("users"); DBCollection users = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get(); DBObject query = QueryBuilder.start().or(firstQuery,secondQuery).get(); DBCursor results = collection.find(query); List<User> users = new ArrayList<User>(); for (DBObject result : results) { User user = new User(); user.setUsername((String) result.get("username")); user.setAge((Integer) result.get("age")); users.add(user); } jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Jongo jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Jongo MongoCollection collection = new Jongo(db).getCollection("users"); jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }) FIND Jongo MongoCollection collection = new Jongo(db).getCollection("users"); Iterable<User> users = collection.find("{ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:50,$lt:60} } ] }").as(User.class); jeudi 14 mars 13

DB db = mongo.getDB("users"); DBCollection collection = db.getCollection("users"); DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get(); DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get(); DBObject query = QueryBuilder.start().or(firstQuery,secondQuery).get(); DBCursor results = collection.find(query); List<User> users = new ArrayList<User>(); for (DBObject result : results) { User user = new User(); user.setUsername((String) result.get("username")); user.setAge((Integer) result.get("age")); users.add(user); } MongoCollection collection = new Jongo(db).getCollection("users"); Iterable<User> users = collection.find("{ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt: 50,$lt:60} } ] }").as(User.class); jeudi 14 mars 13

db.users.update({ name : 'Joe' } , { {$inc : {age : 1} }, true, true) Jongo update jeudi 14 mars 13

db.users.update({ name : 'Joe' } , { {$inc : {age : 1} }, true, true) Jongo update MongoCollection users = new Jongo(db).getCollection("users"); jeudi 14 mars 13

db.users.update({ name : 'Joe' } , { {$inc : {age : 1} }, true, true) Jongo update MongoCollection users = new Jongo(db).getCollection("users"); users.update("{name: 'Joe'}").upsert().multi().with("{$inc: {age: 1}}"); jeudi 14 mars 13

Templating MongoCollection collection = new Jongo(db).getCollection("users"); friends.find("{name: #, age: #}", "John", 18); {name: 'John', age: 18} jeudi 14 mars 13

Aggregation Fw MongoCollection collection = new Jongo(db).getCollection("emails"); collection.aggregate("{$project:{sender:1}}") .and("{$match:{tags:'read'}}") .and("{$limit:10}") .as(Email.class); jeudi 14 mars 13

Conclusion • Mongo Shell c’est un plaisir ; le driver java peut l’être aussi jeudi 14 mars 13

http://jongo.org/ https://github.com/bguerout/jongo @bguerout - Benoit Guérout @amsellemyves - Yves Amsellem jeudi 14 mars 13

Merci pour écouter !!! jeudi 14 mars 13

Mongo db devfestw

Contenu connexe

Plus de Katia Aresti

Mongo db devfestw