声音丨华为服务器帮助法国顶级互联网公司Criteo节能20%
---转载自法国媒体LE MONDE INFORMATIQUE
作为欧洲最大的Hadoop集群运营商，法国科技企业Criteo刚刚在其一个数据中心-位于庞坦（Pantin）的Equinix数据中心扩展了处理设施的能力。目前，公司已经部署了两个POD类型共计640台服务器，存储容量达61PB。该集群目前处于预生产阶段，产品由中国华为技术有限公司供应。
马蒂厄-布隆伯格（Matthieu Blumberg），Criteo公司全球基础设施负责人，参观安装在庞坦（Patin）分公司，用于扩展其Hadoop集群的数据中心。
法国顶级企业Criteo正在扩展Hadoop集群，服务器产品来自华为
作为欧洲最大的Hadoop集群运营商，法国科技企业Criteo刚刚在其一个数据中心-位于庞坦（Pantin）的Equinix数据中心扩展了处理设施的能力。目前，公司已经部署了两个POD类型共计640台服务器，存储容量达61PB。该集群目前处于预生产阶段。
Criteo是一家专门从事网站条幅广告展示的法国企业，得益于其在数据运算优化方面不断的努力研发和全球数据处理中心标准化方面的大量资金投入，实现了强劲的增长（2014年营业收入同比增长70%，达到7.45亿欧元）。
为了支持这种增长，借助于其在欧洲最大的在线存储1200节点及其39PB的存储能力，该公司特别准备在Cloudera基础上（但无支持）联合MapReduce和Yarn扩展Hadoop集群-已经在阿姆斯特丹实施，并在庞坦（Pantin）的Equinix基地启动其在法国的第二个数据中心。
目前，该集群仅处于预生产阶段。阿姆斯特丹集群扩展项目目前包括两个POD类型共计640台服务器，产品由中国华为技术有限公司供应。每台设备的运行能力超过H公司提供的第一批集群两倍多，节省电量20%。存储能力达到61PB。庞坦（Pantin）基地具备巨大的潜力。一旦形成规模，该项目将拥有超过5000台服务器，功率达到2兆瓦。
用于处理大数据的Hadoop计算框架正是criteo研发关注的重点领域。负责全球基础设施的马蒂厄 布隆伯格（Matthieu Blumberg）今晨于庞坦（Patin）向我们解释说：“正是得益于这些资源，我们才成功开展了这一方面的业务”。
为了保持这一竞争优势，Criteo公司自成立10年以来，不断全面地扩展全球的基础设施。事实上，这种设备在几年间实现了飞速发展。马蒂厄-布隆伯格（Matthieu Blumberg）强调说：“我们在2011年拥有300台服务器，而如今我们在全球7个数据中心拥有近15000台服务器”。
4年间增长了50多倍，这一扩展必须要依靠有强有力的工业化和自动化能力。第一季度我们部署了1500台服务器。我们的设施在6个月的时间内增加了40%，这得益于我们实行的标准化，从而可以连续提高设备能力。欧洲之外的数据中心分别位于桑尼维尔、纽约、香港和东京。
每秒进行一千五百万次预测
Criteo商业和业务模式依靠其分析网民在电商网站行为的处理引擎。
在其每天收集的500亿个数据中，机器算法建立预测和推荐模型，并确定哪种是最适合推送给网民的广告及其回报率，Criteo公司研发负责人、执行副总裁 Dan Teodosiu解释说：“我们每秒进行大约一千五百万次预测，一旦我们预测到某位网民是某一广告的潜在受众，我们即刻向他推送广告”。根据对数据算法的推荐，决定向其推送什么类型的广告。“我们每天展示的广告约30亿条”。Dan Teodosiu补充道。该公司的竞争对手包括Rocketfuel、Triggit, Sociomantic、法国的Nextperformance 以及谷歌（Google）。
Criteo的客户对象为商品网站，商品网站为Criteo购买广告空间，后者自己在RTB（实时报价）市场报价。也就是说这一个动态的市场是非常保守的。它迫使买家如Criteo在少于100毫秒的时间内作出反应。如果响应时间太长了，就将被列入RTB市场的黑名单。这些严苛的要求促使Criteo必须发展其专用的基础设施，而不通过云计算装置。“这促使我们从战略角度来定位数据中心的位置，以便满足低于100毫秒相应时间的要求”。Criteo选择能够连接到许多运算装置的场址，特别是连接对等操作（peering）点。Equinix正好符合这些标准。
Criteo 在庞坦（Patin）部署4 个POD类型，并已经装配了其中两套，每套包括16个机架，含320台由华为公司提供的服务器。
集群每天处理9PB的数据
在这样的背景下，Hadoop对于criteo的贡献是巨大的，马蒂厄 布隆伯格（Matthieu Blumberg）认为，公司未来发展在于研发，特别是基础设施的投资，并由一支24AA人组成的团队进行监管（公司在世界各地共有1 500名员工，其中法国700人）。
目前，仍然是阿姆斯特丹的cluster的集群在运行。庞坦（Pantin）的扩展项目自去年开始实施。“我们缺乏处理空间。我们每天将收集的500亿频次网民的搜索行为，通过主干网直到集群处理平台，将大约26T的数据反馈到Hadoop进行处理”。为了实现每秒进行一千五百万次预测和推荐，集群每天处理大约9PB数据。它还和MapReduce开发Cloudera(CDH4)的Hadoop分布。工程师也正在安装Yarn资源管理器，以便团队开发自己的算法。为了实现其扩展项目，Criteo制定了具体的网络连接计划,我们将在后续文章中继续关注该项目
