跳转到主要内容

7.13北京Drupal聚会:Drupal和大数据

Drupal和大数据系列讲座

第一期:

主题:FSE  Introduction

摘要:FSE我们为满足内部各部门搜索需要求的一套系统,该系统基于SOLR,结合了ZOOKEEPER和HADOOP,能够快速为各项目建立搜索环境。

主讲人:陈懿

http://www.solr.cc  SOLR 中国站长

在海量数据采集、挖掘具有丰富的经验

时间:2014年7月13日(周日)下午1:00-4:00

地点:中关村南大街33号国家图书馆品诺咖啡厅大包间

费用:免费

 联系人:崔克俊

手机 13681445347  13381113196      QQ:372948992 Skype: tigertazan

        大数据是当今热点话题,用Drupal做海量数据发布,以及提供个性化服务是最合适不过的了,国内已经有成功案例。http://bigdatadrupal.com国外也有专门的网站,通过一系列工具Aegir BOA,Bonita Business Process,Cloudera,Drupal,Nutch,Solr等可以提供高性价比的大数据完整解决方案。

       为积极探索Drupal大数据解决方案,将举办一系列专题讲座。

Solr http://zh.wikipedia.org/wiki/Solr

Solr 是开放源码的企业搜索服务器(Enterprise Search Server)软件,由Apache软件基金会所研发。Solr 使用Lucene程式库以及需要Servlet容器作执行环境。Solr本身提供XML/HTTP与JSON的应用程式接口。

特色:

全文检索

HTTP管理界面

分布式搜索

缓存

Apache ZooKeeper http://zh.wikipedia.org/wiki/Apache_ZooKeeper

Apache ZooKeeper是Apache软件基金会的一个软件项目,他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。[需要解释] ZooKeeper曾经是Hadoop的一个子项目,但现在是一个独立的顶级项目。

ZooKeeper的架构通过冗余服务实现高可用性。因此,如果第一次无应答,客户端就可以询问另一台ZooKeeper主机。ZooKeeper节点将它们的数据存储于一个分层的命名空间,非常类似于一个文件系统或一个前缀树结构。客户端可以在节点读写,从而以这种方式拥有一个共享的配置服务。更新是全序的。[1]

使用ZooKeeper的公司包括Rackspace、雅虎[2]和eBay,类似于象Solr这样的开源企业级搜索系统。

http://zh.wikipedia.org/wiki/Apache_Hadoop

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计,使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。