西安市大数据与视觉智能重点实验室

XI'AN KEY LABORATORY OF BIG DATA AND INTELLIGENT VISION

社交网络大数据分析

社交网络大数据处理平台

  • 为了从在线社交网络(OSN)所产生的海量社交数据中挖掘出人与人之间的群体行为的本质特征和社交网络演化结构,设计并实现了社交网络大数据处理平台。
  • 分布式集群以主从方式(1 Master+8 Slaves)运行在Linux(Ubuntu 14.04)集群之上,其中Master配置为4 cores、16GB内存;Slave配置为4cores、16GB内存,合计36 cores、144G内存
  • 使用Mesos计算框架作为集群管理器,可以运行Hadoop和Spark
  • 使用HDFS作为主要的数据存储仓库,标注处理后的格式化数据存入MongoDB中,应用Spark进行数据流的处理与分析
  • 分布式爬虫使用ActiveMQ作为消息通信中间件,通过JMS实现任务发送、数据采集和持久化
  • 可视化系统网址:http://www.cvnis.net/weibo
  • 社交圈子发现

    针对个人的社交网络,网络的所有者可以通过与他们所关注的人的共同节点或者属性来形成一个圈子,而ego网络具有小规模的特点,包括单个中心节点(ego)和多个邻居结点(alters)。从ego的角度对邻居节点进行整理,将邻居节点进行聚类,从而得到圈子。

    北校区地址:陕西省西安市雁塔区太白南路二号

    南校区地址:陕西省西安市西沣路兴隆段266号

    关注我们

    关注我们

    关注我们

    首页

    服务项目

    在线地图

    电话咨询

    姓名 |
    电话 |

    欢迎您的留言,留言后我们将在24小时内进行回复,

    您还可以直接拨打在线025-85696589