计算视觉与网络智能研究所

Computer Vision and Network Intelligence

恶意程序行为检测分析系统

测试地址:http://49.122.47.1:9001

测试账号:longmao/longmao

社交网络大数据分析

社交网络大数据处理平台

为了从在线社交网络(OSN)所产生的海量社交数据中挖掘出人与人之间的群体行为的本质特征和社交网络演化结构,设计并实现了社交网络大数据处理平台。

  • 分布式集群以主从方式(1 Master+8 Slaves)运行在Linux(Ubuntu 14.04)集群之上,其中Master配置为4 cores、16GB内存;Slave配置为4cores、16GB内存,合计36 cores、144G内存
  • 使用Mesos计算框架作为集群管理器,可以运行Hadoop和Spark
  • 使用HDFS作为主要的数据存储仓库,标注处理后的格式化数据存入MongoDB中,应用Spark进行数据流的处理与分析
  • 分布式爬虫使用ActiveMQ作为消息通信中间件,通过JMS实现任务发送、数据采集和持久化
  • 可视化系统网址:http://www.cvnis.net/weibo

社交圈子发现

针对个人的社交网络,网络的所有者可以通过与他们所关注的人的共同节点或者属性来形成一个圈子,而ego网络具有小规模的特点,包括单个中心节点(ego)和多个邻居结点(alters)。从ego的角度对邻居节点进行整理,将邻居节点进行聚类,从而得到圈子。