基于爬虫的数据监控系统

文献下载

基于爬虫的数据监控系统

摘要

近年来, 随着互联网技术的快速发展, 云计算服务开始全面普及, 大型互联网公司以及中小型企业已经开始提供自己的云计算服务, 中国科学院也提供了云计算服务平台-中科院“科技云”。本文针对中国科学院 “科技云”项目的实际需求, 参考已有商业云监控系统的功能和运行模式, 设计并实现了一种基于爬虫的数据监控系统。该系统相比商业云监控系统, 支持URL(布尔) 类型数据监测的同时, 增加了对数值类型、文本类型的监测, 更好的支持第三方服务的监测, 并实现了服务故障警报, 监测数据可视化以及监测数据分布式存储。