BIGLog数据接收层的数据获取说明
数据收集层是获取所有数据的统一入口,BIGLog可配置为:通过主动获取和被动接收两种方式获取原始数据。
被动接收数据
被动接收数据是BIGLog主要的获取数据方式,将收集器通过开放端口的方式接收数据,可以实时接收syslog标准化格式的日志,也可以接收非标准化的日志,也可以是json、xml、keyvalue、csv等这类的机器数据。
默认情况下,BIGLog接收端口将配置为UDP514端口,数据可统一的送入至该端口,后期通过处理层进行统一梳理,也可以按类型发送至不同端口。
主动获取数据
将收集器通过周期性探测的方式,从某个数据源出拉数据,如:通过imap协议从某个邮箱定期拉取数据,或通过JDBC的驱动获取部分关系型数据库中的数据,或者以消费者模式从消息队列中拉取数据。
消息队列读取
消息队列用以临时缓存流数据,当某个时间数据量突发或者后端配置发送变更,需要重启服务时,能够缓存住这部分临时无法处理的数据,使数据不丢失。消息队列的部署将根据数据量的大小进行调配。
3 Comments
Leave a Reply Cancel reply
You must be logged in to post a comment.
是不是缓存一下头像比较好,感觉这个加载起来有点慢
是不是缓存一下头像比较好,感觉这个加载起来有点慢
是不是缓存一下头像比较好,感觉这个加载起来有点慢