BIGLog数据接收层的数据获取说明

被动接收数据

被动接收数据是BIGLog主要的获取数据方式，将收集器通过开放端口的方式接收数据，可以实时接收syslog标准化格式的日志，也可以接收非标准化的日志，也可以是json、xml、keyvalue、csv等这类的机器数据。

默认情况下，BIGLog接收端口将配置为UDP514端口，数据可统一的送入至该端口，后期通过处理层进行统一梳理，也可以按类型发送至不同端口。

主动获取数据

将收集器通过周期性探测的方式，从某个数据源出拉数据，如：通过imap协议从某个邮箱定期拉取数据，或通过JDBC的驱动获取部分关系型数据库中的数据，或者以消费者模式从消息队列中拉取数据。

消息队列读取

消息队列用以临时缓存流数据，当某个时间数据量突发或者后端配置发送变更，需要重启服务时，能够缓存住这部分临时无法处理的数据，使数据不丢失。消息队列的部署将根据数据量的大小进行调配。