filebeat 配置的自定义 fields 和logstash fliter

您好我想问一下这个问题

filebeat可以配置一个自定义的一些fields

https://www.elastic.co/guide/en/beats/filebeat/6.8/filebeat-input-log.html#filebeat-input-log-fields

比如我们配置了 logbiz logtopic

然后filebeat 看到了新的log日志有新的 然后去读并根据我们定义的input传给 Kafka

另一端 logstash 监听到了有新的消息需要消费

然后logstash 里这个filter 就能神奇的解析在filebeat配置的这个input fields们

比如 if "app-log" in [fields][logtopic]

我想知道这些fields从filebeat input配置的 里是什么数据格式传输/存储到Kafka上的

然后当logstash 拿到了数据后是怎么正确解析的

如果说我们自己做这个可能回考虑比如 map 或者 headers的的数据形式

或者按照一定二进制的方法 放在信息体里 但是问题是 生产端的filebeat的配置格式 怎么就神奇的完美的 可以让logstash解析

我知道这两个应用是一群人做的但是 还是想知道具体filebeat -> kafka -> logstash是怎么处理的

​谢谢

有linkedin没 互粉一下

https://www.linkedin.com/in/hongyu-cheng/