admin管理员组

文章数量:1531657

数据流传输过程描述：

使用Java程序，读取本地的.csv文件；

发送给集群中的Kafka；

Kafka将数据传给Logstash，这个过程中，Logstash中设置有filter，对字符串进行匹配或过滤；

ES对数据进行检索。


问题一：

Filter会对Logstash处理数据的速度产生影响。

如果对所有字段进行匹配，并将格式转换为需要的，处理时间会很长，很可能每秒只能处理几条。


问题二：

节点状态有三种，green、yellow、red，单个节点下，不同的存储内容也有这三种情况，如果某个文件变为red状态，应该怎样操作。


问题三：

Logstash启动后，可能只有一台机器在接收数据，其他两台只是在起备份的作用，寻找原因所在，现在猜测可能和Kafka有关，即Kafka集群中，也只有一台机器在给Logstash发送数据。


问题四：

Logstash启动问题

Logstash的filter中加上新设定的字段，方便ES进行检

本文标签： 数据流过程ELK

版权声明：本文标题：ELK学习8_ELK数据流传输过程_问题总结1 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1725431311a1022930.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。