NetFlow 架構

cd NetFlow-Kafka-Control

• ZOO_SERVERS（IP 請修改成實際位置）

ZOO_SERVERS: Kafka_Private_IP:2888:3888

• KAFKA_HEAP_OPTS（依據機器規格自行調整）

KAFKA_HEAP_OPTS: -Xmx4g -Xms4g

• KAFKA_ZOOKEEPER_CONNECT（IP 請修改成實際位置）

KAFKA_ZOOKEEPER_CONNECT: Kafka_Private_IP:2181

• KAFKA_LOG_RETENTION_HOURS（依據需求自行調整）

KAFKA_LOG_RETENTION_HOURS: 3

• KAFKA_ADVERTISED_LISTENERS（IP 請修改成實際位置）

KAFKA_ADVERTISED_LISTENERS:
  "INTERNAL://Kafka_Private_IP:19092,\
  EXTERNAL://Kafka_Public_IP:9092"

• KAFKA_JMX_OPTS（IP 請修改成實際位置）

KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=Kafka_Private_IP -Dcom.sun.management.jmxremote.rmi.port=1099 -javaagent:/opt/kafka/libs/jmx_prometheus_javaagent-0.14.0.jar=7071:/opt/kafka/config/jmx_exporter.yml"

docker login registry.inodeninja.net
帳密請洽詢相關人員
業務單位: hello@inode.ninja
技術單位: support@inode.ninja
    

docker-compose up -d

cd NetFlow-Elasticsearch-Control

-Xms2g
-Xmx2g

docker-compose up -d

curl http://localhost:9200

bash script/createNetflowTemplate.sh

curl http://localhost:9200/_cat/templates

需要讓 Portal 獲取 netflow 資料

cd NetFlow-Logstash

-Xms2g
-Xmx2g

資料持久化：自行決定是否要開啟，不需要可以跳過此步驟

注意：啟用後資料將寫入硬碟，可能會影響效能

- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"
  #queue.type: persisted（取消這行註解）

• 刪除非必要欄位，請依據 Switch 實際送出來的資料格式進行調整，以下為範例

mutate {
  remove_field => [
    "[netflow][l4_src_port]",
    "[netflow][flow_seq_num]",
    "[netflow][l4_dst_port]",
    "[netflow][version]",
    "[netflow][flow_end_msec]",
    "[netflow][flowset_id]",
    "[netflow][src_tos]",
    "[netflow][flow_start_msec]",
    "[netflow][input_snmp]",
    "[netflow][protocol]",
    "[netflow][in_pkts]",
    "[netflow][output_snmp]"
  ]
}

• 確認 Switch 是否有使用採樣比，請配合 Switch 設定進行調整，範例如下

* 沒有設定採樣比
event.set("[netflow][in_bytes]", event.get("[netflow][in_bytes]") * 1)

* 設定採樣比 100（計算 bytes 乘上採樣比，盡量還原原始數據）
event.set("[netflow][in_bytes]", event.get("[netflow][in_bytes]") * 100)

• Kafka_IP，請改為實際位置

output {
    kafka {
      bootstrap_servers => "Kafka_Public_IP:9092"
      codec => json
      topic_id => "netflow-topic"
    }
}

• Output 要確保有以下欄位資料送往 NetFlow-Kafka-Control

[netflow][ipv4_src_addr]
[netflow][timestamp]
[netflow][in_bytes]
[netflow][ipv4_dst_addr]

docker-compose up -d

-Xms2g
-Xmx2g

資料持久化：自行決定是否要開啟，不需要可以跳過此步驟

注意：啟用後資料將寫入硬碟，可能會影響效能

- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"
  #queue.type: persisted（取消這行註解）

• input 區塊 bootstrap_servers（IP 請修改成實際位置）

bootstrap_servers => "Kafka_Private_IP:19092"

• output hosts（IP 請修改成實際位置）

hosts => ["Elasticsearch_IP:9200"]

docker-compose up -d