Lou's lab - elk_stack

belangrijke_concepten

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

belangrijke_concepten elk_stack context dit document beschrijft enkele belangrijke_concepten van ELK stack veld (field) * kleinste data eenheid in ELK * volledig aanpasbaar, vb: auteur, datum, samenvatting, ... * elk veld heeft 1 data type: string, number, date, boolean, geolocation,

configuratie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

ELK stack configuratie elk_stack context dit document beschrijft de initiele configuratie van ELK Stack initialisatie * open de kibana website * Add Data to Kibana>Add log data: System Logs * download en installeer Filebeat meer info voeg hier linken toe naar verdere uitleg

elasticsearch_configuratie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

elasticsearch_configuratie elk_stack context dit document beschrijft de configuratie van Elasticsearch, net na de installatie, dus. configuratie * open /etc/elasticsearch/elasticsearch.yml' * #cluster.name: my-application * uncomment en wijzig naar de naam van jouw cluster

elasticsearch_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

elasticsearch_installatie elk_stack context dit document beschrijft de installatie van Elasticsearch installatie * voeg ELK stack repository toe * installeer elasticsearch * YUM: sudo yum install elasticsearch * APT: sudo apt-get install elasticsearch * activeer de service @boot:

elasticsearch

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Elaticsearch elk_stack context dit document beschrijft werking van Elasticsearch, de zoekmotor van ELK stack interactie * open Kibana > Dev Tools je komt nu in de console waar je quries in JSON formaat kunt intypen. Hiermee bevraag je dus Elasticsearch.

elk_stack_installatie_op_docker

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

ELK Stack installatie op Docker elk_stack context dit document beschrijft de installatie van ELK stack op Docker systeemvereisten * Docker * MEM: minimaal 4Gig voor Docker (docker info|grep -i mem) * virtual memory mapping stappenplan * download de image: docker pull sebp/elk

elk_stack_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

ELK Stack installatie elk_stack context dit document beschrijft de installatie van ELK stack op Linux systeemvereisten * CPU: minimaal 2vCPU * MEM: minimaal 4Gig * recente Java versie repository * voeg de ELK stack repository toe voor je distro. elasticsearch * installeer

elk_stack

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

elk_stack elk_stack

filebeat_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Filebeat installatie elk_stack context dit document beschrijft de installatie van Filebeat YUM * installeer filebeat: sudo yum install filebeat Zie: ELK stack repository voor de repository settings. configuratie ... * open /etc/filebeat/filebeat.yml * voeg volgende lijn toe aan section

filebeat_loglocatie_toevoegen

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

filebeat loglocatie toevoegen elk_stack context dit document beschrijft hoe je een loglocatie toevoegt in filebeat. algemeen * open /etc/filebeat/filebeat.yml * voeg toe: - type: log paths: - * herstart filebeat service:

filebeat_logstash_configuratie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

filebeat Logstash configuratie elk_stack context dit document beschrijft hoe je filebeat configureert om logs naar Logstash te sturen. Logstash * bevat al ondersteuning om beats als input te gebruiken * /etc/logstash/logstash-sample.conf bevat een voorbeeldje: # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@…

filebeat_modules

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Filebeat modules elk_stack context dit document beschrijft Filebeat modules werking * modules breiden de werking van Filebeat uit. Een overzicht van alle beschkbare modules. * zijn beschikbaar onder /etc/filebeat/modules.d * zijn makkelijk toe te voegen ahv commando

grok_filter

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

grok filter elk_stack context dit document beschrijft de werking van grok. Deze filter parset raw data in een bruikbaar key/value paar zodat je deze makkelijker kunt doorzoeken werking * formaat van logboeken verschilt per toepassing * voor logboeken worden doorgestuurd naar elaticsearch, wordt die

heartbeat_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

heartbeat installatie elk_stack context dit document beschrijft de installatie van heartbeat, een beats utility waarmee je de beschikbaarheid van servers/services kunt monitoren. YUM * installeer heartbeat: sudo yum install heartbeat-elastic Zie: ELK stack repository voor de repository settings.

heartbeat_werking

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Heartbeat: werking elk_stack context dit document beschrijft de werking van Heartbeat configuratie * /etc/heartbeat/heartbeat.yml * vergelijkbaar met de configuratie van Filebeat heb je ook een .reference.yml-bestand waarin alle opties netjes worden uitgelegd.

index

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

index aanmaken elk_stack context dit document beschrijft hoe je een index aanmaakt. Indices zijn de bread 'n butter van ES. ze bevatten de events (ivv documents) met daarin de velden waarmee je aan de slag gaat in visualizations index pattern aanmaken * ga naar kibana > Management > index patterns

kibana_configuratie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

kibana configuratie elk_stack context dit document beschrijft de configuratie van Kibana. Net na de Kibana installatie, dus configuratie * open /etc/kibana/kibana.yml * #server.host: “localhost” * uncomment en wijzig naar de hostnaam/IP van de kibana server

kibana_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Kibana installatie elk_stack context dit document beschrijft de installatie van Kibana installatie * voeg de ELK stack repository toe * installeer kibana * YUM: sudo yum install kibana * APT: sudo apt-get install kibana * activeer de service @boot: * YUM:

kibana

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Kibana elk_stack context dit document verzamelt info rond Kibana, het venster op de ELK stack. \\3 functies: * visualiseer je data: zoek de naald in de hooiberg * monitoring & beheer: hou je ELK stack in de gaten en beheerde verschillende componenten

logging_naar_syslog_uistschakelen

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

logging naar syslog uitsschakelen elk_stack context Dit document beschrijft hoe je logging naar syslog uitschakelt voor de beats utilities. Bij standaardinstallatie op systemd-gebaseerde Linux wordt alle output naar syslog gestuurd. Dit vervuilt syslog mateloos. Zet dit als volgt uit:

logstash_configuratie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

logstash_configuratie elk_stack context dit document beschrijft de configuratie van logstash, net na de installatie, dus. configuratie Pipeline voor Beats maken * cd /etc/logstash/ && cp logstash-sample.conf conf.d/beats.conf * vi /etc/logstash/conf.d/beats.conf

logstash_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Logstash: installatie elk_stack context dit document beschrijft de installatie van Logstash vereisten * Java: Java Runtime * voeg ELK stack repository toe * jq installatie * installeer logstash: * YUM: sudo yum install logstash * APT: sudo apt-get install logstash *

metricbeat_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Metribeat: installatie elk_stack context dit document beschrijft de installatie van metricbeat installatie * voeg deELK stack repository toe * installeer: sudo yum install metricbeat * start-up @boot: sudo systemctl enable metricbeat meer info * installatie * Metricbeat: werking elk_stack metricbeat beat installatie

metricbeat_visualizations

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Metricbeat visualizations elk_stack context dit document beschrijft een manier om Meticbeat visualizations te maken. types Area * goed bruikbaar om cpu usage weer te geven, onderverdeling in user, system, iowait, ... * X-axis: Date Histogram * Y-axis: max/avergate cpu.system.user

metricbeat_werking

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Metricbeat: werking elk_stack context dit document beschrijft de werking van Metricbeat configuratie * /etc/metricbeat/metricbeat.yml * vergelijkbaar met de configuratie van Filebeat heb je ook een .reference.yml-bestand waarin alle opties netjes worden uitgelegd.

mutate_filter

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

mutate filter elk_stack context dit document beschrijft de werking van de mutate filter. Deze filter laat toe om wijzigingen aan te brengen in velden voordat die verstuurd worden naar ES. convert * wijzigt het type van een veld * syntax: filter { mutate { convert => { "fieldname" => "integer" } } }

query

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

query elk_stack context dit document beschrijft hoe je met queries werkt in ELK stack. Deze zijn de basis voor verdere verwerking van je logdate: * queries -> visualisaties: geven je queries weer in visueel aantrekkelijk formaat * visualisties -> dashboards: geven je visualisaties weer in dashboard waarbij je in 1 oogopslag je data ziet

repository

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

ELK stack repository elk_stack context dit document beschrijft hoe je de ELK stack repository toevoegt aan je distributie YUM * download en instaleer de public signing key: rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch * maak een repo-bestand touch /etc/yum.repos.d/elk.repo

sample_dashboards_activeren

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

sample dashboards activeren elk_stack context dit document beschrijft hoe je sample dashboards activeert in Kibana. beats utility Voor metricbeat, filebeat, heartbeat, ... worden dashboards meegeleverd bij installatie via yum/apt. * open /etc/beat/beat.yml

syslog_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Sysmon installatie elk_stack context dit document beschrijft de installatie van Sysmon op Windows installatie * Kibana: Observability > Overview: Add integrations * filter op Beats only, zoek: Windows * kies: Windows Event Logs * volg de installatie instructies

visualizations

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

visualizations elk_stack context dit document beschrijft hoe je visualizations aanmaakt. Dit is een manier om je verzamelde data weer te geven. stappenplan * menu > Visualize: Create Visualization * kies een type (tabel, grafiek, ...) * kies een Bron

werking_filebeat

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

werking Filebeat elk_stack context dit document beschrijft de werking van filebeat algemeen * agent die logbestanden in de gaten houdt en naar ELK stack waar ze kunnen geindexeerd worden. Ook wel: lightweight data shipper, genoemd. * bij opstarten, worden 1 of meerdere inputs gestart die in de logdirs kijken

werking_logstash

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Logstash werking elk_stack context dit document beschrijft de werking van Logstash, OpenSource data collection engine die raw logdate verwerkt en verder doorstuurd naar Elasticsearch installatie * zie: Logstash: installatie werking * dataverwerking gebeurt ahv een zgn

winlogbeat_installatie

Anonymous (anonymous@undisclosed.example.com) — 2024-11-16T18:14:54+00:00

Winlogbeat installatie elk_stack context dit document beschrijft de installatie van Winlogbeat op Windows installatie * Kibana: Observability > Overview: Add integrations * filter op Beats only, zoek: Windows * kies: Windows Event Logs * volg de installatie instructies