How we monitor 1 million builds per month to let the car brake

In unserem Vortrag zeigen wir, wie Builds skalierbar überwacht und Abfragen zu Metainformationen, Laufzeiten, Fehlermuster und Infrastruktur, mit ansprechenden Dashboards möglich sind. Umgesetzt wurde dies auf Basis von Logs, mittels einer Eventstreaming-Architektur und dem ELK-Stack.

Mit dieser etablierten Lösung analysieren wir bis zu 300M Logzeilen pro Tag und überwachen zehntausende Projekte über mehrere Master und 800 Build-Agents hinweg, um Continuous Delivery für 1000 Softwareentwickler zu unterstützen.
Die Infrastruktur unserer Beispiele stellen wir als Kubernetes Deployments zur Verfügung, damit die Zuhörer sie später bei den üblichen Cloud-Providern ausführen können.

Vorkenntnisse

Die Besucher sollten grundsätzliche Verständnisse des Jenkins-Umfelds mitbringen. Es ist von Vorteil, bereits Erfahrungen mit dem den ELK-Stack (Elasticsearch, Logstash, Kibana und auch Filebeats) zu haben, jedoch nicht erforderlich, um den Vortrag zu folgen.

Lernziele

* Verständnis der Problemstellung, ausgewählten Softwarekomponenten und Lösungsarchitektur
* Verständnis eines Anwendungsszenarios für Filebeats, Kafka, Elasticsearch und Kibana
* 100 % Nachprüfbarkeit: Vollständige Lösungsarchitektur wird als Kubernetes Deployment den Zuhörern zur Verfügung gestellt