Engineering Kiosk

Data Streaming und Stream Processing mit Apache Kafka und dem entsprechenden Ecosystem.Eine ganze Menge Prozesse in der Softwareentwicklung bzw. für die Verarbeitung von Daten müssen nicht zur Laufzeit, sondern können asynchron oder dezentral bearbeitet werden. Begriffe wie Batch-Processing oder Message Queueing / Pub-Sub sind dafür geläufig. Es gibt aber einen dritten Player in diesem Spiel: Stream Processing. Da ist Apache Kafka das Flaggschiff, bzw. die verteilte Event Streaming Platform, die oft als erstes genannt wird.Doch was ist denn eigentlich Stream Processing und wie unterscheidet es sich zu Batch Processing oder Message Queuing? Wie funktioniert Kafka und warum ist es so erfolgreich und performant? Was sind Broker, Topics, Partitions, Producer und Consumer? Was bedeutet Change Data Capture und was ist ein Sliding Window? Auf was muss man alles acht geben und was kann schief gehen, wenn man eine Nachricht schreiben und lesen möchte?Die Antworten und noch viel mehr liefert unser Gast Stefan Sprenger.Bonus: Wie man Stream Processing mit einem Frühstückstisch für 5-jährige beschreibt.Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partnersDas schnelle Feedback zur Episode:👍 (top) 👎 (geht so)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKioskLinksStefan Sprenger auf LinkedIn: https://www.linkedin.com/in/stsprenger/Buch “Streaming Data Pipelines with Kafka” von Stefan Sprenger: https://www.manning.com/books/streaming-data-pipelines-with-kafkaKafka: https://kafka.apache.org/Kafka Streams: https://kafka.apache.org/documentation/streams/Kafka Connect: https://docs.confluent.io/platform/current/connect/index.htmlApache Flink: https://flink.apache.org/Apache Spark: https://spark.apache.org/Apache Camel: https://camel.apache.org/Change Data Capture: https://en.wikipedia.org/wiki/Change_data_captureDebezium: https://debezium.io/Wartungsfenster Podcast: https://wartungsfenster.podigee.io/RocksDB: https://rocksdb.org/Tombstone Record: https://en.wikipedia.org/wiki/Tombstone_(data_store)The Raft Consensus Algorithm: https://raft.github.io/Warpstream: https://www.warpstream.com/Sprungmarken(00:00:00) Streaming mit Kafka mit Stefan Sprenger(00:06:18) Data Streaming und Stream Processing für 5-Jährige(00:07:40) Data Streaming und Stream Processing für Mid-Level-Engineers(00:07:47) Info/Werbung(00:08:47) Data Streaming und Stream Processing für Mid-Level-Engineers(00:14:14) Was ist Apache Kafka?(00:20:54) Datensätze in Apache Kafka: Produzieren und Konsumieren(00:25:58) Kafka Streams und Kafka Connect(00:30:34) Change Data Capture(00:34:36) Herausforderungen bei der Anwendung von Kafka, Kafka Streams und Kafka Connect(00:42:54) Compaction, Retention, Replication, Acknowledgement, Joins und Idempotenz(00:53:46) Einsatz in Organisationen: Governance und Schema Registry(00:59:00) Verteiltes System und komplexe Technologien(01:01:47) Die Zukunft um Kafka und das EcosystemHostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk

3 Jahre Engineering Kiosk: Geburtstagsepiode und Jahresrückblick auf 2024Der Engineering Kiosk Podcast wird stolze 3 Jahre alt. Ein Grund zu feiern. Zeitgleich geht das Jahr 2024 zu Ende. Eine Möglichkeit auf einen Rückblick, wie sich das Engineering Kiosk Projekt entwickelt. Wir sprechen über Episoden, die etws bei unseren Hörer*innen und bei uns selbst bewegt haben. Wir teilen ein paar Statistiken über den Podcast sowie unseren persönlichen Highlights, Lowlights und Neutralights. Weiterhin geben wir einen Einblick wie wir unsere Interviewgäste auswählen und wir auf gekaufte Interviews und Tech Employer Branding Agenturen reagieren. Am Ende lösen wir auch noch unsere Tech Predictions für das Jahr 2024 auf und entscheiden somit, wer das bessere Orakel ist.Bonus: Auch Podcast-Hosts streiten sich manchmal wie ein altes Ehepaar und ein paar Outtakes gibts auch.Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partnersDas schnelle Feedback zur Episode:👍 (top) 👎 (geht so)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKioskLinksEngineering Kiosk Episode #170 - 404 Not Found!: https://engineeringkiosk.dev/podcast/episode/170-404-not-found/Engineering Kiosk Episode #113 Selbstmarketing ohne Bullshit: Brag Documents: https://engineeringkiosk.dev/podcast/episode/113-selbstmarketing-ohne-bullshit-brag-documents/Engineering Kiosk Episode #133 Die wichtige Rolle von 1on1s in Zeiten der Arbeiterlosigkeit: https://engineeringkiosk.dev/podcast/episode/133-die-wichtige-rolle-von-1on1s-in-zeiten-der-arbeiterlosigkeit/Engineering Kiosk Episode #61 Schwierige 1-on-1 Situationen und Lösungsvorschläge: https://engineeringkiosk.dev/podcast/episode/61-schwierige-1-on-1-situationen-und-l%C3%B6sungsvorschl%C3%A4ge/Engineering Kiosk Episode #10 Das Karriere Booster Meeting 1:1s: https://engineeringkiosk.dev/podcast/episode/10-das-karriere-booster-meeting-11s/Engineering Kiosk Episode #142 Ist Return to Office die Zukunft? Was die Wissenschaft sagt - mit Jean-Victor Alipour vom IFO: https://engineeringkiosk.dev/podcast/episode/142-ist-return-to-office-die-zukunft-was-die-wissenschaft-sagt-mit-jean-victor-alipour-vom-ifo/Engineering Kiosk Episode #138 Gemeinsam stark: Jobsharing und Tandems in der modernen Arbeitswelt mit Anna Drüing-Schlüter: https://engineeringkiosk.dev/podcast/episode/138-gemeinsam-stark-jobsharing-und-tandems-in-der-modernen-arbeitswelt-mit-anna-dr%C3%BCing-schl%C3%BCter/Engineering Kiosk Episode #154 Architektur-Diskussion: Design eines einfachen und robusten Preis-Scrapers: https://engineeringkiosk.dev/podcast/episode/154-architektur-diskussion-design-eines-einfachen-und-robusten-preis-scrapers/Engineering Kiosk Episode #146 Warum ist Doom so faszinierend für die Software-Entwicklung?: https://engineeringkiosk.dev/podcast/episode/146-warum-ist-doom-so-faszinierend-f%C3%BCr-die-software-entwicklung/Engineering Kiosk Episode #137 Die Schaltsekunde und ihre IT-Folgen: Ein Sekundenbruchteil mit Impact: https://engineeringkiosk.dev/podcast/episode/137-die-schaltsekunde-und-ihre-it-folgen-ein-sekundenbruchteil-mit-impact/Engineering Kiosk Episode #131 Equity in Tech-Startups: Mehr als nur Gehalt mit Philipp "Pip" Klöckner: https://engineeringkiosk.dev/podcast/episode/131-equity-in-tech-startups-mehr-als-nur-gehalt-mit-philipp-pip-kl%C3%B6ckner/Engineering Kiosk Episode #129 Simplify Your Stack: Files statt Datenbanken!: https://engineeringkiosk.dev/podcast/episode/129-simplify-your-stack-files-statt-datenbanken/Engineering Kiosk Episode #127 Imposter-Syndrom & Peter-Prinzip mit Dr. Fanny Jimenez: https://engineeringkiosk.dev/podcast/episode/127-imposter-syndrom-peter-prinzip-mit-dr-fanny-jimenez/Engineering Kiosk Community: https://engineeringkiosk.dev/join-discord/Engineering Kiosk Meetup Alps: https://engineeringkiosk.dev/meetup/alps/FOSDEM Konferenz: https://fosdem.org/2025/Index Out Of Bounds Podcast: https://www.ioob.de/Engineering Kiosk Episode #100 Episoden: ein Tech Rückblick auf 2022/23, Predictions 2024 und viel Tech Trivia: https://engineeringkiosk.dev/podcast/episode/100-episoden-ein-tech-r%C3%BCckblick-auf-202223-predictions-2024-und-viel-tech-trivia/Raus aus der Cloud https://blogs.idc.com/2024/10/28/storm-clouds-ahead-missed-expectations-in-cloud-computing/Raus aus der Cloud https://www.heise.de/news/IDC-Viele-Unternehmen-wollen-teils-raus-aus-der-Cloud-10001826.html Modern SQL: https://modern-sql.com/AI basierte Datenbankabfragen: https://www.getdot.ai/ List of formerly open-source or free software: https://en.wikipedia.org/wiki/List_of_formerly_open-source_or_free_softwareState of the Developer Nation 25th Edition (Q3 2023): https://developer-economics.cdn.prismic.io/developer-economics/ee700d25-46b0-4dad-87de-7ffba39a3c58_Q3+2023+State+of+Developer+Nation.pdfState of the Developer Nation 24th Edition (Q1 2023): https://developer-economics.cdn.prismic.io/developer-economics/c578f353-a5b7-4a12-9202-9f456e02dce5_Slashdata+-+24th+edition+of+The+State+of+the+Developer+Nation+%28Q1+2023%29.pdfSizing Programming Language Communities (Q1 2024): https://developer-economics.cdn.prismic.io/developer-economics/Zmf7m5m069VX1nu9_Sizing_programming_language_communities.pdfSprungmarken(00:00:00) Happy Birthday Engineering Kiosk(00:03:35) Info/Werbung(00:04:35) Happy Birthday Engineering Kiosk(00:25:51) Statistiken zum Podcast(00:33:32) Unsere Highlights(00:39:17) Unsere Lowlights(00:41:04) Unsere Neutralights(00:43:00) Interviews, wie wir Gäste auswählen und gekaufte Episoden(00:50:34) Tech Predictions aus 2024 / Episode 100(01:02:45) Ausblick auf 2025HostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk

Die Transparenz von Open Source schreibt Geschichten, die erzählt werden wollen50% des Begriffes “Open Source” besteht aus dem Wort “Open”. Ok. Für diese Erkenntnis muss man nun nicht studiert haben. Open bzw. Offen bzw. Transparenz bezieht sich dabei nicht nur auf den Source Code selbst, sondern i.d.R. auf alles, was das entsprechende Projekt betrifft. Dazu zählen u.a. für jedermann einsehbare Bug-Reports und Pull Requests. Wenn man dies nun mit weltweiter Kollaboration verschiedener Menschen und Kulturen mixt, ist eins vorprogrammiert: Kreativität, WTF-Momente, persönliche Schicksale und Geschichten, die erzählt werden wollen. Diese Episode erzählt einige dieser Open Source Geschichten. Wir sprechen darüber, wie man Douglas Crockford dazu bringt, über JavaScript Code zu streiten, wann für einen Pull Request eine eigene Torte gebacken wird und warum dies dann zu einem Merge führt, sowie wann und warum Unit Tests fehlschlagen, wenn diese in Australien ausgeführt werden. Es geht aber auch um traurige Seiten und persönliche Schicksale. Zum Beispiel eine Gefängnisverurteilung eines Maintainers von einem Projekt, welches 26 Millionen Downloads pro Woche hat, eine Krebserkrankungen mit verbundener Anteilnahme der Community und wie der Maintainer die Zukunft des Projektes sichert für die Zeit, wenn er nicht mehr da ist oder auch wie die Maidan-Revolution und der Ukraine-Krieg Open Source beeinflussen.Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partnersDas schnelle Feedback zur Episode:👍 (top) 👎 (geht so)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKioskLinksFizzBuzz Enterprise Edition: https://github.com/EnterpriseQualityCoding/FizzBuzzEnterpriseEditionTrumpScript - Make Python great again: https://github.com/samshadwell/TrumpScriptVolkswagen - Make CI tests pass: https://github.com/auchenberg/volkswagenstatic-analysis Awesome List - JSHint and JSLint are outdated: https://github.com/analysis-tools-dev/static-analysis/issues/223core.js - State and governance of the project?: https://github.com/zloirock/core-js/issues/767TypeScript - Allowed non-this, non-super code before super call in derived classes with property initializers: https://github.com/microsoft/TypeScript/pull/29374Proxmox VE Helper-Scripts Project Update: https://github.com/tteck/Proxmox/discussions/4009Proxmox VE Helper-Scripts Moving forward: https://github.com/tteck/Proxmox/discussions/4025Proxmox VE Helper-Scripts Update von tteckster's Frau: https://github.com/community-scripts/ProxmoxVE/discussions/237Proxmox VE Helper-Scripts (Community Edition): https://github.com/community-scripts/Angular.js - Unit tests fail when run in Australia: https://github.com/angular/angular.js/issues/5017A collection of debugging stories: https://github.com/danluu/debugging-storiesMicrosoft Calculator - Make this app immune against any exploit: https://github.com/microsoft/calculator/pull/101DoctrineEnumBundle - Ukrain Revolution: https://github.com/fre5h/DoctrineEnumBundle/pull/12Maidan-Revolution: https://www.nzz.ch/international/ukraine-chronologie-der-maidan-revolution-ld.1290571Engineering Kiosk Episode #98 Der Hype um Rust mit Matthias Endler: https://engineeringkiosk.dev/podcast/episode/98-der-hype-um-rust-mit-matthias-endler/Engineering Kiosk Episode #137 Die Schaltsekunde und ihre IT-Folgen: Ein Sekundenbruchteil mit Impact: https://engineeringkiosk.dev/podcast/episode/137-die-schaltsekunde-und-ihre-it-folgen-ein-sekundenbruchteil-mit-impact/Engineering Kiosk Episode #144 Die unterschätzte Macht der Zeit: Wie NTP und PTP die Welt synchronisieren mit Daniel Boldt und Thomas Behn von Meinberg: https://engineeringkiosk.dev/podcast/episode/144-die-untersch%C3%A4tzte-macht-der-zeit-wie-ntp-und-ptp-die-welt-synchronisieren-mit-daniel-boldt-und-thomas-behn-von-meinberg/Sprungmarken(00:00:00) Intro(00:01:32) Open Source Stories und kreative Projekte(00:05:09) Info/Werbung(00:06:09) Open Source Stories und kreative Projekte(00:11:44) Maintainer von Core.js muss ins Gefängnis(00:19:06) Eine Torte für einen TypeScript Pull Request(00:25:14) Krebs und die Proxmox Community Scripte(00:30:52) Unit Tests schlagen fehl, wenn man diese in Australien ausführt(00:38:54) Microsoft Calculator wird Exploit-Free gemacht(00:41:33) Maidan-Revolution und der Ukraine KriegHostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk

Frontend-Engineering Metriken im Team einführen mit dem Working Draft Podcast.Im Engineering Kiosk Adventskalender 2024 sprechen befreundete Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz & knackig innerhalb von wenigen Minuten über ein interessantes Tech-Thema.Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partnersDas schnelle Feedback zur Episode:👍 (top)  👎 (geht so)LinksWorking Draft Podcast: https://workingdraft.de/Core Web Vitals: https://web.dev/articles/vitals?hl=enSentry: https://sentry.io/Axe® accessibility testing tools: https://www.deque.com/axe/WAVE Web Accessibility Evaluation Tools: https://wave.webaim.org/Sprungmarken(00:00:00) Frontend-Engineering Metriken im Team einführenHostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk