Allegro Tech Live #7
- 18:00 - 18:10 - Rozpoczęcie
- 18:30 - 19:00 - Przetwarzania Realtime na Google Cloud Platform z wykorzystaniem Apache Beam - Marcin Kuthan
- 19:05 - 19:35 - Big challenges in the world of data - Dariusz Eliasz
Allegro Tech Live to nowa (w 100% zdalna) odsłona naszych stacjonarnych meetupów Allegro Tech Talks. Zazwyczaj spotykaliśmy się w naszych biurach, ale tym razem to my zagościmy u Was :)
A więc usiądźcie wygodnie na kanapie, zaopatrzcie się w ulubiony napój i odpalcie nasz live stream. Widzimy się na czacie!
OPIS
1. Przetwarzania Realtime na GCP z wykorzystaniem Apache Beam - Marcin Kuthan (Allegro)
Podczas jednego z poprzednich wystąpień w ramach “Allegro Tech talks” (https://youtu.be/ALDx__TGT70) opowiadałem o przetwarzaniach realtime opartych o Kafka Streams, Spark, Druid i Turnilo uruchamianych w data centers Allegro. Pod koniec prezentacji wspomniałem o nowym projekcie realizowanym w oparciu o technologie publicznej chmury i właśnie przyszedł czas żeby podzielić się z Wami nowymi doświadczeniami.
Tematem rozmowy będą ponownie przetwarzania realtime, ale tym razem oparte o technologie dostępne wyłącznie w chmurze Google-a: PubSub, Dataflow i BigQuery. Dowiecie się jak za ich pomocą zrealizowaliśmy projekt analityki do automatyzacji treści, która jest wyświetlana na stronach Allegro, a wkrótce trafi też do naszych aplikacji mobilnych.
Marcin Kuthan - inżynier BigData, lider jednego z zespołów tworzących platformę analityczną Allegro. Brał aktywny udział w produkcyjnym wdrożeniu przetwarzań realtime opartych o Spark Streaming, Kafka Streams a ostatnio Apache Beam. Poza zagadnieniami “backend” rozwija Turnilo (https://github.com/allegro/turnilo) ponieważ jest przekonany, że nawet cenne dane są niewiele warte bez ich dobrej prezentacji.
2. Big challenges in the world of data - Darek Eliasz (Allegro)
Tematem rozmowy będą wyzwania jakie przed organizacjami takimi jak Allegro stawia przetwarzanie danych. Wolumeny przetwarzanych danych rosną nieliniowo, a sposoby konsumpcji danych dawno wykroczyły poza świat raportów i dashboardów. Dzisiaj to funkcjonalności oparte o dane są głównym motorem napędowym rozwoju platform przetwarzania danych - popularyzacja ML stawia coraz wyższe wymagania co do szybkości, elastyczności i jakości ekosystemu przetwarzania danych. O tych wyzwaniach i o tym jak sobie z nimi radzimy w Allegro opowiem w swojej prezentacji.
Darek Eliasz - główne zainteresowania to architektura rozwiązań big data i data governance. Entuzjasta skalowalnych rozwiązań rozproszonych, przetwarzania dużych zbiorów danych i ciągłego szukania ulepszeń.
Zapraszamy również do dołączenia do wydarzenia na FB:
https://www.facebook.com/events/643206099794352/