O nas słów kilka

Tworzymy i wspieramy inicjatywy pozwalające rozwijać się na nowym mediom, technologii i przedsiębiorczości.

#Startupy #WarmiaMazury :)

Więcej o informacji nas

Bądź na bieżąco
– informacje o wydarzeniach
– ciekawostki technologiczne i regionalne
– ogłoszenia o pracę


Nie częściej niż co 2 tygodnie.


 

Najbliższe spotkania:

20.09.16 - OLCAMP #33 - Startup Showcase
>> rejestracja <<

Apache Beam – one API to rule them all – TechTalk

Dodano: 03.06.16 | Autor: Paweł Harajda

 

Dużo danych. Wyniki na żywo. Przetwarzanie równoległe. Chmura obliczeniowa.

 

Na początku był MapReduce, później pojawił się Flume, kilka lat temu Dataflow, a teraz będzie Beam.

 

Istnieje kilka projektów, które za cel stawiają sobie stworzenie najlepszego rozwiązania do przetwarzania #BigData. Jedne są niskopoziomowe jak Hadoop, a inne posiadają więcej abstrakcji i pozwalają wyrażać bardziej złożone przekształcenia i przetwarzać dane w locie (on-the-fly processing).

 

Do ogólnodostępnych projektów o otwartych źródłach w sierpniu 2015 dołączyło Google ze swoim Cloud Dataflow. Po 6 miesiącach działania Google razem z Fundacją Apache i kilkoma firmami (Cloudera, Data Artisans) postanowiło stworzyć wspólne API, aby ułatwić programistom żywot, a także ograniczyć obawy użytkowników przed tzw. vendor-in-lock.

 

Beam to zunifikowany model programowania, który pozwala na opisywanie przekształceń jakim chcemy poddać zbiór lub strumień danych używając standardowego API. Opisany przy użycia Beama pipeline może zostać wykonany przez wybrany backend (Dataflow, Flink lub Spark) skalując się w zależności od potrzeb. Beam od początku współgra z innymi projektami OSS (Hadoop, Kafka), a dodanie własnych elementów przy użyciu dostępnego API nie powinno stwarzać problemów.

 

Poziom: znajomość podstawowych konceptów programistycznych, podstawowa znajomość Java, doświadczenie z przetwarzaniem danych.

 

Plan działania:

  1. Podstawowe koncepty.
  2. Omówienie prostego pipeline’u tworzącego index słów z bazy tekstów (od konceptu do implementacji).
  3. Dodatkowe elementy API i poprawki do micro-projektu.
  4. Zaawansowane elementy API ii przykład użycia (jeżeli wystarczy nam czasu).

TechTalk odbędzie się w piątek o 15, miejsce w trakcie ustalania, ilość miejsc bardzo ograniczona.

Chcesz posłuchac? Napisz maila na info@olcamp.pl

 

 

To nie jedyna propozycja dla developerów w tym miesiącu – 25 czerwca odbędzie się warsztaty OLCAMP.CODE 2016 – więcej informacji znajdziecie na wydarzeniu an FB
https://web.facebook.com/events/898811216913057/

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *


*