Świat danych stale się rozwija i za to go w Vizyble lubimy. Odwrotny ETL (ang. reverse ETL) to najnowsze podejście do procesowania danych. Pisaliśmy już o klasycznym procesie ETL (extract, transform, load) i zyskującym na popularności ELT (extract, load, transform). Każde z tych podejść ma swoje wady i zalety, daje różne możliwości, więc możemy wybierać optymalne rozwiązania, aby budować przepływy danych zgodnie z cechami danych i potrzebami biznesowymi, przed jakimi stoimy. W odróżnieniu od poprzedników nowe podejście do procesowania danych, nie wynika już z tego czy chcemy transformować małe czy duże ilości danych, jak wielu różnych źródeł i czy potrzebujemy pobierać je szybko czy precyzyjnie wyselekcjonowane. Odwrotny ETL to nie jest kolejny, nowy sposób budowania przepływu danych. To brakujący element układanki, który pozwala nie tylko poznawać zachowania klientów, ale od razu na nie reagować w czasie rzeczywistym.
Co to jest odwrotny ETL?
Wstęp wydał się na razie ogólny? Sprecyzujmy.
Próba wyciągania wniosków o zachowaniach klientów czy użytkowników aplikacji/stron na podstawie różnych zbiorów danych staje się czymś powszechnym. Integracja i łączenie wielu źródeł to była domena ETL/ELT. Natomiast reverse ETL tworzy sprzężenie zwrotne danych z jednej aplikacji CDP (ang. Customer Data Platforms) do drugiej w oparciu o określone zdarzenia.
Posłużmy się przykładem. Potencjalny klient wypełnia na naszej stronie formularz zapisu na darmową konsultację. Formularz ten jest połączony z systemem marketing automation. Sam fakt o zarejestrowaniu trafia do hurtowni danych, co pozwala mierzyć konwersje strony i samego formularza. Dodatkowo informacja zostaje przekazana do systemu CRM, gdzie zespół sprzedaży będzie mógł pracować nad kwalifikacją szansy sprzedażowej. Równocześnie sygnał o zapisie w formularzu generuje potwierdzenie w formie wiadomości SMS i zaproszenie w kalendarzu. Widać, że reverse ETL oprócz generowania danych, tworzy również zadania oparte o zdarzenia w innych aplikacjach.
Ciągły przepływ danych — od nieprzetworzonych danych pobieranych do aplikacji typu SaaS, stron www, baz danych, przez dane modelowane na potrzeby analiz, po dane wdrażane w każdej aplikacji — tworzy sprawną, nieprzerwaną pętlę analizy danych i zdarzeń opartych na danych. Zapętlenie procesowania to wartość dodana, jaką niesie ze sobą odwrócony ETL.
Narzędzia reverse ETL
Oprócz sprawdzonych narzędzi służących do ekstrakcji, ładowania i transformacji (np. Alteryx, Fivetran, dbt) potrzebne jest narzędzie reverse ETL, które odpowiada za sprzężenie zwrotne. Umożliwia ono zespołom wdrażanie danych i analiz w czasie rzeczywistym w używanych przez nich podstawowych aplikacjach CRM, Marketing Automation, narzędziach do realizowania kampanii marketingowych Ads. Narzędzia odpowiadające za sprzężenie zwrotne dają możliwość zerwania nisko wiszących owoców, czyli danych generowanych przez posiadane już standardowo narzędzia CDP czy danych ze źródeł zewnętrznych, które są stale zmieniane. Dzięki odwrotnemu ETL dane w hurtowni danych mogą być aktualizowane automatycznie niemal w czasie rzeczywistym.
Jedno z dostępnych aktualnie narzędzi reverse ETL swoją nazwą „spis powszechny” (ang. Census) przypomina o tym, że w hurtowni danych mamy stan rekordów aktualny na jakiś ustalony moment w czasie, analogicznie do tradycyjnego spisu ludności na określony rok. Kolejna wartość dodana odwróconego ETL to automatyczna aktualizacja nawet co kilka minut.
Narzędzia reverse ETL synchronizują dane według cyklicznego harmonogramu lub po wyzwoleniu przez wywołanie API (pol. punkt końcowy interfejsu programowania aplikacji dostarczonego przez narzędzie reverse ETL lub przez integracje z narzędziami takimi, jak Airflow i dbt.
Innymi serwisami do integracji hurtowni z ekosystemem różnych aplikacji jest Make oraz Zapier.
Modern Data Stack 2.0
Odwrotny ETL jest pochodną zyskującego już na popularności nowoczesnego, płynnego sposobu zarządzania danymi, które są przetwarzane w celu jak najlepszego zrozumienia klienta.
Podejście Modern Data Stack 1.0 zakłada nieprzerwany dostęp do przepływu danych. W Vizyble wdrożyliśmy taki przepływ w domu mediowym, przeczytaj case. Koncepcja dostępu do danych w czasie rzeczywistym jest nadal aktualna i niezbędna. Bez danych zasilających hurtownie danych w czasie rzeczywistym nie znamy aktualnych zachowań klientów. Innowacją w Modern Data Stack 2.0 jest wprowadzenie dotychczas brakującego elementu – operacjonalizacji analityki. Jest to niejako wzbogacenie i uaktualnienie danych już w samych aplikacjach. Dzięki innowacji polegającej na podniesieniu rangi analityki operacyjnej zespół (np. sprzedażowy, marketingowy, księgowy) uzyskuje najbardziej jak dotąd aktualne informacje bezpośrednio w narzędziu, w którym pracuje. Można pokusić się o sformułowanie, że widzi jak na dłoni reakcje, np. na swoje działania sprzedażowe lub marketingowe. Literalnie rekord klienta może być wzbogacany o zmiany wartości co kilka minut.
Modern Data Stack 2.0 zasadniczo składa się z następujących narzędzi pełniących cztery kluczowe funkcje w celu zamknięcia pętli analizy operacyjnej.
Integracja danych
Nazywana również gromadzeniem. Wykonywana przy pomocy narzędzi ETL lub ELT, takie jak Alteryx, Fivetran, Stitch lub Snowplow, które integrują magazyn ze źródłem danych.
Przechowywanie danych
Hurtownia danych w chmurze, która może przechowywać ustrukturyzowane i nieustrukturyzowane dane w jednym miejscu takim, jak Google BigQuery, Snowflake lub Amazon Redshift.
Modelowanie danych
Narzędzie do modelowania takie, jak dbt czy Airflow jest wstępnie skonfigurowane z ogromną biblioteką modeli danych, dzięki czemu dane można wykorzystać w różnych sytuacjach.
Operacjonalizacja danych
Narzędzia odwróconego ETL takie, jak Census lub Hightouch pobierają dane z magazynu (jednocześnie miejsca docelowego), weryfikują je, przeprowadzają mapowanie, a następnie ładują do aplikacji takich, jak Salesforce lub Zendesk adekwatnie do potrzeb zespołów sprzedaży czy marketingu.
Odwrócony ETL a integracja pojedynczych narzędzi
Wszystkie platformy CDP działają w podobny sposób, wykonują akcje w oparciu o zdefiniowany wyzwalacz (np. wysyłanie e-maila marketingowego w Hubspot, utworzenie leada w Salesforce). Nieuchronnie oznacza to, że trzeba zbudować niestandardowe przepływy dla każdej integracji w układzie danych, co może skutkować stworzeniem monstrum, utkanego z sieci różnych zależności: wyzwalaczy, klauzul jeżeli-to i zabezpieczeń przed awariami.
Odwrócony ETL tworzy podejście typu hub (jakby centrum łączenia procesów), w którym magazyn jest centralnym źródłem informacji całkowicie eliminując złożoną sieć przepływów danych, które są dostępne w konwencjonalnych rozwiązaniach typu point-to-point (narzędzie do narzędzia).
Co odwrócony ETL zmienia w biznesie?
Bez odwrotnego ETL dane i wnioski wysnuwane z wizualizacji nie mają szansy być weryfikowane na bieżąco. W erze wzrostu przedsiębiorstw, opartego na maksymalnej elastyczności i dostosowaniu produktów (ang. customization), który jest zauważalny zarówno dla firm B2B jak i B2C, jesteśmy stale skoncentrowani na poprawie doświadczeń klientów. Przedsiębiorstwa, które są zdolne do tworzenia strategii na miarę każdego pojedynczego klienta, staną się jednocześnie konkurencyjne na czas i w sposób skalowalny.
Jak wspomnieliśmy powyżej, kluczem do tego osobistego kontaktu z klientem jest operacjonalizacja naszych danych. Przed koncepcją odwróconego ETL przepływy danych były budowane wyłącznie do celów analitycznych. Oznaczało to, że praca z danymi koncentrowała się przede wszystkim na generowaniu wniosków na podstawie napływających kolejnych danych widocznych na dashboardach. Teraz firmy mogą projektować swoje układy danych tak, aby sterować działaniami teraźniejszymi i przyszłymi bezpośrednio z narzędzi CDP (wspomniana już tzw. operacjonalizacja analityki), a także lepiej rozumieć przeszłe zdarzenia.
Przykłady przydatnych automatyzacji z odwrotnym ETL
W każdej dużej organizacji pojawia się wiele żądań dotyczących ręcznej integracji danych. Jest to za każdym razem proces możliwy do zautomatyzowania.
Oto kilka typowych przykładów zapytań do danych od różnych zespołów:
- Sprzedaż potrzebuje, aby lista uczestników webinarów została zaimportowana jako potencjalni klienci do Salesforce.
- Marketing chce zsynchronizować listę nowych użytkowników z Google Ads w celu remarketingu.
- Wsparcie sprzedaży chce przeszukać Zendesk pod kątem kont z obsługą premium.
- Dział produktu interesuje się kanałem Slack klientów, którzy włączyli nową funkcję.
- Księgowość potrzebuje, aby atrybuty klientów były synchronizowane z NetSuite.
Dane dotyczące powyższych potrzeb zespołów są prawdopodobnie dostępne w hurtowni danych. Przy pomocy odwrotnego ETL i SQL możesz wyodrębnić i zsynchronizować te dane z narzędziami zewnętrznymi i dzięki temu rozwiązania palących problemów staną się automatyczne.
Trendy, które uformowały myślenie reverse ETL
Zespoły biznesowe korzystają z większej liczby aplikacji SaaS niż kiedykolwiek
Według raportów SaaS 2020 firmy mają średnio 137 unikalnych aplikacji! Każdego dnia zespoły muszą kupować coraz bardziej wyspecjalizowane oprogramowanie, aby zachować konkurencyjność i utrzymać zadawalające tempo obsługi klientów. Nie mogą jednak uzyskać wartości z tych wszystkich wyspecjalizowanych (i drogich) aplikacji bez aktywnego, wiarygodnego dostępu do danych. Zamiast tego zespoły analityków są często obarczone budowaniem niestandardowych połączeń do kolejnych aplikacji, które powodują więcej problemów niż tak naprawdę pozwalają naprawiać.
Inżynierowie danych są zbyt cenni, by być łowcami liczb
Rosnąca liczba aplikacji wykorzystywanych przez zespoły biznesowe oznacza tylko więcej zgłoszeń pomocy technicznej i niestandardowych żądań ze strony zespołów biznesowych, które zmuszają inżynierów i analityków do walki z czasem.
Bez dedykowanego narzędzia do odwrotnego ETL analitycy mniej się zajmują analizą, a bardziej odbieraniem komunikatów o błędach i utrzymywaniem niestandardowej integracji API. Firmy powinny zamiast tego wykorzystać swoich wartościowych ludzi do przekształcania zbiorów danych, co w połączeniu z integracją API zapewni generowanie nowej wartości dla firmy przy jednoczesnym zapewnieniu samoobsługowego środowiska pracy dla zespołów biznesowych.
Firmy potrzebują lepszych przepływów danych do personalizacji i zaangażowania
Ścieżki klientów (i relacje, które budujesz z każdym użytkownikiem) są dłuższe i bardziej złożone niż kiedykolwiek wcześniej. Zespoły ds. sprzedaży, marketingu i obsługi klienta, aby zapewnić konwersję i maksymalne związanie użytkownika z produktem, potrzebują metody na pozyskiwanie danych w każdym punkcie kontaktu z użytkownikami. Odwrotny ETL umożliwia automatyzację personalizacji na dużą skalę i zapewnia, że zbierane i przetwarzane dane trafiają z powrotem do zespołów na pierwszej linii kontaktu.
