Jak eksportować dane Klaviyo do Databricks
Zaawansowana platforma danych klientów Klaviyo nie wchodzi w skład standardowej aplikacji marketingowej Klaviyo, a dostęp do powiązanych z nią funkcji wymaga subskrypcji. Przejdź do naszego przewodnika rozliczeń, aby dowiedzieć się, jak kupić ten plan.
Czego się dowiesz?
Dowiedz się, jak skonfigurować Databricks jako miejsce docelowe synchronizacji wychodzącej, aby Klaviyo stale zapisywało dane o Twoich profilach, zdarzeniach i metrykach w tabelach Delta w Twoim własnym obszarze roboczym Databricks. Po nawiązaniu połączenia Twój zespół danych może łączyć dane Klaviyo z resztą Twojego lakehouse do analizy, modelowania i raportowania.
Chcesz zamiast tego przesłać dane do Klaviyo z Databricks? Zobacz Łączenie Klaviyo i Databricks.
Kilka słów na początek
Upewnij się, że masz następujące elementy:
- Przestrzeń robocza Databricks z włączonym Unity Catalog. Przestrzenie robocze tylko z magazynem metadanych Hive nie są obsługiwane. Jeśli używasz magazynu metadanych Hive, rozważ federację magazynu metadanych Hive.
- Hurtownia SQL, która obsługuje
VARIANTkolumn i tabele tymczasowe o zasięgu sesji, aby Klaviyo mogło zapisywać dane. Zalecane są bezserwerowe hurtownie SQL; uruchomienie hurtowni Classic i Pro może zająć kilka minut, co może opóźnić synchronizacje. - Uprawnienia do tworzenia schematów, tabel i nadawania uprawnień w katalogu, którego użyjesz (lub pomoc administratora Databricks).
- Uprawnienie do zarządzania integracjami w Klaviyo.
- Adresy IP wychodzące Klaviyo dodane do listy dozwolonych, jeśli w Twoim obszarze roboczym ruch przychodzący jest ograniczany za pomocą list dostępu IP:
184.72.183.187/3252.206.71.52/323.227.146.32/3244.198.39.11/3235.172.58.121/323.228.37.244/3254.88.219.8/323.214.211.176/32
Możesz mieć tylko jedno miejsce docelowe eksportu do hurtowni danych na jedno konto Klaviyo. Jeśli eksportujesz już do innej hurtowni (na przykład Snowflake lub S3), musisz usunąć to miejsce docelowe przed dodaniem Databricks.
Krok 1: utwórz schemat dla danych Klaviyo
W Databricks schematy znajdują się w katalogu. Utwórz dedykowany schemat do przechowywania tabel, do których Klaviyo zapisuje dane. Przykłady SQL w tym artykule używają main jako katalogu i KLAVIYO_EXPORT jako schematu. Jeśli używasz innych nazw, zamień je we wszystkich przykładach SQL i wprowadź te same nazwy w Klaviyo w kroku 5.
USE CATALOG main; -- or your organization's designated catalog
CREATE SCHEMA IF NOT EXISTS KLAVIYO_EXPORT;Krok 2: utwórz tabele docelowe
Uruchom ten skrypt w schemacie utworzonym w kroku 1. Klaviyo zapisuje dane w trzech tabelach:
klaviyo_profile: Jeden wiersz na profil, w tym pola standardowe, lokalizacja i właściwości niestandardowe.klaviyo_event: Jeden wiersz na zdarzenie (na przykład Placed Order lub Opened Email), połączone z profilem i metryką.klaviyo_metric: Jeden wiersz na metrykę, używany do wyszukiwania nazwy metryki i źródłowej integracji dla każdego zdarzenia.
Niestandardowe właściwości profilu i właściwości zdarzeń są przechowywane w kolumnach VARIANT, dzięki czemu możesz bezpośrednio wykonywać zapytania do zagnieżdżonego JSON bez zarządzania setkami pojedynczych kolumn.
USE SCHEMA main.KLAVIYO_EXPORT;
CREATE TABLE klaviyo_profile (
id STRING NOT NULL,
external_id STRING,
email STRING,
phone_number STRING,
first_name STRING,
last_name STRING,
title STRING,
organization STRING,
properties VARIANT,
image STRING,
created TIMESTAMP,
updated TIMESTAMP,
location_address1 STRING,
location_address2 STRING,
location_city STRING,
location_country STRING,
location_latitude STRING,
location_longitude STRING,
location_region STRING,
location_zip STRING,
PRIMARY KEY (id)
)
TBLPROPERTIES ('delta.feature.variantType-preview' = 'supported');
CREATE TABLE klaviyo_event (
id STRING NOT NULL,
metric_id STRING NOT NULL,
profile_id STRING,
event_properties VARIANT,
datetime TIMESTAMP,
uuid STRING,
PRIMARY KEY (id)
)
TBLPROPERTIES ('delta.feature.variantType-preview' = 'supported');
CREATE TABLE klaviyo_metric (
id STRING NOT NULL,
name STRING NOT NULL,
integration_id STRING,
integration_name STRING,
integration_category STRING,
created TIMESTAMP,
updated TIMESTAMP,
PRIMARY KEY (id)
);Nazwy tabel muszą być dokładnie takie same. Klaviyo wyszukuje klaviyo_profile, klaviyo_event i klaviyo_metric w schemacie podanym podczas konfiguracji.
Krok 3: Utwórz jednostkę usługi i token dostępu
Klaviyo uwierzytelnia się w Databricks za pomocą osobistego tokenu dostępu (PAT). Zalecamy utworzenie dedykowanej nazwy głównej usługi używanej tylko w tej integracji, zamiast konta konkretnej osoby.
- Utwórz jednostkę usługi (lub użytkownika obszaru roboczego) dla Klaviyo.
- Wygeneruj osobisty token dostępu:
- Jednostka usługi: Poproś administratora obszaru roboczego, aby utworzył początkowy token za pomocą Databricks CLI.
- Użytkownik obszaru roboczego: Utwórz token w interfejsie Databricks.
- Zapisz token w bezpiecznym miejscu. Wkleisz go do Klaviyo w kroku 5.
Traktuj token dostępu jak hasło. Każdy, kto ma token, może uzyskać dostęp do Databricks z uprawnieniami powiązanego konta. Regularnie go odnawiaj oraz po zmianach kadrowych.
Jeśli masz już utworzony podmiot zabezpieczeń usługi na potrzeby importowania z Databricks, możesz użyć go ponownie. Wystarczy, że dodasz uprawnienia eksportu w kroku 4.
Krok 4: nadaj uprawnienia
Nadaj jednostce usługi Klaviyo dostęp do katalogu, schematu i magazynu SQL. Zastąp klaviyo_service_user identyfikatorem aplikacji lub nazwą użytkownika swojej jednostki usługi.
GRANT USE CATALOG ON CATALOG main TO `klaviyo_service_user`;
GRANT USE SCHEMA, SELECT, MODIFY ON SCHEMA main.KLAVIYO_EXPORT TO `klaviyo_service_user`;Uprawnienie | Cel |
|---|---|
| Umożliwia Klaviyo dostęp do katalogu, który zawiera schemat eksportu. |
| Umożliwia Klaviyo dostęp do schematu eksportu. |
| Umożliwia Klaviyo odczytywanie istniejących wierszy, aby mogło aktualizować rekordy zamiast je duplikować. |
| Umożliwia Klaviyo wstawianie, aktualizowanie i usuwanie wierszy w docelowych tabelach. |
Nadaj też jednostce usługi uprawnienie Może używać w magazynie SQL, którego planujesz używać. W Databricks przejdź do Magazyny SQL, wybierz swój magazyn, kliknij Uprawnienia i dodaj jednostkę usługi.
Zweryfikuj konfigurację (opcjonalnie)
Korzystając z tej samej tożsamości i tokena, które przekażesz Klaviyo, potwierdź tabele i uprawnienia:
SHOW TABLES IN main.KLAVIYO_EXPORT;
SHOW GRANTS ON SCHEMA main.KLAVIYO_EXPORT;Powinny być widoczne wszystkie trzy tabele, a nazwa główna usługi powinna być wymieniona z USE SCHEMA, SELECT i MODIFY.
Krok 5: Połącz Databricks w Klaviyo
- W Klaviyo przejdź do Zaawansowane > Zarządzanie danymi > Synchronizacja.
- Jeśli masz już synchronizację, kliknij Utwórz synchronizację.
- Wybierz Eksportuj dane do hurtowni danych.
- Wybierz Databricks, a następnie kliknij Połącz z Databricks.
- Wprowadź szczegóły połączenia:
Pole | Opis | Gdzie to znaleźć |
|---|---|---|
Nazwa | Nazwa ułatwiająca identyfikację tego połączenia. | Wpisz opisową nazwę, np. eksport Klaviyo. |
Nazwa hosta serwera | Host Twojego obszaru roboczego Databricks. | Pasek adresu w przeglądarce po zalogowaniu do Databricks. Przykład: |
Ścieżka HTTP | Ścieżka HTTP magazynu SQL, którego będzie używać Klaviyo. | Magazyny SQL > wybierz swój magazyn > Szczegóły połączenia. Przykład: |
Katalog | Katalog zawierający schemat eksportu. | Katalog użyty w kroku 1 (na przykład |
Schemat | Schemat, który zawiera trzy tabele Klaviyo. | Schemat utworzony w kroku 1 (na przykład |
Token dostępu | Osobisty token dostępu dla jednostki usługi lub użytkownika obszaru roboczego, których utworzono. | Token wygenerowany w kroku 3. |
Kliknij Dalej, aby skonfigurować synchronizację.
Databricks znajdziesz też na platformie handlowej aplikacji Klaviyo — przejdź do Integracje > Odkrywaj aplikacje i wyszukaj Databricks.
Krok 6: skonfiguruj synchronizację danych
Wybierz, co Klaviyo wysyła do Databricks i kiedy ma się odbywać synchronizacja.
Obiekty danych
Wybierz synchronizację profili, zdarzeń lub obu tych elementów. Dane metryki są synchronizowane razem ze zdarzeniami, dzięki czemu możesz sprawdzić nazwę metryki i źródło każdego zdarzenia.
Synchronizowanie wszystkich danych z Klaviyo może zwiększyć koszty obliczeń i przechowywania danych w Databricks.
Integracje do wykluczenia
Wybierz dowolne integracje, których zdarzeń nie chcesz wysyłać do Databricks. Dotyczy to tylko danych o zdarzeniach; nie wyklucza profili.
Synchronizacja selektywna
Wybierz metryki, których zdarzenia chcesz zsynchronizować, na przykład Placed Order. Pozostaw pole Selektywna synchronizacja puste, aby zsynchronizować wszystkie zdarzenia z integracji, których nie wykluczono. To pole pojawia się tylko wtedy, gdy wybierzesz obiekt danych Zdarzenia.
Częstotliwość synchronizacji
W sekcji Co wybierz, jak często mają być synchronizowane nowe i zaktualizowane dane: co 1, 2, 4, 6, 12 lub 24 godziny. Domyślnie jest to 1 godzina. Ustaw datę rozpoczęcia, godzinę rozpoczęcia i strefę czasową dla harmonogramu.
Dane historyczne
Wybierz, ile danych historycznych wysłać podczas synchronizacji początkowej:
- 30 dni
- 90 dni
- 1 rok
- Cały okres
Duże synchronizacje danych historycznych mogą zająć trochę czasu i mogą zwiększyć Twoje koszty Databricks. Jeśli potrzebujesz tylko najnowszych danych, rozważ rozpoczęcie od krótszego zakresu.
Krok 7: sprawdź, połącz i monitoruj synchronizację
- Kliknij Dalej, aby otworzyć Przegląd. Sprawdź szczegóły połączenia, udostępnione dane, wykluczone integracje, wybrane metryki oraz początkowy zakres synchronizacji danych.
- Kliknij Połącz. Klaviyo testuje połączenie i tworzy eksport, jeśli test zakończy się powodzeniem.
Gdy konfiguracja zakończy się powodzeniem, Klaviyo wyświetli komunikat z potwierdzeniem i przeniesie Cię z powrotem do Synchronizowanie. Eksport jest włączony i możesz tam monitorować jego status synchronizacji.
Jeśli test połączenia się nie powiedzie, sprawdź szczegóły błędu. Kliknij Edytuj dane uwierzytelniające, aby poprawić szczegóły połączenia, a następnie klikaj Dalej w ustawieniach danych, aby wrócić do sekcji Sprawdź i ponownie kliknij Połącz.
Aby monitorować synchronizację, przejdź do Zaawansowane > Zarządzanie danymi > Synchronizacja i kliknij Databricks w wierszu oznaczonym jako Eksport. Użyj tych kart:
- Historyczne: Status początkowego uzupełniania danych historycznych.
- Okresowo: Status synchronizacji zgodnie z wybraną częstotliwością, w tym świeżość danych (o ile Twoje tabele Databricks są opóźnione względem Klaviyo).
- Ustawienia: wyświetlaj i edytuj szczegóły połączenia, wybór danych, częstotliwość synchronizacji i zakres historyczny. Kliknij Zaktualizuj informacje w sekcji, którą zmieniasz, aby zapisać.
Szczegółowe informacje o statusach synchronizacji, wstrzymywaniu i wznawianiu synchronizacji oraz wyświetlaniu dzienników błędów znajdziesz w artykule Zrozum synchronizację hurtowni danych w Klaviyo.
Odpytuj dane Klaviyo w Databricks
Oto kilka przykładów na dobry początek.
Zlicz zdarzenia według nazwy metryki z ostatnich 7 dni:
SELECT m.name AS metric, COUNT(*) AS events
FROM main.KLAVIYO_EXPORT.klaviyo_event e
JOIN main.KLAVIYO_EXPORT.klaviyo_metric m ON e.metric_id = m.id
WHERE e.datetime >= current_timestamp() - INTERVAL 7 DAYS
GROUP BY m.name
ORDER BY events DESC;Odczytaj niestandardowe właściwości profilu z kolumny properties wariant:
SELECT id, email, properties:loyalty_tier::STRING AS loyalty_tier
FROM main.KLAVIYO_EXPORT.klaviyo_profile
WHERE properties:loyalty_tier IS NOT NULL;Pobierz wartość zamówienia ze zdarzeń Placed Order:
SELECT e.profile_id, e.datetime, e.event_properties:`$value`::DOUBLE AS order_value
FROM main.KLAVIYO_EXPORT.klaviyo_event e
JOIN main.KLAVIYO_EXPORT.klaviyo_metric m ON e.metric_id = m.id
WHERE m.name = 'Placed Order';Rozwiązywanie problemów
Temat zgłoszenia | Co sprawdzić |
|---|---|
Test połączenia kończy się niepowodzeniem z powodu błędu uwierzytelniania | Upewnij się, że nazwa hosta nie ma prefiksu |
Test połączenia kończy się niepowodzeniem z błędem uprawnień | Potwierdź uprawnienia w kroku 4, w tym |
Klaviyo nie może znaleźć tabel docelowych | Upewnij się, że katalog i schemat w Klaviyo są zgodne z miejscem, w którym uruchomiłeś skrypt z kroku 2, oraz że nazwy tabel to dokładnie |
Błędy dotyczące typu | Upewnij się, że Twoja hurtownia SQL działa w wersji Databricks SQL obsługującej |
Synchronizacje wolno się uruchamiają | Klasyczne i Pro magazyny danych SQL mogą uruchamiać się przez kilka minut. Użyj bezserwerowego magazynu danych SQL lub wydłuż czas automatycznego zatrzymania magazynu danych. |
Żądania są blokowane | Jeśli Twój obszar roboczy używa list dostępu IP, dodaj adresy IP Klaviyo wymienione w sekcji Zanim zaczniesz do białej listy. |
Usuń eksport Databricks
Usunięcie eksportu zatrzymuje przyszłe synchronizacje. Dane, które zostały już zapisane w twoich tabelach Databricks, nie zostaną usunięte.
- Przejdź do integracji w Klaviyo.
- Otwórz menu obok integracji eksportu Databricks i wybierz Usuń integrację.
- Kliknij Usuń integrację w oknie dialogowym potwierdzenia.