Richte Databricks-Importe ein

Übersicht: Folge diesen Schritten, um Databricks für Importe in Klaviyo vorzubereiten. Du erstellst die erforderlichen Schemas (in einem Katalog), richtest ein dediziertes Konto und ein Zugriffstoken für Klaviyo ein, weist die erforderlichen Berechtigungen zu, überprüfst die Konfiguration und erstellst in Klaviyo eine Importsynchronisierung.

Wichtig: Databricks unterstützt sowohl das Importieren von Daten in Klaviyo als auch das Exportieren von Klaviyo-Daten nach Databricks. Konfiguriere Importe und Exporte separat.

• Profile und Ereignisse können in Klaviyo importiert und nach Databricks exportiert werden.
• Der Einheitenkatalog ist erforderlich. Um eine Verbindung zu einer Databricks-Instanz herzustellen, die den Hive-Metastore (HMS) verwendet, ziehe den Hive-Metastore-Verbund in Betracht.

Weitere Details dazu, wie Data-Warehouse-Importe in Klaviyo funktionieren – einschließlich Schemastruktur, erforderlicher Tabellen und Feldzuordnungen – findest du unter So funktionieren Data-Warehouse-Importe in Klaviyo und Data-Warehouse-Ereignisimport verstehen.

Informationen dazu, wie du Databricks als Ziel für Klaviyo-Daten einrichtest, findest du unter So exportierst du Klaviyo-Daten nach Databricks.

Bevor du beginnst, wähle ein Databricks SQL-Warehouse aus, das Klaviyo abfragen soll. Du benötigst die Berechtigung, Schemas zu erstellen und Zugriff zu gewähren, oder Hilfe von einer*einem Databricks-Admin.

1) Erstelle erforderliche Schemas

In Databricks befinden sich Schemata (manchmal auch Datenbanken genannt) innerhalb eines Katalogs. In den Beispielen wird der Katalog main verwendet. Ersetze ihn in diesen Schritten durchgehend durch deinen Katalog.

USE CATALOG main;  -- or your organization’s designated catalog
CREATE SCHEMA IF NOT EXISTS KLAVIYO_IMPORT_FROM_DWH;
CREATE SCHEMA IF NOT EXISTS KLAVIYO_TMP;

• KLAVIYO_IMPORT_FROM_DWH: Tabellen und Ansichten, die in diesem Schema erstellt werden, stehen bei der Konfiguration einer neuen Synchronisierung zur Auswahl zur Verfügung.
• KLAVIYO_TMP: temporäre/gestaffelte Daten, die während der Synchronisierung verwendet werden.

Hinweis: Bevor du die Verbindung in Klaviyo testest, erstelle mindestens 1 Tabelle oder Ansicht, die die Daten enthält, die du in KLAVIYO_IMPORT_FROM_DWH importieren möchtest. Bereite seine Kennungen und Zeitstempelfelder mithilfe der oben verlinkten Importanleitungen vor.

2) Erstelle das Klaviyo Service-Konto und das Zugriffstoken

Klaviyo authentifiziert sich bei Databricks über ein dediziertes Konto mit einem Personal Access Token (PAT). Verwende nach Möglichkeit ein nicht menschliches (Service-)Konto, und speichere den PAT sicher (z. B. in einem Passwortmanager oder Secret Store). Du gibst dieses Token während der Ersteinrichtung an Klaviyo weiter.

2.1 Konto erstellen

Erstelle eine*n Databricks-Arbeitsbereichsbenutzer*in oder eine*n Service Principal, den Klaviyo ausschließlich für diese Integrationen verwendet.

2.2 Das persönliche Zugriffstoken generieren

• Workspace-Benutzer*innenkonto: Generiere das Token über die Databricks-Web-UI (siehe Databricks-Dokumentation): Persönliche Zugriffstoken für Workspace-Benutzer*innen erstellen
• Serviceprinzipal: Bitte eine*n Databricks-Workspace-Admin bitten, das initiale Token mit der Databricks-CLI zu generieren (siehe Databricks-Dokumentation): Persönliche Zugriffstoken über die Databricks-CLI erstellen

Wichtig: Behandle den PAT als Geheimnis. Alle, die das Token haben, können mit den Berechtigungen des zugehörigen Kontos auf Databricks zugreifen.

3) Erforderliche Berechtigungen zuweisen

Gewähre der Databricks-Identität, die du für Klaviyo erstellt hast, Zugriff auf den Katalog und die in Schritt 1 erstellten Schemas. Ersetze klaviyo_service_user durch deinen Databricks-Benutzernamen oder die Anwendungs-ID des Service Principals, und stelle den Schemas deinen Katalog voran (z. B. main).

-- Grant access to the catalog
GRANT USE CATALOG ON CATALOG main TO `klaviyo_service_user`;

-- Grant permissions on temporary schema
GRANT ALL PRIVILEGES ON SCHEMA main.KLAVIYO_TMP TO `klaviyo_service_user`;

-- OR, grant granular privileges:
GRANT USE SCHEMA, MODIFY, SELECT, CREATE TABLE ON SCHEMA main.KLAVIYO_TMP TO `klaviyo_service_user`;

-- Grant read-only access to import schema
GRANT USE SCHEMA, SELECT ON SCHEMA main.KLAVIYO_IMPORT_FROM_DWH TO `klaviyo_service_user`;

Gib derselben Databricks-Identität die Berechtigung KANN VERWENDEN für das SQL-Warehouse, dessen HTTP-Pfad du in Klaviyo eingeben wirst. Schema-Berechtigungen gewähren keinen Zugriff auf das Warehouse. Siehe Databricks-SQL-Warehouse-Berechtigungen.

Best Practice: Wende das Prinzip der geringsten Privilegien an – gewähre nur das, was erforderlich ist.

4) Überprüfe dein Setup (optional)

4.1 Bestätige, dass die Schemas vorhanden sind

In einem Databricks SQL-Notebook oder -Editor ausführen:

SHOW SCHEMAS IN main;  -- replace 'main' with your catalog if different

Das solltest du sehen:

klaviyo_import_from_dwh
klaviyo_tmp

4.2 Authentifizierung testen (mit deinem PAT)

Verwende die Databricks-CLI mit demselben Token, das du Klaviyo bereitstellen möchtest:

# Set your token and host (example for AWS)
export DATABRICKS_HOST="https://<your-workspace>.cloud.databricks.com"
export DATABRICKS_TOKEN="<your-PAT>"

# Run a simple API call
databricks current-user me

Erwartetes Ergebnis: JSON-Ausgabe, die die Details der Benutzer*in oder der Service Principal anzeigt (z. B. Anzeigename, Benutzer-ID). Wenn du einen HTTP 403- oder Authentifizierungsfehler erhältst, überprüfe das Token und die Host-URL.

4.3 Berechtigungen für jedes Schema prüfen

SHOW GRANTS ON CATALOG main;
SHOW GRANTS ON SCHEMA main.klaviyo_tmp;
SHOW GRANTS ON SCHEMA main.klaviyo_import_from_dwh;

Bestätige, dass die Databricks-Identität, die du für Klaviyo erstellt hast, USE CATALOG für den Katalog, USE SCHEMA und SELECT für KLAVIYO_IMPORT_FROM_DWH sowie die in Schritt 3 aufgeführten Berechtigungen für das temporäre Schema hat. Bestätige außerdem die CAN USE -Berechtigung für das SQL warehouse.

4.4 Erstell-, Schreib- und Lesevorgänge validieren

Verwende einen ungenutzten Tabellennamen für klaviyo_permissions_test in KLAVIYO_TMP. Ersetze example_source_table durch eine Tabelle oder Ansicht, die du importieren möchtest.

-- Test create, write, read, and drop in KLAVIYO_TMP
USE SCHEMA main.klaviyo_tmp;
CREATE TABLE klaviyo_permissions_test (id INT);
INSERT INTO klaviyo_permissions_test VALUES (1);
SELECT * FROM klaviyo_permissions_test;
DROP TABLE klaviyo_permissions_test;

-- List sources and test reading a table or view you plan to import
USE SCHEMA main.klaviyo_import_from_dwh;
SHOW TABLES;
SELECT * FROM example_source_table LIMIT 1;

Tipps:

• Führe diese Verifizierungsschritte mit derselben Identität und demselben PAT aus, das du für Klaviyo freigeben wirst.
• Bewahre die SQL-GRANT-Anweisungen und die Verifizierungsausgabe für Audits/Fehlerbehebung auf.
• Rotiere den PAT in regelmäßiger Taktung und nach Personalwechseln.

5) Verbinde Databricks und erstelle eine Importsynchronisierung

Sobald Databricks konfiguriert ist, öffne das Import-Setup in Klaviyo.

1. Navigiere in Klaviyo zu Erweitert > Datenmanagement > Synchronisierung.
2. Wenn du bereits eine Verbindung hast, klicke auf Sync erstellen.
3. Wähle Daten aus deinem Data Warehouse importieren aus.
4. Wähle Databricks als dein Data Warehouse aus.
5. Klicke auf Mit Databricks verbinden.

Wenn du dazu aufgefordert wirst, gib die folgenden Verbindungsdetails an:

Nachdem du deine Verbindungsdetails eingegeben hast, teste die Verbindung und schließe die Import-Synchronisierung ab:

1. Klicke auf Weiter. Klicke bei Verbindung testen auf Testen. Wenn der Test fehlschlägt, korrigiere die Verbindungsdetails oder Berechtigungen und teste erneut.
2. Nachdem der Test erfolgreich abgeschlossen wurde, klicke auf Weiter. Mindestens 1 zugängliche Tabelle oder Ansicht muss in KLAVIYO_IMPORT_FROM_DWH vorhanden sein, um fortzufahren.
3. Gib einen Namen für die Synchronisierung ein und wähle die Tabelle oder Ansicht aus, die importiert werden soll. Wähle Profile oder Ereignisse und eine Kadenz: Manuell oder Geplante Ausführung. Lege für eine geplante Synchronisierung das Intervall, das Startdatum, die Startzeit und die Zeitzone fest. Klicke auf Weiter.
4. Wähle unter Zuordnungseigenschaften die Zeitstempelspalte für die Änderungserkennung aus und schließe die erforderlichen Zuordnungen für deinen Datentyp ab. Für eine Event-Synchronisierung konfigurierst du außerdem den Event-Typ und den Event-Zeitstempel. Verwende eine separate Spalte für die Änderungserkennung. Klicke auf Fertig, um die Verbindung und die Import-Synchronisierung zu speichern.

Deine gespeicherte Import-Synchronisierung wird unter Synchronisierung angezeigt. Geplante Synchronisierungen verwenden die von dir ausgewählte Frequenz. Öffne für eine manuelle Synchronisierung die Databricks-Verbindung und wähle im Aktionsmenü der Synchronisierung Manuell ausführen aus, um den Datenimport zu starten.