Configura le importazioni Databricks

Panoramica: segui questi passaggi per preparare Databricks per le importazioni in Klaviyo. Creerai gli schemi richiesti (in un catalogo), configurerai un account dedicato e un token di accesso per Klaviyo, assegnerai i privilegi richiesti, verificherai la configurazione e creerai una sincronizzazione di importazione in Klaviyo.

IMPORTANTE: Databricks supporta sia l’ importazione dei dati in Klaviyo sia l’ esportazione dei dati di Klaviyo in Databricks. Configura importazioni ed esportazioni separatamente.

• Profili ed eventi possono essere importati in Klaviyo ed esportati su Databricks.
• È richiesto Unity Catalog . Per connetterti a un'istanza Databricks che utilizza Hive metastore (HMS), valuta la federazione di Hive metastore.

Per i dettagli su come funzionano le importazioni del magazzino dati in Klaviyo, inclusi la struttura dello schema, le tabelle obbligatorie e le mappature dei campi, consulta Come funzionano le importazioni del magazzino dati in Klaviyo e Comprendere l'importazione di eventi del magazzino dati.

Per configurare Databricks come destinazione per i dati di Klaviyo, consulta Come esportare i dati di Klaviyo in Databricks.

Prima di iniziare, scegli un warehouse Databricks SQL da far interrogare a Klaviyo. Ti serve l'autorizzazione per creare schemi e concedere l'accesso, oppure l'aiuto di un amministratore di Databricks.

1) Crea gli schemi richiesti

In Databricks, gli schemi (a volte chiamati database) si trovano all’interno di un catalogo. Gli esempi usano il catalogo main. Sostituiscilo con il tuo catalogo in tutti questi passaggi.

USE CATALOG main;  -- or your organization’s designated catalog
CREATE SCHEMA IF NOT EXISTS KLAVIYO_IMPORT_FROM_DWH;
CREATE SCHEMA IF NOT EXISTS KLAVIYO_TMP;

• KLAVIYO_IMPORT_FROM_DWH: le tabelle e le viste create in questo schema saranno disponibili per la selezione durante la configurazione di una nuova sincronizzazione.
• KLAVIYO_TMP: dati temporanei/di staging utilizzati durante la sincronizzazione.

Nota: prima di testare la connessione in Klaviyo, crea almeno 1 tabella o vista che contenga i dati che vuoi importare in KLAVIYO_IMPORT_FROM_DWH. Prepara i relativi identificatori e i campi timestamp utilizzando le guide all’importazione linkate sopra.

2) Crea l'account Klaviyo Service e accedi al token di accesso

Klaviyo si autentica a Databricks utilizzando un account dedicato con un token di accesso personale (PAT). Quando possibile, usa un account non umano (di servizio) e archivia il PAT in modo sicuro (ad esempio, in un gestore di password o in un archivio di segreti). Fornirai questo token a Klaviyo durante la configurazione iniziale.

2.1 Crea l'account

Crea un utente del workspace Databricks o un service principal che Klaviyo utilizzerà esclusivamente per questa integrazione.

2.2 Genera il token di accesso personale

• Account utente dell’area di lavoro: genera il token tramite l’interfaccia utente web di Databricks (consulta la documentazione di Databricks): Crea token di accesso personali per utenti dell’area di lavoro
• Service principal: chiedi a un admin dello spazio di lavoro Databricks di generare il token iniziale utilizzando la Databricks CLI (vedi la documentazione Databricks): Crea token di accesso personali tramite la Databricks CLI

Importante: tratta il PAT come un segreto. Chiunque abbia il token può accedere a Databricks con le autorizzazioni dell'account associato.

3) Assegna le autorizzazioni richieste

Concedi all’identità Databricks che hai creato per Klaviyo l’accesso al catalogo e agli schemi creati nel passaggio 1. Sostituisci klaviyo_service_user con il tuo nome utente Databricks o con l’ID applicazione del service principal e anteponi agli schemi il tuo catalogo (ad es. main).

-- Grant access to the catalog
GRANT USE CATALOG ON CATALOG main TO `klaviyo_service_user`;

-- Grant permissions on temporary schema
GRANT ALL PRIVILEGES ON SCHEMA main.KLAVIYO_TMP TO `klaviyo_service_user`;

-- OR, grant granular privileges:
GRANT USE SCHEMA, MODIFY, SELECT, CREATE TABLE ON SCHEMA main.KLAVIYO_TMP TO `klaviyo_service_user`;

-- Grant read-only access to import schema
GRANT USE SCHEMA, SELECT ON SCHEMA main.KLAVIYO_IMPORT_FROM_DWH TO `klaviyo_service_user`;

Concedi alla stessa identità Databricks l’autorizzazione CAN USE sul SQL warehouse il cui HTTP Path inserirai in Klaviyo. Le autorizzazioni dello schema non concedono l’accesso al warehouse. Vedi autorizzazioni del SQL warehouse Databricks.

Best practice: applica il principio del privilegio minimo: concedi solo ciò che è necessario.

4) Verifica la configurazione (facoltativo)

4.1 Conferma che gli schemi esistano

Esegui in un notebook o editor Databricks SQL:

SHOW SCHEMAS IN main;  -- replace 'main' with your catalog if different

Dovresti vedere:

klaviyo_import_from_dwh
klaviyo_tmp

4.2 Testa l’autenticazione (utilizzando la tua PAT)

Usa la CLI di Databricks con lo stesso token che prevedi di fornire a Klaviyo:

# Set your token and host (example for AWS)
export DATABRICKS_HOST="https://<your-workspace>.cloud.databricks.com"
export DATABRICKS_TOKEN="<your-PAT>"

# Run a simple API call
databricks current-user me

Risultato previsto: output JSON che mostra i dettagli dell’utente o del principal del servizio (ad es. nome visualizzato, ID utente). Se ricevi un HTTP 403 o un errore di autenticazione, verifica il token e l’URL host.

4.3 Verifica le autorizzazioni su ogni schema

SHOW GRANTS ON CATALOG main;
SHOW GRANTS ON SCHEMA main.klaviyo_tmp;
SHOW GRANTS ON SCHEMA main.klaviyo_import_from_dwh;

Conferma che l’identità Databricks che hai creato per Klaviyo abbia USE CATALOG sul catalogo, USE SCHEMA e SELECT su KLAVIYO_IMPORT_FROM_DWH, e i privilegi dello schema temporaneo elencati nel passaggio 3. Conferma inoltre la sua autorizzazione CAN USE sul data warehouse SQL.

4.4 Convalidare le operazioni di creazione, scrittura e lettura

Usa un nome tabella non utilizzato per klaviyo_permissions_test in KLAVIYO_TMP. Sostituisci example_source_table con una tabella o una vista che prevedi di importare.

-- Test create, write, read, and drop in KLAVIYO_TMP
USE SCHEMA main.klaviyo_tmp;
CREATE TABLE klaviyo_permissions_test (id INT);
INSERT INTO klaviyo_permissions_test VALUES (1);
SELECT * FROM klaviyo_permissions_test;
DROP TABLE klaviyo_permissions_test;

-- List sources and test reading a table or view you plan to import
USE SCHEMA main.klaviyo_import_from_dwh;
SHOW TABLES;
SELECT * FROM example_source_table LIMIT 1;

Consigli:

• Esegui questi passaggi di verifica utilizzando la stessa identità e lo stesso PAT che condividerai con Klaviyo.
• Conserva le istruzioni GRANT SQL e l’output di verifica per audit/risoluzione dei problemi.
• Ruota il PAT con una cadenza regolare e dopo i cambi di personale.

5) Collega Databricks e crea una sincronizzazione di importazione

Una volta configurato Databricks, apri la configurazione dell'importazione in Klaviyo.

1. In Klaviyo, vai a Advanced > Data management > Syncing.
2. Se hai già una connessione, fai clic su Crea sincronizzazione.
3. Seleziona Importa i dati dal tuo magazzino dati.
4. Scegli Databricks come magazzino dati.
5. Clicca su Connetti a Databricks.

Quando richiesto, fornisci i seguenti dettagli di connessione:

Dopo aver inserito i dettagli della connessione, verifica la connessione e completa la sincronizzazione dell'importazione:

1. Clicca su Avanti. In Test connessione, fai clic su Test. Se il test non riesce, correggi i dettagli della connessione o le autorizzazioni e ripeti il test.
2. Dopo che il test ha esito positivo, fai clic su Avanti. Per continuare, in KLAVIYO_IMPORT_FROM_DWH deve essere presente almeno 1 tabella o vista accessibile.
3. Inserisci un nome per la sincronizzazione e seleziona la tabella o la vista da importare. Scegli Profili o Eventi e una cadenza: Manuale o Esecuzione pianificata. Per una sincronizzazione pianificata, imposta l’intervallo, la data di inizio, l’ora di inizio e il fuso orario. Clicca su Avanti.
4. In Proprietà mappa, seleziona la colonna timestamp per il rilevamento delle modifiche e completa le mappature obbligatorie per il tuo tipo di dati. Per una sincronizzazione di eventi, configura anche il tipo di evento e il timestamp dell’evento. Usa una colonna separata per il rilevamento delle modifiche. Fai clic su Fine per salvare la connessione e la sincronizzazione dell’importazione.

La sincronizzazione dell’importazione salvata viene visualizzata in Sincronizzazione in corso. Le sincronizzazioni pianificate usano la cadenza che hai selezionato. Per una sincronizzazione manuale, apri la connessione Databricks e seleziona Esegui manualmente dal menu delle azioni della sincronizzazione per iniziare a importare i dati.