Je Snowflake-profielexporttabel migreren naar een hybride tabel

Wat je leert

Ontdek hoe je de KLAVIYO_PROFILE-tabel waarnaar de export van Klaviyo's datawarehouse in Snowflake schrijft, kunt omzetten van een standaardtabel naar een Snowflake-hybride tabel, met de exacte opdrachten die je bij elke stap moet uitvoeren.

Klaviyo's export sync gebruikt MERGE statements om profielwijzigingen toe te passen op KLAVIYO_PROFILE. Hybrid-tabellen zijn gebouwd voor point reads met lage latentie op basis van indexen en gelijktijdige writes. Ze kunnen geschikt zijn voor individuele profielopzoekingen vanuit een applicatie, een API of een UI. Standard-tabellen presteren over het algemeen beter voor grote analytische scans en aggregaties. Vergelijk vóór je migreert de exportprestaties, downstream queries en de totale kosten met je eigen data en workload.

Voordat je van start gaat

Doorloop alle 4 controles hieronder voordat je iets verandert.

1. Bevestig dat je account hybride tabellen ondersteunt

Vervang KLAVIYO_DATABASE en KLAVIYO_DATA_TRANSFER_WAREHOUSE door de namen die je hebt ingesteld in je Snowflake-installatiescript, en vervang PUBLIC als je een ander schema gebruikt. Pas deze vervangingen toe in alle SQL-voorbeelden. Behouden de profiel-tabelnaam KLAVIYO_PROFILE: het installatiescript markeert deze als vast, en de export van Klaviyo schrijft naar die naam.

USE ROLE SYSADMIN;
USE WAREHOUSE KLAVIYO_DATA_TRANSFER_WAREHOUSE;
USE DATABASE KLAVIYO_DATABASE;
USE SCHEMA PUBLIC;

CREATE OR REPLACE HYBRID TABLE HYBRID_SMOKE_TEST (ID VARCHAR(32) PRIMARY KEY);
DROP TABLE HYBRID_SMOKE_TEST;

Als een statement mislukt, stop dan en lees de Snowflake-foutmelding voordat je doorgaat. Een niet-ondersteund account of een niet-ondersteunde regio, ontbrekende rechten, een niet-beschikbaar warehouse of een quotumlimiet kan het aanmaken verhinderen. Los de gemelde oorzaak op en voer de controle opnieuw uit om deze succesvol te laten slagen.

2. Bepaal de grootte van je profieltabel

SELECT
    ROW_COUNT,
    BYTES / POWER(1024, 3) AS SIZE_GB
FROM KLAVIYO_DATABASE.INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = 'PUBLIC'
  AND TABLE_NAME = 'KLAVIYO_PROFILE';

Hybride tabellen gebruiken rijgebaseerde primaire opslag, waardoor dezelfde gegevens meestal meer ruimte innemen dan in een kolomgebaseerde standaardtabel. SIZE_GB beschrijft de bestaande standaardtabel; het is geen betrouwbare schatting van hybride opslag. Meet de opslag van de hybride testtabel en houd ruimte over voor indexen en groei binnen het hybride opslagquotum van je database.

3. Controleren op dubbele of null-ID's

Het installatiescript van Klaviyo declareert de primaire sleutel (ID) en ID NOT NULL in de standaardtabel. Snowflake dwingt geen primaire sleutels af op standaardtabellen, maar dwingt wel NOT NULL af. Hybride tabellen dwingen beide af, dus dubbele ID's blokkeren het laden. Controleer ook op null-ID's, voor het geval het schema van de bestaande tabel afwijkt van het installatiescript. Beide query's moeten 0 retourneren.

SELECT COUNT(*) AS DUPLICATE_IDS
FROM (
    SELECT ID
    FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE
    GROUP BY ID
    HAVING COUNT(*) > 1
);

SELECT COUNT(*) AS NULL_IDS
FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE
WHERE ID IS NULL;

Als een van beide een waarde retourneert die niet gelijk is aan nul, los je het probleem met de datakwaliteit op in de standaardtabel voordat je doorgaat. Anders mislukt het laden in stap 2.

4. Controleer op downstream-afhankelijkheden

Hybride tabellen ondersteunen geen clustering keys, datadeling, dynamische tabellen, Fail-safe, gematerialiseerde views, Query Acceleration Service, replicatie, Search Optimization Service, Snowpipe, Snowpipe Streaming, streams of UNDROP. Time Travel wordt ondersteund met beperkingen.

SELECT
    REFERENCING_DATABASE,
    REFERENCING_SCHEMA,
    REFERENCING_OBJECT_NAME,
    REFERENCING_OBJECT_DOMAIN
FROM SNOWFLAKE.ACCOUNT_USAGE.OBJECT_DEPENDENCIES
WHERE REFERENCED_DATABASE = 'KLAVIYO_DATABASE'
  AND REFERENCED_SCHEMA = 'PUBLIC'
  AND REFERENCED_OBJECT_NAME = 'KLAVIYO_PROFILE';

Deze weergave kan tot 3 uur achterlopen en bevat geen gegevensverplaatsing zoals CTAS, INSERT of MERGE. Controleer ook geplande taken, externe applicaties en andere gebruikers van de tabel. Als iets downstream afhankelijk is van een niet-ondersteunde functie, bouw het dan opnieuw op voordat je migreert. Plan om afhankelijke objecten bij te werken en te valideren na het hernoemen in stap 5.

Stap 1: je exportsynchronisatie pauzeren

1. Ga in Klaviyo naar Advanced KDP > Databeheer > Synchroniseren.
2. Selecteer je Snowflake-bestemming en open het tabblad Periodic.
3. Selecteer in de rij Profielexport Pauzeren.

Als er nog een profielexport wordt uitgevoerd op het tabblad Historisch, pauzeer dan ook die taak. Houd alle profielexports gepauzeerd tot en met stap 7.

Controleer of de taken die je hebt gepauzeerd Paused tonen en controleer vervolgens in de Snowflake-querygeschiedenis of alle exportquery’s die al draaiden zijn afgerond. De status gepauzeerd alleen bevestigt niet dat een schrijfactie die bezig was is gestopt. Houd andere writers naar KLAVIYO_PROFILE gestopt tijdens het kopiëren, valideren en hernoemen. Migreren terwijl de tabel verandert kan ervoor zorgen dat de kopie onvolledig is.

Stap 2: maak de hybride tabel en laad deze

Kies 1 laadmethode: voer de onderstaande enkele CREATE HYBRID TABLE ... AS SELECT (CTAS)-instructie uit, of gebruik het batchladen-alternatief in de volgende subsectie. Voer niet allebei uit: elk voorbeeld vervangt KLAVIYO_PROFILE_HYBRID. CTAS vereist dat je het volledige kolomschema expliciet definieert; het kan niet worden afgeleid uit de SELECT. De voorbeelden komen overeen met het installatiescript van Klaviyo. Vergelijk eerst je bestaande schema en behoud de kolomnamen en gegevenstypen daarvan.

USE ROLE SYSADMIN;
USE WAREHOUSE KLAVIYO_DATA_TRANSFER_WAREHOUSE;
USE DATABASE KLAVIYO_DATABASE;
USE SCHEMA PUBLIC;

CREATE OR REPLACE HYBRID TABLE KLAVIYO_PROFILE_HYBRID (
    ID VARCHAR(32) NOT NULL,
    EXTERNAL_ID VARCHAR(255),
    EMAIL VARCHAR(255),
    PHONE_NUMBER VARCHAR(255),
    FIRST_NAME VARCHAR(255),
    LAST_NAME VARCHAR(255),
    TITLE VARCHAR(255),
    ORGANIZATION VARCHAR(255),
    PROPERTIES OBJECT,
    IMAGE VARCHAR(255),
    CREATED TIMESTAMP_NTZ(9),
    UPDATED TIMESTAMP_NTZ(9),
    LOCATION_ADDRESS1 VARCHAR(255),
    LOCATION_ADDRESS2 VARCHAR(255),
    LOCATION_CITY VARCHAR(255),
    LOCATION_COUNTRY VARCHAR(255),
    LOCATION_LATITUDE VARCHAR(255),
    LOCATION_LONGITUDE VARCHAR(255),
    LOCATION_REGION VARCHAR(255),
    LOCATION_ZIP VARCHAR(255),
    PRIMARY KEY (ID)
)
AS
SELECT
    ID,
    EXTERNAL_ID,
    EMAIL,
    PHONE_NUMBER,
    FIRST_NAME,
    LAST_NAME,
    TITLE,
    ORGANIZATION,
    PROPERTIES,
    IMAGE,
    CREATED,
    UPDATED,
    LOCATION_ADDRESS1,
    LOCATION_ADDRESS2,
    LOCATION_CITY,
    LOCATION_COUNTRY,
    LOCATION_LATITUDE,
    LOCATION_LONGITUDE,
    LOCATION_REGION,
    LOCATION_ZIP
FROM KLAVIYO_PROFILE;

Een zeer grote tabel in batches laden

Als een enkele CTAS te groot is om comfortabel uit te voeren, gebruik je dit alternatief om de hybride tabel leeg aan te maken en deze in datumreeksen te laden. De initiële INSERT INTO ... SELECT naar een lege tabel gebruikt het geoptimaliseerde bulk-loadpad. Voor latere batches hangt het gebruik van dat pad af van de grootte en het aantal rijen dat wordt geladen. Controleer het queryprofiel om te bevestigen of het is gebruikt.

USE ROLE SYSADMIN;
USE WAREHOUSE KLAVIYO_DATA_TRANSFER_WAREHOUSE;
USE DATABASE KLAVIYO_DATABASE;
USE SCHEMA PUBLIC;

CREATE OR REPLACE HYBRID TABLE KLAVIYO_PROFILE_HYBRID (
    ID VARCHAR(32) NOT NULL,
    EXTERNAL_ID VARCHAR(255),
    EMAIL VARCHAR(255),
    PHONE_NUMBER VARCHAR(255),
    FIRST_NAME VARCHAR(255),
    LAST_NAME VARCHAR(255),
    TITLE VARCHAR(255),
    ORGANIZATION VARCHAR(255),
    PROPERTIES OBJECT,
    IMAGE VARCHAR(255),
    CREATED TIMESTAMP_NTZ(9),
    UPDATED TIMESTAMP_NTZ(9),
    LOCATION_ADDRESS1 VARCHAR(255),
    LOCATION_ADDRESS2 VARCHAR(255),
    LOCATION_CITY VARCHAR(255),
    LOCATION_COUNTRY VARCHAR(255),
    LOCATION_LATITUDE VARCHAR(255),
    LOCATION_LONGITUDE VARCHAR(255),
    LOCATION_REGION VARCHAR(255),
    LOCATION_ZIP VARCHAR(255),
    PRIMARY KEY (ID)
);

INSERT INTO KLAVIYO_PROFILE_HYBRID
SELECT * FROM KLAVIYO_PROFILE
WHERE UPDATED < '2024-01-01';

INSERT INTO KLAVIYO_PROFILE_HYBRID
SELECT * FROM KLAVIYO_PROFILE
WHERE UPDATED >= '2024-01-01' AND UPDATED < '2025-01-01';

INSERT INTO KLAVIYO_PROFILE_HYBRID
SELECT * FROM KLAVIYO_PROFILE
WHERE UPDATED >= '2025-01-01' OR UPDATED IS NULL;

Pas de grenzen aan zodat ze bij je data passen en zorg dat de bereiken elkaar niet overlappen en geen gaten laten.

Stap 3: Secundaire indexen toevoegen

De primary key op ID wordt automatisch geïndexeerd. Voeg alleen secundaire indexen toe voor de kolommen waarop je daadwerkelijk filtert, omdat elke index opslagruimte gebruikt en extra overhead toevoegt aan schrijfbewerkingen. De onderstaande statements zijn optionele voorbeelden: gebruik EMAIL of EXTERNAL_ID voor look-ups op die kolommen, en UPDATED voor queries die op recentheid zijn gefilterd. Voer alleen de statements uit die je nodig hebt, 1 tegelijk, en wacht tot elke index klaar is met opbouwen voordat je met een andere begint.

CREATE INDEX IDX_KLAVIYO_PROFILE_EMAIL
    ON KLAVIYO_PROFILE_HYBRID (EMAIL);

CREATE INDEX IDX_KLAVIYO_PROFILE_EXTERNAL_ID
    ON KLAVIYO_PROFILE_HYBRID (EXTERNAL_ID);

CREATE INDEX IDX_KLAVIYO_PROFILE_UPDATED
    ON KLAVIYO_PROFILE_HYBRID (UPDATED);

Controleer na elke CREATE INDEX de status met SHOW INDEXES. Wacht tot deze actief is voordat je de volgende index maakt. Als de status BUILD FAILURE is, controleer status_info, los de gemelde oorzaak op en verwijder en maak daarna de index opnieuw aan:

SHOW INDEXES IN TABLE KLAVIYO_PROFILE_HYBRID;

Stap 4: controleer de copy

Het aantal rijen moet overeenkomen en de verschilquery moet 0 retourneren.

SELECT
    (SELECT COUNT(*) FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE) AS STANDARD_ROWS,
    (SELECT COUNT(*) FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE_HYBRID) AS HYBRID_ROWS;

SELECT COUNT(*) AS MISSING_IDS
FROM (
    SELECT ID FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE
    MINUS
    SELECT ID FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE_HYBRID
);

Controleer of de nieuwe tabel echt hybride is en vervang vervolgens someone@example.com door een e-mailadres dat in je gegevens voorkomt. Voer dezelfde point-read query uit op de standaardtabel en vergelijk de geretourneerde profielwaarden. Evalueer de prestaties ook aan de hand van representatieve queries uit je eigen applicatie:

SHOW HYBRID TABLES LIKE 'KLAVIYO_PROFILE_HYBRID';

SELECT * FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE_HYBRID
WHERE EMAIL = 'someone@example.com';

Stap 5: de hybride tabel omwisselen

Houd alle profielexports en andere writers gestopt. Hernoem de standaardtabel en zet die uit de weg in plaats van hem te droppen, zodat je een back-up hebt voor een rollback. Controleer voordat je deze statements uitvoert dat KLAVIYO_PROFILE_STANDARD_BACKUP nog niet in gebruik is. Werk na het hernoemen de downstream-afhankelijkheden bij die je eerder hebt geïdentificeerd en test ze, zodat ze de hybride tabel gebruiken.

USE ROLE SYSADMIN;
USE DATABASE KLAVIYO_DATABASE;
USE SCHEMA PUBLIC;

ALTER TABLE KLAVIYO_PROFILE RENAME TO KLAVIYO_PROFILE_STANDARD_BACKUP;
ALTER TABLE KLAVIYO_PROFILE_HYBRID RENAME TO KLAVIYO_PROFILE;

Stap 6: Rechten opnieuw toekennen aan de Klaviyo-rol

Vervang de rolnaam door de rolnaam die je als role_name hebt ingesteld in je Snowflake-set-upscript.

USE ROLE SECURITYADMIN;

GRANT SELECT, INSERT, UPDATE, DELETE
    ON TABLE KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE
    TO ROLE KLAVIYO_DATA_TRANSFER_ROLE;

SHOW GRANTS ON TABLE KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE;

Stap 7: hervat de synchronisatie en bevestig

1. Ga in Klaviyo terug naar Advanced Klaviyo Data Platform > Gegevensbeheer > Synchroniseren.
2. Selecteer je Snowflake-bestemming en open het tabblad Periodic.
3. Selecteer Hervatten in de rij Profielexport. Hervat ook alle historische profielexports die je in stap 1 hebt gepauzeerd.

Periodieke exports volgen de frequentie die is geconfigureerd voor je bestemming. Nadat de hervatte export profielwijzigingen heeft verwerkt, controleer je of deze zonder fouten wordt uitgevoerd en of die wijzigingen in Snowflake verschijnen. Een periodieke taak kan tussen runs teruggaan naar Scheduled; deze hoeft niet Voltooid te tonen. Gebruik de query hieronder om het aantal rijen en de nieuwste tijdstempel voor profielupdates te controleren en om steekproefsgewijs een profiel te controleren waarvan je weet dat het is gewijzigd. Deze waarden alleen bewijzen niet dat elke wijziging is geëxporteerd:

SELECT
    COUNT(*) AS ROW_COUNT,
    MAX(UPDATED) AS LAST_UPDATED
FROM KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE;

Als de synchronisatie een fout geeft, open je de mislukte export op het tabblad Periodiek om de foutsamenvatting, de code en het bericht te lezen dat door Snowflake is geretourneerd. Zie het gedeelte Foutenlogboeken bekijken van Datawarehouse-synchronisatie in Klaviyo begrijpen. Zodra exports en downstream-controles slagen, start je eventuele andere writers die je hebt gestopt opnieuw.

Terugdraaien

Als de synchronisatie met de hybride tabel mislukt en je moet terugdraaien, pauzeer dan alle actieve profielexports en bevestig dat lopende Snowflake-schrijfbewerkingen zijn afgerond, zoals in stap 1. Bepaal voordat je de tabellen hernoemt of er inserts, updates of deletes de hybride tabel hebben bereikt nadat de back-up was gemaakt. De back-up ontvangt die wijzigingen niet.

Als wijzigingen de hybride tabel hebben bereikt, verwerk je die invoegingen, updates en verwijderingen in de standaardback-up voordat je die herstelt. Als je de gegevens niet kunt afstemmen, houd je exports gestopt en neem je contact op met Klaviyo Support voor hulp bij het herstellen van de ontbrekende wijzigingen. Hervatten bewaart de voortgang van de export en speelt wijzigingen die al zijn verwerkt niet automatisch opnieuw af. Zodra de back-up actueel is, gebruik je de onderstaande opdrachten en vervang je de rolnaam van je Klaviyo Service.

USE ROLE SYSADMIN;
USE DATABASE KLAVIYO_DATABASE;
USE SCHEMA PUBLIC;

ALTER TABLE KLAVIYO_PROFILE RENAME TO KLAVIYO_PROFILE_HYBRID;
ALTER TABLE KLAVIYO_PROFILE_STANDARD_BACKUP RENAME TO KLAVIYO_PROFILE;

USE ROLE SECURITYADMIN;
GRANT SELECT, INSERT, UPDATE, DELETE
    ON TABLE KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE
    TO ROLE KLAVIYO_DATA_TRANSFER_ROLE;

Controleer de machtigingen van de Klaviyo-rol en herstel alle downstream-toegang en afhankelijkheden op de standaardtabel. Hervat daarna de profielexports en herhaal de controles in stap 7. Selecteer voor een taak met de status Mislukt Opnieuw inschakelen in plaats van Hervatten. Bewaar de hybride tabel totdat je hebt bevestigd dat de herstelde tabel up-to-date is en exports werken. Start alle andere schrijvers opnieuw zodra de validatie is geslaagd.

Nadat je migreert

Bewaar de standaardback-up totdat je hervatte exports en downstream consumers hebt gevalideerd en je deze niet meer nodig hebt om terug te draaien. Als die controles slagen, verwijder je de back-up zodat deze geen opslagkosten meer opbouwt.

USE ROLE SYSADMIN;
DROP TABLE KLAVIYO_DATABASE.PUBLIC.KLAVIYO_PROFILE_STANDARD_BACKUP;

Houd het volgende continu in gedachten:

• Opslagquotum: Het standaardquotum is 2 TB aan actieve hybride-tabelgegevens in de row store per Snowflake-database. Boven het quotum worden schrijfbewerkingen die gegevens toevoegen aan een hybride tabel in die database geblokkeerd, waardoor je export kan mislukken. Verwijder gegevens of tabellen om het gebruik te verlagen, of neem contact op met Snowflake Support over een verhoging van het quotum.
• Aanvraagquotum: Ongeveer 16.000 bewerkingen per seconde per database voor een evenwichtige workload van 80% lezen/20% schrijven.
• Geen fail-safe, beperkte Time Travel: UNDROP wordt niet ondersteund voor hybride tabellen. Houd je eigen back-upproces aan als je er een nodig hebt.
• Geen resultatencache: Query's op hybride tabellen gebruiken Snowflake's persistente queryresultatencache niet.
• Kosten: Snowflake brengt kosten in rekening voor opslag van hybride tabellen en compute voor virtuele warehouses. Row-store-opslag is duurder dan standaardopslag, terwijl het verbruikstarief van het warehouse hetzelfde is. Bekijk de kostendocumentatie van Snowflake en meet je workload voordat je een grote tabel migreert.

Extra hulpbronnen

• Gegevenssynchronisatie met datawarehouses begrijpen in Klaviyo
• Klaviyo en Snowflake verbinden
• Snowflake: Hybride tabellen
• Snowflake: Hybride tabellen maken
• Snowflake: Beperkingen en niet-ondersteunde functies voor hybride tabellen
• Snowflake: Kosten evalueren voor hybride tabellen
• Snowflake: standaard Snowflake-tabellen omzetten naar hybride tabellen