Tę wiadomość możesz otrzymać bezpośrednio na swoją skrzynkę dzięki zapisowi na newsletter – Data Craze Weekly.
Przegląd Tygodnia
W #1 wydaniu Data Craze Weekly po przerwie zapraszam Cię do sprawdzenia czym jest CDC, co nowego w PostgreSQL 15 i delikatnie o dokumentowaniu danych.
CDC – Change Data Capute w wydaniu Netflixa
Artykuł ma już trochę czasu, ale nadal jest to bardzo dobre przejście przez to czym jest CDC, czego wymagać od takiego „narzędzia” jak je stworzyć i … jak to zrobił Netflix.
Link: https://netflixtechblog.com/dblog-a-generic-change-data-capture-framework-69351fb9099b
Postgresql 15 bez dostępu CREATE dla schematu PUBLIC domyślnie
Od wersji 15 PostgreSQL nie będzie można tworzyć obiektów w schemacie PUBLIC bez roli admin / superuser domyślnie.
Dokumentowanie danych po raz N-ty
Im dalej w las pracując z danymi, modelami, tabelami, schematami itd. Tym bardziej zaczynamy się gubić w gąszczu obiektów.
Pojawiają się pytania, po co ta tabela? Czy ktoś z niej korzysta? Jaki był jej cel?
Dokumentowanie nie należy do najprzyjemniejszych rzeczy. Jednak im szybciej zdamy sobie sprawę z tego, że praca z danymi przypomina nieco pracę bilbiotekarza i porządek jest królem. Tym będzie nam łatwiej w codziennej pracy.
Link: https://towardsdatascience.com/data-documentation-best-practices-3e1a97cfeda6
Narzędzia
sql_formatter – pracujesz w zespole i nie chce wam się dłużej sprzeczać czy przecinek na końcu czy na początku? Zastosujcie formatter, który łatwo możecie zintegrować z GIT-em przed commitem.
Link: https://github.com/PabloRMira/sql_formatter
Sprawdź Wiedzę
#SQL Bez użycia funkcji MAX wyświetl drugi największy identyfikator produktu (kolumna PRODUCT_ID) z tabeli PRODUCTS.
Odpowiedź tutaj: https://datacraze.pl/sql-bez-tajemnic-pytania-rekrutacyjne/
Praca
Senior Data Engineer – Wayflyer – UK / EU Remote – 80000£ – 100000£