Data Craze Weekly #1

W #1 wydaniu Data Craze Weekly po przerwie zapraszam Cię do sprawdzenia czym jest CDC, co nowego w PostgreSQL 15 i delikatnie o dokumentowaniu danych.

 

Tę wiadomość możesz otrzymać bezpośrednio na swoją skrzynkę dzięki zapisowi na newsletter – Data Craze Weekly.

 

 

Przegląd Tygodnia

CDC – Change Data Capute w wydaniu Netflixa

 

Artykuł ma już trochę czasu, ale nadal jest to bardzo dobre przejście przez to czym jest CDC, czego wymagać od takiego „narzędzia” jak je stworzyć i … jak to zrobił Netflix.

 

Link: https://netflixtechblog.com/dblog-a-generic-change-data-capture-framework-69351fb9099b

 

Postgresql 15 bez dostępu CREATE dla schematu PUBLIC domyślnie

 

Od wersji 15 PostgreSQL nie będzie można tworzyć obiektów w schemacie PUBLIC bez roli admin / superuser domyślnie.

 

Link: https://andreas.scherbaum.la/blog/archives/1120-Changes-to-the-public-schema-in-PostgreSQL-15-and-how-to-handle-upgrades.html

 

Dokumentowanie danych po raz N-ty

 

Im dalej w las pracując z danymi, modelami, tabelami, schematami itd. Tym bardziej zaczynamy się gubić w gąszczu obiektów.

 

Pojawiają się pytania, po co ta tabela? Czy ktoś z niej korzysta? Jaki był jej cel?

 

Dokumentowanie nie należy do najprzyjemniejszych rzeczy. Jednak im szybciej zdamy sobie sprawę z tego, że praca z danymi przypomina nieco pracę bilbiotekarza i porządek jest królem. Tym będzie nam łatwiej w codziennej pracy.

 

Link: https://towardsdatascience.com/data-documentation-best-practices-3e1a97cfeda6

  

Narzędzia

sql_formatter – pracujesz w zespole i nie chce wam się dłużej sprzeczać czy przecinek na końcu czy na początku? Zastosujcie formatter, który łatwo możecie zintegrować z GIT-em przed commitem.

 

Link: https://github.com/PabloRMira/sql_formatter

  

Sprawdź Wiedzę

#SQL Bez użycia funkcji MAX wyświetl drugi największy identyfikator produktu (kolumna PRODUCT_ID) z tabeli PRODUCTS.

 

Odpowiedź tutaj: https://datacraze.pl/sql-bez-tajemnic-pytania-rekrutacyjne/

  

Praca

Senior Data Engineer – Wayflyer – UK / EU Remote – 80000£ – 100000£

  

Leave a Comment

Twój adres e-mail nie zostanie opublikowany.