Skip to content

Commit

Permalink
Subs
Browse files Browse the repository at this point in the history
  • Loading branch information
TeoCalvo committed Sep 26, 2024
1 parent f52f4d1 commit 0603088
Showing 1 changed file with 6 additions and 6 deletions.
12 changes: 6 additions & 6 deletions 2024.md
Original file line number Diff line number Diff line change
Expand Up @@ -65,7 +65,7 @@ Confira os principais algoritmos e métricas de performance aqui: [Machine Learn

Todos os projetos foram realizados ao vivo e abertos para toda a comunidade. Entretanto, as gravações são destinadas à quem apoia a nossa iniciativa, sendo membro no YouTube ou Sub na Twitch.

- [Sistema de Recomendação de Vagas - Feat. Trampar de Casa](#sistema-de-recomendação-de-vagas---feat-trampar-de-casa)
- [RecSys de Vagas - Feat. Trampar de Casa (04.2024)](#sistema-de-recomendação-de-vagas---feat-trampar-de-casa)
- [Data Science & Pontos](#data-science--pontos)
- [Lago do Mago](#lago-do-mago)
- [Data Science no Databricks](#data-science-no-databricks)
Expand All @@ -80,22 +80,22 @@ Confira esse desenvolvimento: [RecSys de Vagas](https://www.youtube.com/playlist
### Data Science & Pontos (06.2024)
Para colocar em prática tudo que aprendemos até aqui, criamos um projeto de Data Science completo, de início ao fim em ambiente local. Projeto foi completo mesmo! Desde a definição do problema de negócio e features, construção das feature store de diferentes contextos, treinamento de diferentes algoritmos, e deploy realizado utilizando o model registry do MLFlow em nosso BOT com uma API em GoLang. E ah, tudo isso com dados reais do nosso sistema de pontos da live!

Se liga nesse projeto que você pode fazer na sua própria máquina: [Data Science & Pontos](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQOkwDvfgCvKi9-I1jQXiy7)
Se liga nesse projeto que você pode fazer na sua própria máquina: [Data Science & Pontos](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQOkwDvfgCvKi9-I1jQXiy7) / [Sub Twitch](https://www.twitch.tv/collections/jg9itHOO1ReLcw)

### Lago do Mago (07.2024)
Construção de um Datalake e Lake house completamente do zero, desde a criação do ambiente na AWS e Databricks até a criação de dashboard. Utilizamos dados reais de nosso sistema de pontos, realizando ingestão na camada RAW. Para consumo e consolidação dos dados em BRONZE, utilizamos leitura dos dados FULL-LOAD e CDC (Change Data Capture) em streaming realizando UPSERT em DELTA. Para camada SILVER, utilizamos novamente Streaming, mas desta vez com CDF (Change Data Feed). Em GOLD criamos alguns CUBOS para relatórios em dashboards.

Quer saber como criar um datalake? Corre assistir essa playlist: [Lago do Mago](https://www.youtube.com/playlist?list=PLvlkVRRKOYFTcLehYZ2Bd5hGIcLH0dJHE)
Quer saber como criar um datalake? Corre assistir essa playlist: [Lago do Mago](https://www.youtube.com/playlist?list=PLvlkVRRKOYFTcLehYZ2Bd5hGIcLH0dJHE) / [Sub Twitch](https://www.twitch.tv/collections/2e8D0Vgd3hf04g)

### Data Science no Databricks (08.2024)
Construção completa de um projeto de Data Science do início ao fim em ambiente cloud! Vamos usar as principais ferramentas de Data Science no Databricks, como Feature Store, Workflows e MLFlow para ciclo de vida dos modelos. Tudo isso utilizando o Unity Catalog para tracking dos dados e modelos. Esse projeto e uma continuação do [Lago do Mago](#lago-do-mago-072024), porêm, voltado à Cientista de Dados. Uma boa forma de entender isso, é como se fizessemos o projeto [Data Science & Pontos](#data-science--pontos-062024) não mais localmente, mas sim, no Databricks.

Assista como aproveitar as ferramentas de DS no Databricks: [Data Science no Databricks](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQTOgcqo1aCPPMKN_cZNJzM)
Assista como aproveitar as ferramentas de DS no Databricks: [Data Science no Databricks](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQTOgcqo1aCPPMKN_cZNJzM) / [Sub Twitch](https://www.twitch.tv/collections/ghcAz7_75hfrgQ)

### TSE Analytics (08.2024)
Análise dos partidos políticos e suas candidaturas para eleições municipais brasileiras em 2024. Todas dados são originários do [TSE](https://dados.gov.br/dados/conjuntos-dados/candidatos-2024). Além da criação do app, migramos toda parte de ingestão e tratamento dos dados para nosso ambiente cloud no Databricks. Você pode conferir o [app aqui](https://tse-analytics.streamlit.app/).

Todo desenvolvimento deste projeto está aqui: [TSE Analytics](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSvg12n4ZjDeJL6S_UOulxw)
Todo desenvolvimento deste projeto está aqui: [TSE Analytics](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSvg12n4ZjDeJL6S_UOulxw) / [Sub Twitch](https://www.twitch.tv/collections/hPL8gBlV7xc2BA)

### Trampar de Lakehouse (09.2024)
Dado o bom trabalho que realizamos em conjunto com Trampar de Casa no sistema de recomendação de vagas, sugiu uma nova oportunidade pra construção de um datalake e BI para eles acompanharem as principais métricas da operação que estão tocando. O desenvolvimento consistiu em: criação de um Lakehouse com camadas bronze, silver e gold para criação de relatórios e dashboards. Usamos:
Expand All @@ -106,4 +106,4 @@ Dado o bom trabalho que realizamos em conjunto com Trampar de Casa no sistema de
- Python para orquestração das etapas de ETL
- Databricks Workflows para orquestração de todas ingestões e transformações de dados

Confira como fizemos tudo isso em 8hrs de live: [Trampar de Lakehouse](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSG6ORablElWKH-G2K3H9Bn)
Confira como fizemos tudo isso em 8hrs de live: [Trampar de Lakehouse](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSG6ORablElWKH-G2K3H9Bn) / [Sub Twitch](https://www.twitch.tv/collections/SOtxLvG_9Rcfbw)

0 comments on commit 0603088

Please sign in to comment.