From 060308801b890df76d130987dde444c28a310b84 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?T=C3=A9o=20Calvo?= Date: Thu, 26 Sep 2024 16:21:16 -0300 Subject: [PATCH] Subs --- 2024.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/2024.md b/2024.md index ec2cbc4..57a1ec9 100644 --- a/2024.md +++ b/2024.md @@ -65,7 +65,7 @@ Confira os principais algoritmos e métricas de performance aqui: [Machine Learn Todos os projetos foram realizados ao vivo e abertos para toda a comunidade. Entretanto, as gravações são destinadas à quem apoia a nossa iniciativa, sendo membro no YouTube ou Sub na Twitch. -- [Sistema de Recomendação de Vagas - Feat. Trampar de Casa](#sistema-de-recomendação-de-vagas---feat-trampar-de-casa) +- [RecSys de Vagas - Feat. Trampar de Casa (04.2024)](#sistema-de-recomendação-de-vagas---feat-trampar-de-casa) - [Data Science & Pontos](#data-science--pontos) - [Lago do Mago](#lago-do-mago) - [Data Science no Databricks](#data-science-no-databricks) @@ -80,22 +80,22 @@ Confira esse desenvolvimento: [RecSys de Vagas](https://www.youtube.com/playlist ### Data Science & Pontos (06.2024) Para colocar em prática tudo que aprendemos até aqui, criamos um projeto de Data Science completo, de início ao fim em ambiente local. Projeto foi completo mesmo! Desde a definição do problema de negócio e features, construção das feature store de diferentes contextos, treinamento de diferentes algoritmos, e deploy realizado utilizando o model registry do MLFlow em nosso BOT com uma API em GoLang. E ah, tudo isso com dados reais do nosso sistema de pontos da live! -Se liga nesse projeto que você pode fazer na sua própria máquina: [Data Science & Pontos](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQOkwDvfgCvKi9-I1jQXiy7) +Se liga nesse projeto que você pode fazer na sua própria máquina: [Data Science & Pontos](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQOkwDvfgCvKi9-I1jQXiy7) / [Sub Twitch](https://www.twitch.tv/collections/jg9itHOO1ReLcw) ### Lago do Mago (07.2024) Construção de um Datalake e Lake house completamente do zero, desde a criação do ambiente na AWS e Databricks até a criação de dashboard. Utilizamos dados reais de nosso sistema de pontos, realizando ingestão na camada RAW. Para consumo e consolidação dos dados em BRONZE, utilizamos leitura dos dados FULL-LOAD e CDC (Change Data Capture) em streaming realizando UPSERT em DELTA. Para camada SILVER, utilizamos novamente Streaming, mas desta vez com CDF (Change Data Feed). Em GOLD criamos alguns CUBOS para relatórios em dashboards. -Quer saber como criar um datalake? Corre assistir essa playlist: [Lago do Mago](https://www.youtube.com/playlist?list=PLvlkVRRKOYFTcLehYZ2Bd5hGIcLH0dJHE) +Quer saber como criar um datalake? Corre assistir essa playlist: [Lago do Mago](https://www.youtube.com/playlist?list=PLvlkVRRKOYFTcLehYZ2Bd5hGIcLH0dJHE) / [Sub Twitch](https://www.twitch.tv/collections/2e8D0Vgd3hf04g) ### Data Science no Databricks (08.2024) Construção completa de um projeto de Data Science do início ao fim em ambiente cloud! Vamos usar as principais ferramentas de Data Science no Databricks, como Feature Store, Workflows e MLFlow para ciclo de vida dos modelos. Tudo isso utilizando o Unity Catalog para tracking dos dados e modelos. Esse projeto e uma continuação do [Lago do Mago](#lago-do-mago-072024), porêm, voltado à Cientista de Dados. Uma boa forma de entender isso, é como se fizessemos o projeto [Data Science & Pontos](#data-science--pontos-062024) não mais localmente, mas sim, no Databricks. -Assista como aproveitar as ferramentas de DS no Databricks: [Data Science no Databricks](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQTOgcqo1aCPPMKN_cZNJzM) +Assista como aproveitar as ferramentas de DS no Databricks: [Data Science no Databricks](https://www.youtube.com/playlist?list=PLvlkVRRKOYFQTOgcqo1aCPPMKN_cZNJzM) / [Sub Twitch](https://www.twitch.tv/collections/ghcAz7_75hfrgQ) ### TSE Analytics (08.2024) Análise dos partidos políticos e suas candidaturas para eleições municipais brasileiras em 2024. Todas dados são originários do [TSE](https://dados.gov.br/dados/conjuntos-dados/candidatos-2024). Além da criação do app, migramos toda parte de ingestão e tratamento dos dados para nosso ambiente cloud no Databricks. Você pode conferir o [app aqui](https://tse-analytics.streamlit.app/). -Todo desenvolvimento deste projeto está aqui: [TSE Analytics](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSvg12n4ZjDeJL6S_UOulxw) +Todo desenvolvimento deste projeto está aqui: [TSE Analytics](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSvg12n4ZjDeJL6S_UOulxw) / [Sub Twitch](https://www.twitch.tv/collections/hPL8gBlV7xc2BA) ### Trampar de Lakehouse (09.2024) Dado o bom trabalho que realizamos em conjunto com Trampar de Casa no sistema de recomendação de vagas, sugiu uma nova oportunidade pra construção de um datalake e BI para eles acompanharem as principais métricas da operação que estão tocando. O desenvolvimento consistiu em: criação de um Lakehouse com camadas bronze, silver e gold para criação de relatórios e dashboards. Usamos: @@ -106,4 +106,4 @@ Dado o bom trabalho que realizamos em conjunto com Trampar de Casa no sistema de - Python para orquestração das etapas de ETL - Databricks Workflows para orquestração de todas ingestões e transformações de dados -Confira como fizemos tudo isso em 8hrs de live: [Trampar de Lakehouse](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSG6ORablElWKH-G2K3H9Bn) \ No newline at end of file +Confira como fizemos tudo isso em 8hrs de live: [Trampar de Lakehouse](https://www.youtube.com/playlist?list=PLvlkVRRKOYFSG6ORablElWKH-G2K3H9Bn) / [Sub Twitch](https://www.twitch.tv/collections/SOtxLvG_9Rcfbw) \ No newline at end of file