• Aula de Boas Vindas
• Apresentação da ementa detalhada
• Meios de acesso para dúvidas
• Explicação sobre o Hackathon
• Dúvidas gerais
• Introdução à Jornada de Ciência de Dados e Engenharia de Dados
  

Glossário da Matemática

Teoria Elementar dos Conjuntos

Sequências Elementares

Funções

Funções Elementares

Matrizes

Hands-On: Fixação de Conteúdo

Ramos da Estatística

Variáveis Estatísticas

Medidas Estatística Descritiva

Hands-on: Fixação de Conteúdo

Algoritmos Gaveta de Dados

Dados e Instruções

Controle de Fluxo Arrays (Vetores e Matrizes)

Modularização Procedimento x Função Hand-on: Fixação de Conteúdo

Estrutura do Excel

• Formatação
• Fórmulas de Operação 
• Referência de Células
• Colas Especial 
• Funções Soma, Média e SE,
• Filtros 
• Funções 
• Formatação Condicional 
• Tabela
• Importação de Dados Externos 
• Remover Duplicatas 
• Tabela Dinâmica 
• Gráficos 
• Segmentação de Dados 
• Função Infodados de Tabela Dinâmica
• Funções de Cubo 
• Funções de Pesquisa e Referência
• Atingir Meta 
• Macros
• Controle de Formulários

História dos Sistemas 

OperacionaisPrincipais Conceitos

Software x Hardware

Linguagem Binária

Portas Lógicas

Linguagem de Baixo e Alto Nível

Virtualização de S.O.

Cloud Computing e casos de Uso

Emulação

Docker x Kubernets

Linux no Windows

Criando e Conectando uma Máquina Virtual na AWS

Introdução ao SQL

Variações do SQL

Tipos de linguagem ( DDL , DML , DQL , DTL , DCL ) Primeiras consultas

Tipos de dados

Ordenação

Principais operadores

Filtros

Agregações

Criação de Databases / Tabelas

CRUD

Chaves primárias / Chaves estrangeiras ( PK , FK )

Combinando tabelas (Joins)Empilhando tabelas (Union x Union All)

Estrutura Case When

Subconsultas ( Subqueries )

Common Table Expressions ( CTE )

Funções geraisFunções de Janelamento

Ordem de Execução / Criação de consultas

Hands-On: Exercícios de Fixação de Conteúdo

O que é PySpark?

SparkContext

SparkSession

Spark Dataframe

RDD

Operações importantes

Spark SQL

Tabelas

Views

UDFs Importação, Exportação, Leitura, Escrita

Otimizações

Monitoramento de jobs com Spark UI e GANGLIA (EMR)

O que é Python?

Aplicações

Popularidade

Preparando o Ambiente

Python Puro X Anaconda

Sintaxe básica Operadores matemáticos

Declaração de variáveis

Tipos de dados

Operadores lógicos

Listas

Tuplas

Dicionários

Pacotes Built-in

Estruturas condicionais

Estruturas de repetição

Funções

Função lambda

Tratamento de Exceções

Matplotlib

Seaborn

Plotly

Pandas

Leitura / Escrita

Ambientes virtuais

Instalação de pacotes

Requirements.txt

Argumentos

Hands-On: Exercício de Fixação de Conteúdo

Arquitetura Hadoop Spark

Monitoramento do Ambiente Estrutura de Cluster

Principais aplicativos para Ecossistema Hadoop/Spark

• Introdução à Computação em Nuvem
• Serviços para Dados: S3, EMR, RedShift, Athena, RDS e Lambda
• Serviços para Analytics: EMR (JupyterHub) e SageMaker
• Orquestração e Monitoramento: CloudWatch, Lambda
• Segurança: Secrets, KMS
• Escalabilidade: Load Balancer
• Automação
• Desenho de Arquitetura Big Data & Analytics: Exemplo de um data lake com uso de big data e analytics sendo feito pelo EMR (JupyterHub) e SageMaker
• Custos: Montar uma calculadora simples para estimar custos de um lake
• Sagemaker
• Athena
• QuickSight
• DynamoDB
• RedShift
  
  

Aplicações

Ferramentas mais utilizadas

Web Scraping é ilegal ?

HTML Básico

Requests - Introdução

BeautifulSoup – Introdução

Selenium Webdriver

Encontrando elementos

Interagindo ( comandos do teclado, Action Chains, Waits )

Trabalhando com Frames

Executando Javascript

Expressões Regulares ( REGEX )

User-Agents

Extraindo dados de APIs

Extraindo dados de PDFs

Encontrando APIs ocultas

Paralelisando as extrações

Uso de Proxy

Captchas

Projeto : Extração de revisões de site de hotéis

O que é Web Scraping?

Web Scraping X Web Crawling

História da evolução e uso dos dados

Carreiras em Engenharia de Dados

- Analista de BI

- Administrador de Dados

- DBA

- Engenheiro de Dados

Engenharia de Dados e Negócios

- Áreas de Negócios das empresas x Uso de Dados

- Democratização de dados para as área da empresa

Fundamentos de Cloud Computing

- Storage

- Banco de Dados

- Processamento

- Orquestração

- Observability

Tipos de Dados

Ferramentas para Engenharia de Dados

- DBeaver

- Pentaho

- Metabase

Arquiteturas de Dados

- Data Lake

- Data warehouse

- Data lakehouse

- Data Mesh

Processamento Distribuído e Paralelizado

- Hadoop

- Spark Desenvolvimento de ETL e ELT

Sistemas transacionais

Bancos de Dados Relacionais e SGBD

Business Intelligence (BI)

Feature Store - Compondo variáveis para BI

- Compondo variáveis para Analytics (Análise e Ciência de Dados) Introdução a NoSQL

Introdução a Grafos

Automação e Orquestração de pipeline de dados

Monitoramento de Dados

Data Lineage

Esteira Continuous Integration (CI)/ Continuous Delivery (CD)

DataOps

Arquitetura para Streaming de Dados

Fundamentos de LGPD

• Conceitos Iniciais
• Criando DAGs
• Orquestrando ETL
• Orquestrando Pipeline em Cluster EMR
• Configurando Airflow em EC2 da AWS
  
  

Ética e LGPD do ponto de vista jurídico que atende áreas de tecnologia!

Conceitos básicos de estatística

Medidas de tendência central e dispersão

Gráficos estatísticos

Análise descritiva e outliers

Percentis e a frequência acumulada

Análise exploratória

Conceitos de amostragem

Probabilidade - modelos de distribuição

Noções de medidas de associação e correlação

Processo de análise estatística - testes estatísticos

Teste de hipótese paramétrico e não paramétrico

Processo inferencial (Clássica e Bayesiana)

Teoria dos Conjuntos

Vetores Matrizes Determinantes

Logaritmo Introdução ao Cálculo numérico

- Funções

- Limites

- Derivadas

- Função Gradiente

- Backpropagation

• O que é ciência de dados Qual a diferença entre Analista de Dados e Cientista de Dados
• Qual é o papel de um cientista de dados em uma empresa ou organização
• Quais são as habilidades necessárias para se tornar um Analista de Dados e Cientista de Dados
• Quais são as principais ferramentas e tecnologias usadas pelos analistas e cientistas de dados
• Como é o mercado de trabalho para analistas e cientistas de dados
• Como é a remuneração média para profissionais de análise e ciência de dados
• Formação específica em áreas relacionadas para seguir essa carreira e outros pré requisitos
• Certificações prévias para se tornar um cientista de dados

• O que são Negócios
• Como são as áreas de negócios nas empresas
• Segmentos de Negócios:
  - Financeiro (Análise de Dados para Crédito, Fraude e Cobrança)
  - Jurídico (Jurimetria)
  - Saúde (Análise de Dados de Prontuário, Classificações, Imagem)
  - CRM (Análise de Personas, Propensão à contratação de Produtos)
  - RH (People Analytics)
  - Varejo (Precificação, Análise e Projeção de Demanda, Projeção de Estoque, Otimização de Metas de Vendas)
  - Indústria (Análise de Dados para Predição de Falhas em Sistemas)
• Desafios de Negócios:
  - Aumento de Faturamento
  - Redução de Custos
  - Construção de cenários para tomada de decisão
  - Acompanhamento de Indicadores
• Problemas reais e possíveis soluções:
  -Concessão de Crédito
  -Análise de Limite de Cartão de Crédito
  -Avaliação de transações Fraudulentas
  -Otimização de Metas de Vendas
  -Criação de Personas para Oferta de produtos ou contratação de pessoas
  -Oferta de produto para clientes propensos à compra
  -Ordenação de pessoas ou itens para ações, por exemplo ação de cobrança
  -Análise de Churn (perda de clientes)
• Geração de valor nos Negócios:
  -Custos vs resultados
• Comunicação executiva
  -Apresentação dos resultados
  -Ancoragem de Valor do Projeto (para gestores)
  -Busca por Orçamento (para gestores)
  -Visibilidade ao Projeto e à Equipe (para gestores)

Excel e/ou Google Sheets

Word e/ou Google Docs

Power Point e/ou Google Apresentações

Google Collab

Anaconda

GitHub

Kaggle

ChatGPT

Google

• Conceito de Tabela de Dados
• Consultas a tabelas de Bancos de Dados
• Exploração de dados com queries SQL
• Exploração de dados com Spark SQL
• Exploração de dados com Python

• Escopo da Engenharia de Dados
• O que são Dados
• Tipos de Dados
• Fontes de Dados
• Conceitos de ETL (Extração Transformação e Carga)
• Arquiteturas de Dados mais utilizadas para Ciência de Dados:
• Data Lake
• Data Warehouse
• Data Lakehouse
• Data Mesh
• Data Fabric
• Feature Store
• Formatos de Dados e tipos de uso
  - CSV
  - PARQUET
  - XLSX
  - JSON
• Como trabalhar com diferentes volumetrias de Dados
• Python/Pandas vs PySpark
• Ferramentas para processamento de dados volumosos
• Spark/PySpark
• SQL

• Desenvolvimento de Análise de Dados
• Entendimento do Framework CRISP-DM
• O que nossa análise vai responder ?
• O que será resolvido ?
• Quais dados serão utilizados ?
• Exploração e tratamento dos dados
• Análise e solução
• Avaliação da solução
• Implantação da Solução
• Conceito de Tabela Analítica de Público de Estudo
• Seleção do Público
• Conceito de amostragem
• Explorando os dados
• Fundamentos da Análise de dados
• Introdução e Contextualização (Objetivo da análise)
• Inspeção dos Dados
• Desenvolvendo Metadados
• Análise dos valores nulos (Missings)
• Medir
• Deletar linhas
• Deletar colunas
• Imputação
• Análise Preliminar (Estatística Descritiva)
• Análise Unidimensional
• Variáveis Categóricas
• Variáveis Numéricas
• Análise Geográfica
• GeoPandas
  
  

• Análise Bidimensional
• Relações entre variáveis
• Análise Multidimensional
• Análise de Correlação
• Pearson
• Apresentação de resultados técnicos
• Visualização de Dados no Notebook
  pandas_profilling
  sweetviz
• Teste A/B
• Apresentação de resultados de negócio
• Montando um PPT com resultados de negócio
• Revisão Corr Pearson e Distribuição de Dados
• Implementação de projeto de Dados em Streamlit
• Construindo Dashboard no Metabase
• Consultas a tabelas de Bancos de Dados
• Exploração de dados com queries SQL
• Dashboard para apresentação de
• Resultados
• Visões e insights de Negócio
  
  

Introdução ao Aprendizado de Máquina (Machine Learning)

Preparação de Dados - Criando variáveis explicativas (ED)

Conceito de variáveis agregadas a partir dos dados transacionais

Conceito de variáveis com profundidade temporal

Conceito de defasagem temporal dos dados

Criação da variável resposta:

- Crédito

- Fraude

- Cobrança

- Churn

- Propensão

Preparação de Dados para análises e algoritmos de ML:

- Conceito de Metadados

- Normalizações

- Padronizações

- Analise de outliers

- Análise da Cardinalidade

- OneHot Encoding

- Label Encoding

- Target Encoding

- WoE Encoding

- Transformações de Variáveis

- Linearidade com log da Odds (Regressão Logística)

Categorização de Variáveis contínuas

Análise de estabilidade temporal das variáveis categóricas (taxa de evento para target binário)

Análise de ordenação das categorias por taxa de evento (target binário)

Conceito de Feature Store

Seleção de Variáveis:

- Corte por % de Valores Nulos (Missings),

- Variância,

- Feature Importance,

- Boruta,

- Correlação de Pearson

- Information Value (Target Binário)

Redução de dimensionalidade - PCA:

- Foco em Visualização de Dados

- Foco em Seleção de Variáveis

- Combinando PCA + IV para seleção de Variáveis (Target Binário)

Modelos Supervisionados - Problemas de Classificação

Principais algoritmos:

- Árvores de Decisão

- Regressão Logística

- Random Forest

- LightGBM

- XGBoost

- CatBoost

- KNN

- Redes Neurais - MLP

- SVM

- Stacking e Blend de Modelos

- AutoML com Pycaret

Modelos Não Supervisionados - Problemas de Segmentação (Clustering)

- K-Means

- DBSCAN

- Hierárquico (Agglomerative Clustering)

- Mistura Gaussiana (Gaussian Mixture Model - GMM)

- Spectral Clustering

- AutoML com Pycaret

- Clássica: Média Móvel, ARIMA, SARIMA

- Machine Learning (Algoritmos para Regressão)

- Deep Learning: LSTM

Análise de Desempenho dos Modelos

Análise de Estabilidade dos Modelos

Análise de Aderência aos negócios

Exemplo de Arquitetura para Monitoramento de Modelos

Indicadores para Monitoramento de Modelos

Construção de Dashboard para Monitoramento de Modelos Estatísticos

Conceito do GitFlow

Conceito DataOps e MLOps

Organização de Equipes e Projetos Aplicabilidade MLOps para entregas em Machine Learning Monitormento de dados e modelos em produção

Data and Models Pipeline MLOps Management (Validation, Data Rules, Data Quality, Model Quality, Versioning)

Quality, Versioning)

Ética e explicabilidade de algoritmos de machine learning, do ponto de vista jurídico. O que está por vir ? Como devemos estruturar nossos processos para suportar esta demanda que está por vir?

• Análise de Crédito: Solução Tradicional e técnicas avançadas de Machine Learning;
• People Analytics para RH e CRM: Utilizando Machine Learning para encontrar Personas para seu negócio;
• Prevenção a Fraudes: Utilizando técnicas avançadas de Machine Learning;
• Previsão de Demandas: Utilizando Machine Learning otimizar metas, orçamento, estoque e demandas do seu negócio;
• Criando Chatbot com GenAI: Processo completo de criação de um chatbot aplicado ao seu negócio

• Web Scraping: Extração de Dados Públicos da Receita Federal
• Construindo um Data Lake: Para democratização de dados na empresa;
• Automações com Bot: Automações nos processos de engenharia de dados aplicado ao seu negócio;
• Streaming de Dados em Tempo Real: Construindo um ETL contínuo e dashboards em tempo real com arquitetura streaming.

Fundamentos da Carreira 

Como montar um portfólio de sucesso?

Montando um currículo de sucesso

Preparando para entrevista 

Comunicação Assertiva e Oratória

Contando sua solução através de um storytelling de valor

• Serviços para Dados: Cloud Storage, Dataproc, BigQuery, BigQuery (como consulta direta no armazenamento), Cloud SQL e Cloud Functions.
• Serviços para Analytics: Dataproc e Vertex AI.
• Orquestração e Monitoramento: Cloud Monitoring, Cloud Functions.
• Segurança: Secret Manager, Cloud KMS.
• Escalabilidade: Cloud Load Balancer.
• Automação: Cloud Functions.
• Desenho de Arquitetura Big Data & Analytics: exemplo de um Data Lake com uso de Big Data e Analytics sendo feito pelo Dataproc e Vertex AI.
• Custos: Montar uma calculadora simples para estimar custos de um Data Lake.
• Vertex AI
• BigQuery
• Looker
• Firestore
• BigQuery

Super Hakathon para desenvolver uma solução de um problema, utilizando dados reais. 

A PoD Academy faz parceria com empresas relevantes do mercado para essa finalidade. 

Todos os alunos participam de um cenário que ensina o dia a dia do mundo corporativo, gestão de projetos, comunicação entre áreas técnicas e de negócios. 

Os grupos são avaliados por uma banca de executivos do mercado.

A Turma 0125 terá sua Aula Inaugural no dia 28/01 às 20h e a primeira sessão ao vivo de Ciência de Dados e Engenharia de Dados será no dia 18/02, às 20h.

O curso é online. Assim que você adquire, já pode ter acesso às 550 horas de conteúdo. Também possui sessões mensais ao vivo no primeiro ano de acesso. 

Boleto, PIX ou Cartão de Crédito. Caso precise, entre em contato com a nossa equipe de Relacionamento no whatsapp. 

Para te entregar segurança técnica e prática, a PoD Academy oferece um evento anual para os alunos Full Stack:o Super Hackathon resolvendo um problema real, com dados reais em parceria com uma empresa real do mercado. Todos os alunos participam de uma simulação do mundo corporativo real e são avaliados por uma Banca de executivos do mercado. 

Não. Na Formação Full Stack Dados & Analytics você conta com conteúdos que vão do conhecimento zero em programação e matemática, até o avançado. 

Não. Esta é uma Formação completa. Aqui, os módulos são complementares e vendidos juntos. 

Sim, além das formas de pagamento oferecidas, temos outras formas de pagamento facilitado (sujeito a análise de crédito). Clique no botão do nosso WhatsApp que a nossa equipe irá atender você.

As aulas são gravadas e já estão todas disponíveis na plataforma para você assistir. Mensalmente, a Turma 0125 terá sessões ao vivo com os professores de Ciência de Dados e Engenharia de Dados. 

Temos pacotes com preços especiais para equipes empresariais no curso atual. Entre em contato pelo e-mail tamara.jardim@podacademy.com.br, com o assunto [Formação para Empresas]