Transformação e Análise de Dados Públicos dos Centros dias

Este projeto foi desenvolvido durante um trabalho de Freelancer solicitado para análise e transformação de dados.

Devido a ser um trabalho particular, a planilha desenvolvida é de propriedade do cliente solicitante, por isso ela não será demonstrada na seção de resultados, porém colocarei breves recortes.

O cliente não solicitou neste trabalho um relatório técnico de análise de dados, mas sim a criação de diversos tipos de gráficos e tabelas, para assim ele montar o relatório conforme sua necessidade.

Abaixo vou detalhar todo o processo de senvolvidos, ferramentas utilizadas, gráficos, fórmulas etc.

Jorge (nome fictício) solicitou o seguinte:

"Os centros dias são modalidades institucionais direcionadas a diferentes públicos etários. Preciso analisar apenas as unidades que atendem pessoas idosas entre os anos de 2019 e 2023. Diante desse recorte, quero coletar as variáveis abaixo, com as respectivas tabelas e gráficos geradas para as análises, mantendo em todas as tabelas e gráficos variações da cor azul.

Para elaborar as variáveis que preciso responder, utilizei como base o questionário de 2023, logo algumas das variáveis deste ano podem estar ausenter nos demais anos anteriores, precisando assim de adaptações na fonte de dados.

Blocos 01 e 02 - Identificação e caracterização da unidade

• Variável 01 - UF das unidades
• Variável 02 - Municípios das unidades
• Variável 03 - Gestão estadual ou municipal
• Variável 04 - Natureza da unidade - governamental ou não governamental
• Variável 05 - A unidade recebe recursos financeiros da Assistência Social?
• Variável 06 - Inscrição/registro em conselhos

BLOCOS 03 e 04 - Estrutura física e Serviços e Atividades

• Variável 07 - Condições de acessibilidade para pessoas com deficiência e pessoas idosas
• Variável 08 - Presença de transporte público na área de localização da unidade
• Variável 09 - Capacidade de atendimento por turno
• Variável 10 - Quantos dias por semana os idosos frequentam a unidade?
• Variável 11 - Quantas horas por dia os idosos permanecem na unidade?
• Variável 12 - Presença de lista de espera de usuários

BLOCO 05 - Perfil dos usuários

• Variável 13 - Número de idosos com deficiência ou dependência atendidos
• Variável 14 - Quantidade de pessoas por tipo de deficiência listada

I. Coleta de dados

1. Fiz a coleta dos dados referente aos 5 anos que vão ser analisados.
2. Montei uma estrutura de pastas para facilitar o acesso entre os dados coletados.

II. Estudo inicial dos dados

1. Cada ano possui sua estrutura de dados disponibilizados, com isso foi necessário identificar os questionários aplicados e a fonte de dados das respostas coletas.

Em 2023 foram disponibilizados 24 arquivos.

Em 2022, 22 arquivos.

Em 2021, 21 arquivos.

Em 2020, 23 arquivos.

Em 2019, 21 arquivos.

2. Entre os arquivos disponibilizados, cada ano possuia uma fonte de dados com as respostas da coleta dos questionários aplicados.

   Em todos os anos, a fonte de dados de cada ano foi disponibilizado nas extensões ".csv", ".sav" e ".xlsx".

3. Em cada ano foi aplicado um questionário único, onde foram alterados as estruturas, ordem das questões, incluído ou removido questões ou alterado as opções das respostas.
4. Sobre as variáveis existentes em cada fonte de dados:

   Em 2023 a fonte de dados possui 563 variáveis (colunas).

   Em 2022 e 2021, cada um possui 663 variáveis.

   Em 2020, 668 variáveis.

   Em 2019, 571 variáveis.

5. Em todos os anos foram disponibilizados um dicionário para as fontes de dados.
6. Antes de iniciar com o processo de transformação dos dados para a análise, foi necessário identificar todas as variáveis solicitadas pelo cliente em todas as fonte de dados, para este processo foi desenvolvida uma documentação no Notion para guiar todo o trabalho.

III. Organização e pré-transformação dos dados

1. Após identificar cada uma das variáveis, coletei as 5 fonte de dados, coloquei todas elas em um mesmo diretório e renomiei cada uma delas para o respectivo ano (2023, 2022, ...).
2. Com os diretório organizado, criei um arquivo no Excel que será o responsável pela transformação dos dados e geração de uma fonte de dados limpa e organizada.
3. Para a transformação dos dados foi escolhido as ferramentas:

   Power Query: Que é uma ferramenta poderosa de transformação de dados.

   Python com Pandas: Para os ajustes finais e unificação dos dados.

Transformação dos dados

1. No power Query, foram ajustados:

   1. O tipo dos dados das variáveis utilizadas;

   2. Renomeado as variáveis utilizadas padronizando os 5 anos.

   3. Muitas respostas foram armazenadas em formato numérico, com isso precisei substituir os valores para facilitar a identificação das alternativas respondidas.

   4. Gerado 5 fontes de dados limpas e organizadas para cada ano.

   
2. Após a geração das novas fonte de dados, migrei o processo de transformação para o Python devido a facilidade em remover todas as colunas não utilizadas e mesclar a fonte de dados em um único arquivo. Para isso, segui as etapas:

   1. Importação dos daos no Jupyter Notebook.

   2. Criado um dataframe apenas com as variáveis desejadas que já estavam organizadas na documentação do Notion.

   3. Feito a mesclagem dos dados para uma única fonte de dados.

   4. Exportado o novo arquivo para o Excel.

   Abaixo coloco parte do código utilizados:

   
3. Na nova fonte de dados, temos agora apenas 45 colunas que vão ser utilizadas para responder as variáveis do cliente.

Análise do dados

1. Como o cliente solicitou que a entrega fosse realizada no Excel, toda a análise de dados foi realizada nele.
2. No Excel, foi criado uma aba "Sobre" com explicação de todo o projeto.
3. Cada variável solicitada foi analisada em uma aba do Excel.
   
4. Foi entregue junto com a análise a fonte de dados limpa e organizada.
   
5. Em cada variável, foram geradas tabelas quantitativas, percentuais e de variações ao ano, assim como gráficos para todas as tabelas.
6. Para as tabelas quantitativas, foram gerados 2 gráficos de barras com os eixos invertidos, para o cliente escolher qual deseja utilizar em sua redação.
   
7. Para as tabelas percentuais, foram gerados gráficos de barras empilhadas e, para aquelas tabelas com poucas variáveis, também foram gerados gráficos de setores.
   
8. Para todas as variáveis foram geradas tabelas de variação percentual entre os anos.
   
9. Algumas variáveis continham dados geográficos na análise, e para essas foram gerados mapas de calor com as quantidades. Para todas as variáveis foram geradas tabelas de variação percentual entre os anos.
   
10. Para todas as variáveis foram disponibilizados informações sobre o estudo, orientações das tabelas e fornecidos insights importantes.
    
11. No término da análise, o documento do Excel ficou com 159 tabelas e 214 gráficos.
    

O trabalho foi um sucesso, o cliente ficou muito satisfeito e forneceu um bom feedback.