Implantação de Data Lake e Visualização de Dados para auditoria pública na Controladoria-Geral do Estado de Mato Grosso

Eduardo William Alves Osti; Roberto Benedito de Oliveira Pereira; Jonathas Eide Fujii; Josiel Maimone de Figueiredo

doi:10.22481/recic.v8i1.19165

Authors

Eduardo William Alves Osti Universidade Federal de Mato Grosso https://orcid.org/0009-0001-4469-0387
Roberto Benedito de Oliveira Pereira Universidade Federal de Mato Grosso https://orcid.org/0009-0000-8361-0071
Jonathas Eide Fujii Universidade Federal de Mato Grosso https://orcid.org/0009-0006-6239-9530
Josiel Maimone de Figueiredo Universidade Federal de Mato Grosso https://orcid.org/0000-0001-8569-7684

DOI:

https://doi.org/10.22481/recic.v8i1.19165

Keywords:

data lake, public audit, data analysis

Abstract

This study presents the implementation and evaluation of a Data Lake at the Controladoria-Geral do Estado de Mato Grosso (CGE-MT), with the objective of optimizing auditing processes and data analysis. The set of open-source systems that make up the environment (such as Apache HDFS, Spark, and Trino) was introduced, followed by an evaluation based on two criteria: technical and operational. The results demonstrated that the implemented infrastructure proved to be efficient for data analysis activities, providing a secure environment for data storage and processing while ensuring data integrity. Furthermore, built on the Data Lake, CGE-MT developed the “CGE Alerta” system, which enabled a 51% reduction in absenteeism-related irregularities across the State Secretariats of Mato Grosso and automated monitoring processes. The long-term viability of the solution was also demonstrated, as the available storage capacity allows for approximately 15 years of data retention without the need for immediate investments.

Downloads

Download data is not yet available.

Author Biographies

Eduardo William Alves Osti, Universidade Federal de Mato Grosso

Especialista em Banco de Dados com mais de 5 anos de experiência profissional na administração de bancos de dados Oracle e tecnologias de Big Data. É graduado em Ciência da Computação pela Faculdade Invest de Ciências e Tecnologia (2017), com especializações em Banco de Dados (2019) e em Gestão e Ciência de Dados (2025) pela Universidade Federal de Mato Grosso (UFMT), onde também atua como mestrando em Computação Aplicada (com previsão de conclusão em 2026). Possui a certificação Oracle Autonomous Database Cloud Certified Professional, com domínio em Oracle Cloud Infrastructure (OCI), Oracle Enterprise Manager, Dataguard, ASM e RAC. Atua na Controladoria-Geral do Estado de Mato Grosso (CGE-MT) como Administrador de Banco de Dados Sênior, sendo responsável pela implantação e gerenciamento de ambientes de Data Lake utilizados no sistema "CGE Alerta", referência nacional em cruzamento de dados para auditoria governamental. Tem experiência em ecossistemas como Apache Hadoop, Spark, Iceberg, Ranger e Project Nessie, além da administração de SGBDs como PostgreSQL, MariaDB e SQL Server. Possui ampla vivência em análise de desempenho (tuning), migração de bases de dados e desenvolvimento em PL/SQL. É proficiente em sistemas Linux e outras tecnologias de infraestrutura, com um histórico sólido de entregas de alta qualidade em projetos que demandam inovação, eficiência e segurança na gestão de dados.

Roberto Benedito de Oliveira Pereira, Universidade Federal de Mato Grosso

Professor no Instituto de Computação da Universidade Federal de Mato Grosso desde 2010. Graduado em Ciência da Computação. Em meu doutorado, finalizado em 2013, desenvolvi um sistema embarcado para coleta de dados microclimáticos georreferenciado para estudo de microclima pelo programa de pós-graduação em Física Ambiental da UFMT. Tenho experiência na área de Ciência da Computação, com ênfase em Banco de dados, Redes de Computadores e Hardware, atuando principalmente nos seguintes temas: Banco de dados e redes de computadores. Minhas aptidões são: Capacidade de síntese , Criatividade, Flexibilidade, Liderança e Oratório. Meus últimos trabalhos científicos são: - Análise de Desempenho do banco de dados SQL Server em Infraestruturas On Premise e Cloud publicado na Revista Eletrônica da Faculdade Invest de Ciências e Tecnologia., v.5, p.14, 2021. - Análise de desempenho de banco de dados: postgresql padrão e um cluster utilizando o postgres-bdr publicado na revista profiscientia (cuiabá), v.1, p.88-108, 2020. - Monitoramento proativo e gerenciamento de rede da UFMT, usando a ferramenta Zabbix / Proactive monitoring and network management at UFMT, using the Zabbix tool publicado em Brazilian Journal of Development. , v.6, p.38139-38146, 2020. Livros publicados são: - Monitoramento de um ambiente computacional utilizando zabbix em contêineres docker. Editora Novas Edições Acadêmicas, 2021. - Alta Disponibilidade em Containers Docker por meio do Docker Swarm. Editora Novas Edições Acadêmicas, 2019. - Proposta de práticas criptográficas para internet das coisas. Latvia, European Union: Novas Edições Acadêmicas, 2019. - Um Sistema De Coleta E Armazenamento De Dados Com Arduino. Latvia, European Union: Novas Edições Acadêmicas, 2018.

Jonathas Eide Fujii, Universidade Federal de Mato Grosso

Graduado em Ciência da Computação e especialista em Auditoria Pública, Licitações, Gerenciamento de Projetos e Gestão de TI. Auditor do Estado na CGE-MT, atua na integração de dados, trilhas de auditoria e desenvolvimento de sistemas de monitoramento contínuo como o SARA Lakehouse e o CGE Alerta. Seu interesse de pesquisa envolve análise de dados, inteligência artificial aplicada à auditoria contínua, prevenção de fraudes e governança pública orientada por dados.

Josiel Maimone de Figueiredo, Universidade Federal de Mato Grosso

Professor Titular do Instituto de Computação da Universidade Federal de Mato Grosso (IC-UFMT), onde atua no Programa de Pós-graduação em Computação Aplicada (PPGComp) e também no Programa de Pós-Graduação em Propriedade Intelectual e Transferência de Tecnologia para a Inovação (PROFNIT). Na graduação ministra aulas principalmente para os Cursos de Ciência da Computação e Sistemas de Informação. Desenvolve pesquisas na área de Ciência da Computação, com ênfase em banco de dados,blockchain, tratamento de dados ambientais, dados semi-estruturados, dados textuais, big data e software livre. Possui graduação em Engenharia de Computação pela Universidade Federal de São Carlos - UFSCar (1998); mestrado em Ciência da Computação, com ênfase em Banco de Dados, pela Universidade Federal de São Carlos (2000); doutorado em Ciências da Computação e Matemática Computacional, com ênfase em Banco de Dados, pela Universidade de São Paulo - USP (2005); e Pós-doutorado no Departamento de Ciência da Computação da Universidade de Sheffield, Inglaterra(2018) e também no Departamento de Computação da Imperial College (Londres).

References

Apache Airflow, “What is Airflow?,” Apache Airflow Documentation, 2024. [Online]. Available: https://airflow.apache.org/docs/apache-airflow/stable/. Accessed: Nov. 6, 2024.

K. Shvachko, H. Kuang, S. Radia and R. Chansler, "The Hadoop Distributed File System," 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST), Incline Village, NV, USA, 2010, pp. 1-10.

J. Schneider, C. Gröger, A. Lutsch, et al., “The Lakehouse: State of the Art on Concepts and Technologies,” SN Computer Science, vol. 5, p. 449, 2024.

M. Zaharia et al., “Resilient distributed datasets: A Fault-Tolerant abstraction for In-Memory cluster computing,” in 9th USENIX Symposium on Networked Systems Design and Implementation (NSDI 12), San Jose, CA, USA, 2012, pp. 15-28.

C. Avci, B. Tekinerdogan, and I. N. Athanasiadis, “Software architectures for big data: a systematic literature review,” Big Data Analytics, vol. 5, no. 1, p. 5, 2020.

A. R. E. Da Silva et al., “Análise da relevância da arquitetura de implementação de Delta Lake para banco de dados empresariais,” 2024.

D. Borges, “CGE Alerta transforma gestão pública em 2024 e reduz pendências em até 51%,” 2025. [Online]. Available: https://www.cge.mt.gov.br/w/cge-alerta-transforma-gest%C3%A3o-p%C3%BAblica-em-2024-e-reduz-pend%C3%AAncias-em-at%C3%A9-51-/. Accessed: Mar. 3, 2025.

Dremio, “Project Nessie,” 2024. [Online]. Available: https://www.dremio.com/open-source/nessie/. Accessed: Nov. 6, 2024.

S. Fanelli et al., “Big data analysis for decision-making processes: challenges and opportunities for the management of health-care organizations,” Management Research Review, vol. 46, no. 3, pp. 369–389, 2023.

G. Boscov, “Mato Grosso é destaque no SECOP 2023: Excelência em Governo Digital,” Secretaria de Estado de Meio Ambiente, Desenvolvimento Sustentável e Turismo (MTI), Cuiabá, MT, 4 set. 2023. Online. Available: https://www.mti.mt.gov.br/-/mato-grosso-é-destaque-no-secop-2023-excelência-em-governo-digital. Accessed: Apr. 14, 2026.

T. Kluyver et al., “Jupyter Notebooks-a publishing format for reproducible computational workflows,” in Positioning and Power in Academic Publishing: Players, Agents and Agendas, 20th International Conference on Electronic Publishing, IOS Press, 2016, pp. 87-90.

T. Kafel, A. Wodecka-Hyjek, and R. Kusa, “Multidimensional public sector organizations' digital maturity model,” Administration & Public Management Review, vol. 37, pp. 64-82, 2021.

D. D. H. Ameen, S. W. Kareem, and S. B. Hasan, “A Big Data, Bigger Impact: A Comprehensive Review of Machine Learning Advancements,” in 2024 International Conference on Electrical Engineering and Computer Science (ICECOS), IEEE, 2024, pp. 1-6.

O. M. Ribeiro and J. M. R. Coelho, Auditoria fácil, 2. ed. São Paulo: Saraiva, 2013.

M. Santos, “O impacto das novas tecnologias na profissão do auditor,” KPMG Business Magazine, vol. 46, pp. 16-21, 2019.

L. Silveira, “CGE lança sistema que permite monitoramento e correção proativa de questões administrativas,” 2024. [Online]. Available: https://www.mti.mt.gov.br/-/cge-lan%C3%A7a-sistema-que-permite-monitoramento-e-corre%C3%A7%C3%A3o-proativa-de-quest%C3%B5es-administrativas/. Accessed: Mar. 3, 2025.

D. Appelbaum et al., “Impact of business analytics and enterprise systems on managerial accounting,” International Journal of Accounting Information Systems, vol. 25, pp. 29-44, 2017.

Trino, “Trino 464 Documentation.” [Online]. Available: https://trino.io/docs/current/overview/use-cases.html/. Accessed: Nov. 6, 2024.

R. Sethi et al., “Presto: SQL on everything,” in 2019 IEEE 35th International Conference on Data Engineering (ICDE), IEEE, 2019, pp. 1802-1813.