CRIAÇÃO DE UMA BASE DE VALORES IMOBILIÁRIOS GEO-REFERENCIADOS A PARTIR DA EXTRAÇÃO DE DADOS DA INTERNET

Matheus Aparecido da Silva Roberto, André Koscianski

Resumo


Estão disponíveis na Internet muitas informações de interesse financeiro, porém na maioria dos casos são apresentadas de maneira não adequada para processamento digital. Um caso particular são valores de mercado imobiliário, essenciais em várias tarefas de administração pública e do setor privado. O trabalho teve o objetivo de apresentar técnicas para criar uma base de valores imobiliários geo-referenciados e uma visão geral de uma solução computacional implementada, que pode ser adaptada a situações similares. Como resultados gerou-se uma base de dados imobiliários para a cidade de Ponta Grossa no Paraná, com inicialmente 20 mil registros, com uma taxa de aproveitamento em torno de 90%. Em conclusão, o baixo custo de desenvolvimento e a efetividade do software confirmaram a utilidade desse tipo de solução.

Texto completo:

PDF

Referências


Aggarwal, C. C., Zhai, C. X., Mining text data, Springer Science & Business Media, 2012.

AIJUN, X.; LICHUAN, G. Encoding & decoding of Chinese address and development of algorithms for intelligent address search. 2010 International Conference on Computer Application and System Modeling. Anais...IEEE, out. 2010. Disponível em: . Acesso em: 03 fev 2021.

Arruda, C.; Rossi, A.; Penido, E., Buscapé: Do empreendendorismo à inovação aberta, Casos FDC, 2011.

Bartels, P., Breitner, M. H., Finance applications with the web mining software agent PISA. In Impulse aus der Wirtschaftsinformatik , p. 135-149, 2004.

BATISTA, B. Aprenda por definitivo a usar CSS Selector(Adeus Xpath). Disponível em: . Acesso em: 03 fev 2021.

BATISTA, J. DA S.; XAVIER, E. S. Criação de um banco de dados não relacional a partir de informação extraída de textosPonta GrossaUniversidade Tecnológica Federal do Paraná, , 29 maio 2018. Disponível em: . Acesso em: 12 fev 2021

BHARANIPRIYA, V.; PRASAD, V. K. WEB CONTENT MINING TOOLS: A COMPARATIVE STUDYInternational Journal of Information Technology. [s.l: s.n.]. Disponível em: . Acesso em: 03 fev 2021.

Blazquez, D., Domenech, J., Big Data sources and methods for social and economic analyses, Technological Forecasting and Social Change, v. 130, p. 99-113, 2018.

Brin, S., Extracting patterns and relations from the world wide web. In International Workshop on The World Wide Web and Databases, Springer, Berlin, Heidelberg, p. 172-183, 1998.

BUSCAPÉ COMPANY INFORMAÇÃO E TECNOLOGIA LTDA. Buscapé - Conheça o Buscapé. Disponível em: . Acesso em: 03 mar 2020.

CASCÓN-KATCHADOURIAN, J.; RUIZ-RODRÍGUEZ, A.-Á.; ALBERICH-PASCUAL, J. Uses and applications of georeferencing and geolocation in old cartographic and photographic document management. El Profesional de la Información, v. 27, n. 1, p. 202, 2018.

Castilho, S. D., Franzoso, L. F. F., Análise de Ferramentas e Processos Utilizados em Levantamento Georreferenciado, RETEC-Revista de Tecnologias, v. 7, n. 1, 2015

Cellmer, R., Szczepankowska, K., Simulation modeling in a real estate market, In Proceedings of the International Conference on Environmental Engineering. ICEE, v. 9, Vilnius Gediminas Technical University, Department of Construction Economics & Property, 2014.

CHEN, Z.-H. et al. Big data: Open data and realty website analysis. 2015 8th International Conference on Ubi-Media Computing (UMEDIA). Anais...IEEE, ago. 2015Disponível em: . Acesso em: 24 jun. 2020

CIDADE DE SÃO PAULO. CopiCola. Disponível em: . Acesso em: 28 nov. 2020.

CIEPŁUCH, B. et al. Comparison of the accuracy of OpenStreetMap for Ireland with Google Maps and Bing Maps. Proceedings of the Ninth International Symposium on Spatial Accuracy Assessment in Natural Resuorces and Enviromental Sciences 20-23rd July 2010, p. 337–341, 20 jul. 2010.

COELHO, A. L. N. Sistema De Informações Geográficas (Sig) Como Suporte Na Elaboração De Planos Diretores Municipais, Caminhos De Geografia, v. 10, n. 30, p. 93–110, 2009.

COHEN, A. FuzzyWuzzy: Fuzzy String Matching in Python - ChairNerd. Disponível em: . Acesso em: 2 jul. 2020.

COMPUTERWORLD. Prefeitura de São Bernardo reduz burocracia com transformação digital | Computerworld. Disponível em: . Acesso em: 28 nov. 2020.

Corrêa, T., Costa, C., Souza, M. G., & Brites, R. S., Delimitação e caracterização de áreas de preservação permanente por meio de um sistema de informações geográficas (SIG). Revista Árvore, v. 20, n. 1, p. 129-135, 1996.

Crouse, D. F. An Overview of Major Terrestrial, Celestial, and Temporal Coordinate Systems for Target Tracking. No. NRL/FR/5344-16-10. Naval Research Lab, Washington DC Surveillance Technology Branch, 2016.

CUNHA, J. F. T; Silva, W. F.; Talon, A. F., Aplicação da Técnica de Mineração de Dados na Análise de Processos Jurídicos do Estado de São Paulo. Caderno de Estudos Tecnológicos, v. 1, n. 1, 2013.

DESAI, K. et al. Web Crawler : Review of Different Types of Web Crawler, Its Issues, Applications and Research Opportunities. International Journal of Advanced Research in Computer Science, v. 8, n. 3, p. 1199–1202, 2017.

Dolgert, A., Gibbons, L., Kuznetsov, V., Rapid web development using AJAX and Python. Journal of Physics: Conference Series, v.119, n. 4, IOP Publishing, 2008.

E-GESTÃO PÚBLICA. O que é preciso para digitalizar a gestão de prefeitura? Disponível em: . Acesso em: 28 nov. 2020.

FAROOQ, B.; HUSAIN, M. S.; SUAIB, M. CRAWLING OF JAPANESE REAL-ESTATE WEBSITES USING SCRAPY. International Journal of Advanced Research in Computer Science. Anais...2018Disponível em: . Acesso em: 23 set. 2020.

FERRARA, E. et al. Web data extraction, applications and techniques: A survey. Knowledge-Based Systems, v. 70, p. 301–323, 2014.

FERREIRA, R. V.; RAFFO, J. DA G. O USO DOS SISTEMAS DE INFORMAÇÃO GEOGRÁFICA (SIG) NO ESTUDO DA ACESSIBILIDADE FÍSICA AOS SERVIÇOS DE SAÚDE PELA POPULAÇÃO RURAL: REVISÃO DA LITERATURA. Revista Brasileira de Geografia Médica e da Saúde, v. 8, n. 15, p. 178–189, 2012.

FETTERLY, D.; MANASSE, M.; NAJORK, M. A Large-Scale Study of the Evolution of Web Pages. Software: Practice & Experience, v. 34, n. 2, p. 213–237, 2004.

FITZ, P. R. Geoprocessamento Sem Complicação. Oficina de Textos ed. São Paulo: Oficina de Textos, 2008.

FLORCZYK, A. J. et al. Semantic selection of georeferencing services for urban management. Electronic Journal of Information Technology in Construction, v. 15, p. 111–121, 2010.

FOURSQUARE. Foursquare - A empresa confiável de inteligência de dados de localização. Disponível em: . Acesso em: 30 jul. 2020.

FUNDAÇÃO OPENSTREETMAP. OpenStreetMap. Disponível em: . Acesso em: 30 nov. 2020.

GEOPY, C. Welcome to GeoPy’s documentation! Disponível em: . Acesso em: 17 set. 2020.

GLEZ-PEÑA, D. et al. Web scraping technologies in an API world. Briefings in Bioinformatics, v. 15, n. 5, p. 788–797, 30 abr. 2013.

Gómez-Pérez, A, Corcho, O. Ontology languages for the semantic web, IEEE Intelligent systems, v. 17, n. 1, p. 54-60, 2002.

GOOGLE INC. Google. Disponível em: . Acesso em: 30 nov. 2020.

GOOGLE MAPS, P. Plataforma do Google Maps | Google Developers. Disponível em: . Acesso em: 4 nov. 2020.

GREEN, D. Prefeitura de São Cristóvão é Pioneira na Digitalização dos Documentos. Disponível em: . Acesso em: 28 nov. 2019.

GUIMARÃES, J. W. Elaboração e construção de um protótipo mínimo viável para o Tingoram : um sistema de mineração de dados web baseado em georreferenciamento para sugestão semi automatizada de doação de alimentos. 2018.

Gregg, D. G., Walczak, S. Adaptive web information extraction, Communications of the ACM, v. 49, n. 5, p. 78-84, 2006.

Haklay, M., Weber, P., Openstreetmap: User-generated street maps, IEEE Pervasive Computing, v. 7, n. 4, p. 12-18, 2008.

HIGOUNET, C. História Concisa da Escrita. Ed. Parábola, 2003.

IDEAL MARKETING. O que é sitemap XML e por que usar um mapa no seu site? Disponível em: . Acesso em: 29 nov. 2020.

Kadam, V. B., Pakle, G. K., A survey on HTML structure aware and tree based web data scraping technique, International Journal of Computer Science and Information Technologies, v. 5, n. 2 , p. 1655-1658, 2014.

KAUSAR, M. A.; DHAKA, V. S.; SINGH, S. K. Web Crawler: A Review. International Journal of Computer Applications, v. 63, n. 2, p. 31–36, 15 fev. 2013.

MALIK, S. K.; RIZVI, S. Information extraction using web usage mining, web scrapping and semantic annotation. Proceedings - 2011 International Conference on Computational Intelligence and Communication Systems, CICN 2011. Anais...IEEE, out. 2011Disponível em: . Acesso em: 3 fev. 2021

Myers, G., A fast bit-vector algorithm for approximate string matching based on dynamic programming, Journal of the ACM, v. 46, n. 3, May 1999.

MITCHELL, R. E. Web Scraping with Python Collecting Data from the Modern Web. First ed. Sebastopol: O’Reilly Media, 2015.

MONGODB, I. The most popular database for modern apps | MongoDB. Disponível em: . Acesso em: 3 fev. 2021.

NEDER, H. D. et al. Índice de defasagem do Imposto Predial e Territorial Urbano (IPTU) dos Municípios de Minas Gerais : um estudo de caso para Uberlândia ( MG ). Brasil. Revista ESPACIOS, v. 38, n. 46, p. 25–39, 23 jun. 2017.

NEIL, Y. Web Scraping the Easy Way. University Honors Program Theses, 1 jan. 2016.

NIANTIC, I. Pokémon GO. Disponível em: . Acesso em: 30 nov. 2019.

Nurseitov, N., Paulson, M., Reynolds, R., & Izurieta, C. Comparison of JSON and XML data interchange formats: a case study. Caine, 9, 157-162, 2009.

OLIVEIRA FILHO, P. C. DE; SILVA, S. V. K. DA K. DA. Um sistema de informações para suporte espacial e de decisões à gestão da arborização urbana no município de Guarapuava, Paraná. Revista da sociedade brasileira de arborização urbana, v. 5, n. 3, p. 82–96, 2010.

Olston, C., Najork, M., Web crawling, Foundations and Trends in Information Retrieval, v. 4, n. 3, p. 175-246, 2010.

OZIMEK, A.; MILES, D. Stata utilities for geocoding and generating travel time and travel distance information. The Stata Journal: Promoting communications on statistics and Stata, v. 11, n. 1, p. 106–119, 19 mar. 2011.

Palaniyandi, M., The environmental aspects of dengue and chikungunya outbreaks in India: GIS for epidemic control. International Journal of Mosquito Research, v. 1, n. 2, p. 38-44, 2014.

PARVEZ, M. S. et al. Analysis of Different Web Data Extraction Techniques. 2018 International Conference on Smart City and Emerging Technology, ICSCET 2018. Anais...Mumbai, India: IEEE, jan. 2018Disponível em: . Acesso em: 3 fev. 2021

Périco, E., Cemin, G., Planejamento do uso do solo em ambiente SIG: alocação de um distrito industrial no município de Lajeado RS Brasil, Estudos Geográficos: Revista Eletrônica de Geografia, v. 4 n. 1, p. 41-52, 2006.

PYTHON SOFTWARE FOUNDATION. Welcome to Python.org. Disponível em: . Acesso em: 30 nov. 2019.

REITZ, K. Requests-HTML: HTML Parsing for Humans (writing Python 3)! . Disponível em: . Acesso em: 2 dez. 2020.

RICHARDSON, L. Documentação Beautiful Soup. Disponível em: . Acesso em: 2 dez. 2020.

SCHRENK, M. Webbots, spiders, and screen scrapers : a guide to developing Internet agents with PHP/CURL. [s.l.] No Starch Press, 2012.

SILVA, A. N. R. DA. Sistemas de Informações geográficas para planejamento de transportes. [s.l.] Universidade de São Paulo, 1998.

SILVA, M. C. Sistemas De Informações Geográficas Na Identificação De Doenças E Epidemias. Tekhne e Logos, v. 8, n. 4, p. 94–106, 2017.

SILVEIRA, I. H. DA; OLIVEIRA, B. F. A. DE; JUNGER, W. L. Utilização do Google Maps para o georreferenciamento de dados do Sistema de Informações sobre Mortalidade no município do Rio de Janeiro, 2010-2012*. Epidemiologia e Serviços de Saúde, v. 26, n. 4, p. 881–886, nov. 2017.

SOLINA, F.; RAVNIK, R. Georeferencing works of literature. Proceedings of the ITI 2010, 32nd International Conference on Information Technology Interfaces. Anais...Cavtat, Croatia: IEEE, 2010Disponível em:

Syme, D., Battocchi, K., Takeda, K., Malayeri, D., Fisher, J., Hu, J., Chae, W., Strongly-typed language support for internet-scale information sources. Technical Report MSR-TR-2012–101, Microsoft Research., 2012

SZTUTMAN, P. Análise da qualidade posicional das bases do Google Maps, Bing Maps e da Esri para referência espacial em projetos em SIG: aplicação para o município de São Paulo. São Paulo: Biblioteca Digital de Teses e Dissertações da Universidade de São Paulo, 9 dez. 2014.

TRIPADVISOR LLC. TripAdvisor. Disponível em: . Acesso em: 3 fev. 2021.

TUPÃ ESTÂNCIA TURÍSTICA. Digitalização possibilita preservação de documentos do município - Prefeitura de Tupã. Disponível em: . Acesso em: 12 fev. 2021.

Velasco, E., Agheneza, T., Denecke, K., Kirchner, G., Eckmanns, T. Social media and internet‐based data in global systems for public health surveillance: a systematic review. The Milbank Quarterly, v. 92, n. 1, p. 7-33, 2014.

Waddell, P. A., A behavioral simulation model for metropolitan policy analysis and planning: residential location and housing market components of UrbanSim, Environment and Planning B: Planning and Design, v. 27, p. 247–263, 2000.

WALLAPOP. wallapop, Local Free Classified Ads. Disponível em: . Acesso em: 30 nov. 2019.

WANG, J. et al. The crawling and analysis of agricultural products big data based on Jsoup. 2015 12th International Conference on Fuzzy Systems and Knowledge Discovery, FSKD 2015. Anais...IEEE, ago. 2016. Disponível em: . Acesso em: 03 fev. 2021

WIKIMAPIA. WikiMapia - Vamos descrever o mundo todo! Disponível em: . Acesso em: 25 set. 2019.

WILSON, J. P.; SWIFT, J. N.; GOLDBERG, D. W. Geocoding best practices: Review of eight commonly used geocoding systems. Los Angeles, CA: [s.n.].

YIN, F.; HE, X.; LIU, Z. Research on Scrapy-Based Distributed Crawler System for Crawling Semi-structure Information at High Speed. 2018 IEEE 4th International Conference on Computer and Communications (ICCC). Anais...IEEE, dez. 2018 Disponível em: . Acesso em: 3 fev. 2021.


Apontamentos

  • Não há apontamentos.