Multi-Threaded Geo Web Crawler In Java

Multi-Threaded Geo Web Crawler In Java
Dive Deep Into the Details of an [~Efficient Multi-Threaded Java Web Crawling System~] called Mowglee that uses Geography as the Main Classifying Criteria for Crawling.
by
[Updates to the Article and Codebase / Code Snippets ~ 17/Feb/2021]
- Fixed Possible Con. Leaks in Network Connections
- Fixed Poor Code and Bad Programming Practices
- Improved Code Formatting, Practiced Clean Code*
- Mowglee v0.02a is Released (Previously, v0.01a')
This article provides the implementation of a web crawling system called Mowglee that uses geography as the main classifying criteria for crawling. Also, it runs in a multi-threaded mode that provides a default implementation of the robot's exclusion protocol, sitemap generation, data classifiers, data analyzers, and a general framework for application to be built of a web crawler. The implementation is in core Java. Mowglee is a multi-threaded geo web crawler in Java.

Related Keywords

India , ,Leaks In Network Connections ,Graph Database ,Computer Society Of India Communications ,Poor Code ,Bad Programming ,Code Formatting ,Practiced Clean ,Covered Minimally ,For Pass ,Efficient Geo Web Crawler ,Own Online Technical Blog ,Techila Shots ,Developer Magazine ,Print Java Magazine ,Computer Society ,Indian Institute ,Web Crawling ,Performance ,Tutorial ,Mowglee ,Multithreading ,இந்தியா ,கசிவுகள் இல் வலைப்பின்னல் இணைப்புகள் ,வரைபடம் தரவுத்தளம் ,கணினி சமூகம் ஆஃப் இந்தியா தகவல்தொடர்புகள் ,புவர் குறியீடு ,மோசமான ப்ரோக்ராமிஂக் ,குறியீடு வடிவமைத்தல் ,மூடப்பட்ட குறைந்தபட்சம் ,க்கு பாஸ் ,திறமையான புவி வலை கிராலர் ,ஓந் நிகழ்நிலை தொழில்நுட்ப வலைப்பதிவு ,டெவலப்பர் பத்திரிகை ,பிரிண்ட் ஜாவா பத்திரிகை ,கணினி சமூகம் ,இந்தியன் நிறுவனம் ,வலை ஊர்ந்து செல்வது ,செயல்திறன் ,பயிற்சி ,