python3 Python 3.5.2 (default, Nov 23 2017, 16:37:01) [GCC 5.4.0 20160609] on linux Type "help", "copyright", "credits" or "license" for more information. >>> from crawler import crawl >>> out = Crawl >>> out.crawl("http://www.inseguro.com.br", verbose=True, limitreqs=5) [1] http://www.inseguro.com.br [2] http://www.inseguro.com.br/search [3] http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html [4] http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html#more [5] http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html#comment-form Total URL's found: 37 >>> out.status_code[0] 200 >>> for url in out.url: ... print(url) ... http://www.inseguro.com.br http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html#more http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html#comment-form http://www.inseguro.com.br/2017/10/bwapp-1-xss-reflected-overview.html#links http://www.inseguro.com.br/search/label/bWAPP http://www.inseguro.com.br/search/label/Code%20Review http://www.inseguro.com.br/search/label/hacking http://www.inseguro.com.br/search/label/penetration%20testing http://www.inseguro.com.br/search/label/xss http://www.inseguro.com.br/2017/10/bwapp-buggy-web-application-ambiente.html http://www.inseguro.com.br/2017/10/bwapp-buggy-web-application-ambiente.html#more http://www.inseguro.com.br/2017/10/bwapp-buggy-web-application-ambiente.html#comment-form http://www.inseguro.com.br/2017/10/bwapp-buggy-web-application-ambiente.html#links http://www.inseguro.com.br/2017/09/paralelos-descubra-como-pirataria-e-o.html http://www.inseguro.com.br/2017/09/paralelos-descubra-como-pirataria-e-o.html#more http://www.inseguro.com.br/2017/09/paralelos-descubra-como-pirataria-e-o.html#comment-form http://www.inseguro.com.br/2017/09/paralelos-descubra-como-pirataria-e-o.html#links http://www.inseguro.com.br/search/label/cultura http://www.inseguro.com.br/2017/08/seo-e-suas-armadilhas-de-seguranca.html http://www.inseguro.com.br/2017/08/seo-e-suas-armadilhas-de-seguranca.html#more http://www.inseguro.com.br/2017/08/seo-e-suas-armadilhas-de-seguranca.html#comment-form http://www.inseguro.com.br/search/label/Google%20Dork http://www.inseguro.com.br/search/label/OSINT [...] 

>>> crawl("http://www.inseguro.com.br", output="www.inseguro.com.br.txt")