goquery 爬虫实践

/*获取URL范例*/ /* Find 查找获取当前匹配的每个元素的后代 Eq 选择第几个 Attr 获取对应的标签属性 AttrOr 获取对应的标签属性。这个可以设置第二个参数。获取的默认值 如果获取不到默认调用对应默认值 Each 遍历每一个元素 Text 获取当前对应的文本 Html 获取当前对象的标签 AddClass 添加 class 不过用来抓取有点鸡肋不知道为何要写这个 Children 返回所有子元素 Filter 过滤标签元素 Prev 获取上一个元素 Next 获取下一个元素 */ package main import (     "fmt"     "log"     "os"     "regexp"     "strconv"     "github.com/PuerkitoBio/goquery" ) func getdata(ins int, ch chan int) {     url := ""     if ins == 1 {         url = "https://colobu.com/categories/Go"     } else {         url = "https://colobu.com/categories/Go/page/" + strconv.Itoa(ins) + "/"     }     doc, err := goquery.NewDocument(url)     if err != nil {         log.Fatal(err)     }     //  <a class="article-title" href="/2019/06/01/packet-capture-injection-and-analysis-gopacket/">[译]利用 gopackage 进行包的捕获、注入和分析</a>     doc.Find(".article-title").Each(func(i int, s *goquery.Selection) {         a, _ := s.Attr("href")         text := s.Text()         a = "https://colobu.com" + a         //htmls, _ := s.Html()         fmt.Println("")         fmt.Println("")         fmt.Println("  地址：" + a)         fmt.Println("  标题：" + text)         /*text = strings.ReplaceAll(text, ":", " ")         text = strings.ReplaceAll(text, "/", " ")         text = strings.ReplaceAll(text, "\\", " ")         text = strings.ReplaceAll(text, "?", " ")         text = strings.ReplaceAll(text, "*", " ") */         reg := regexp.MustCompile(`:|\?|/|\*|<|>|"`)         tilte := reg.ReplaceAllString(text, " ")         docm, err := goquery.NewDocument(a)         if err != nil {             log.Fatal(err)         }         sstext := ""         docm.Find(".article-entry").Each(func(ii int, ss *goquery.Selection) {             sstext = ss.Text()         })         //fmt.Println("  正文：" + sstext)         file, _ := os.OpenFile("./爬虫/第"+strconv.Itoa(ins)+"页  "+strconv.Itoa(i+1)+"篇  "+tilte+"页爬虫.txt", os.O_RDWR|os.O_TRUNC|os.O_CREATE, 0666)         defer file.Close()         file.Write([]byte(text + "\n正文:\n" + sstext + "\n\n\n"))         fmt.Println("  ---------------------------------------------------------------------------- ")     })     ch <- ins } func Doing(s, e int) {     ch := make(chan int)     for i := s; i <= e; i++ {         go getdata(i, ch)     }     for i := s; i <= e; i++ {         n := <-ch         fmt.Printf("第%d页爬取完毕\n", n)     } } func main() {     var start, end int     fmt.Println("输入起始页")     fmt.Scan(&start)     fmt.Println("输入终止页")     fmt.Scan(&end)     Doing(start, end) }

package main import (     "fmt"     "io"     "net/http"     "os"     "strconv" ) func HttpGet(url string) (res string, err error) {     fmt.Println(url)     resp, err1 := http.Get(url)     if err1 != nil {         err = err1         //fmt.Println(err)         return     }     //fmt.Println(resp.Body)     defer resp.Body.Close()     buf := make([]byte, 4096)     for {         n, err2 := resp.Body.Read(buf)         if n == 0 {             fmt.Println("读取完毕")             break         }         if err2 != nil && err2 != io.EOF {             //fmt.Println(err2)             err = err2             return         }         res += string(buf[:n])     }     return } func working(start, end int) {     fmt.Printf("正在爬取%d页面到%d页", start, end)     for i := start; i <= end; i++ {         url := "http://tieba.baidu.com/f?kw=%E5%88%AB%E5%85%8B&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)         //resp, err := http.Get(url)         result, err := HttpGet(url)         if err != nil {             fmt.Println(err)             continue         }         fmt.Println(result)         file, err := os.Create("第" + strconv.Itoa(i) + "页面.html")         if err != nil {             fmt.Println(err)         }         file.WriteString(result)         file.Close()     } } func main() {     var start, end int     fmt.Println("请输入爬取的起始页（》=1）：")     fmt.Scan(&start)     fmt.Println("请输入爬取的结束页（》=start）：")     fmt.Scan(&end)     working(start, end) }

package main import (     "fmt"     "io"     "net/http"     "os"     "strconv" ) func HttpGet(url string) (res string, err error) {     fmt.Println(url)     resp, err1 := http.Get(url)     if err1 != nil {         err = err1         //fmt.Println(err)         return     }     //fmt.Println(resp.Body)     defer resp.Body.Close()     buf := make([]byte, 4096)     for {         n, err2 := resp.Body.Read(buf)         if n == 0 {             //fmt.Println("读取完毕")             break         }         if err2 != nil && err2 != io.EOF {             //fmt.Println(err2)             err = err2             return         }         res += string(buf[:n])     }     return } func getdata(i int, ch chan int) {     url := "http://tieba.baidu.com/f?kw=%E5%88%AB%E5%85%8B&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)     //resp, err := http.Get(url)     fmt.Println("第" + strconv.Itoa(i) + "页面.html")     result, err := HttpGet(url)     if err != nil {         fmt.Println(err)         //continue     }     //fmt.Println(result)     file, err := os.Create("第" + strconv.Itoa(i) + "页面.html")     if err != nil {         fmt.Println(err)     }     file.WriteString(result)     file.Close()     ch <- i } func working(s, e int) {     ch := make(chan int)     for i := s; i <= e; i++ {         go getdata(i, ch)     }     for i := s; i <= e; i++ {         n := <-ch         fmt.Printf("第%d页爬取完毕\n", n)     } } func main() {     var start, end int     fmt.Println("请输入爬取的起始页（》=1）：")     fmt.Scan(&start)     fmt.Println("请输入爬取的结束页（》=start）：")     fmt.Scan(&end)     working(start, end) }