Go 爬虫：如何获取 js 文件中固定的内容？

简介

我想爬豆瓣电影的分类，网址是https://movie.douban.com/tag/。发现调用接口，返回的数据并没有我所需要的内容。

我自己看了一下接口调用，发现这些分类竟然是在app.js的二维数组固定写死的。

妹的，这就尴尬了，我岂不是要等待浏览器渲染完之后再匹配我想要的数据？

查查Go有没有库可以模拟浏览器的操作。发现了一个chromedp。于是查找了一些资料，学习了一下。

github地址

仓库地址：https://github.com/chromedp/chromedp
例子地址：https://github.com/chromedp/examples

参考的文档：
https://deepzz.com/post/golang-context-package-notes.html
https://www.cnblogs.com/apocelipes/p/9264673.html
https://codeday.me/news/20170529/20419.html

代码

获取豆瓣网站的电影分类。

// Command text is a chromedp example demonstrating how to extract text from a // specific element. package main import ( "context" "fmt" "log" "os" "regexp" "time" "github.com/chromedp/chromedp" "github.com/chromedp/chromedp/runner" ) func text(res *string) chromedp.Tasks { return chromedp.Tasks{ // 访问页面 chromedp.Navigate(`https://movie.douban.com/tag/`), // 等待列表渲染 chromedp.Sleep(5 * time.Second), // 获取获取服务列表HTML chromedp.OuterHTML("#content", res, chromedp.ByID), } } func main() { ctx, cancel := context.WithCancel(context.Background()) defer cancel() // 创建 chrome 实例 cdp, err := chromedp.New(ctx, chromedp.WithLog(log.Printf)) if err != nil { log.Fatal(err) } var res string //执行调用 err = cdp.Run(ctx, text(&res)) if err != nil { log.Fatal(err) } // 调用 Shutdown err = cdp.Shutdown(ctx) if err != nil { log.Fatal(err) } // 等待 chrome 结束 err = cdp.Wait() if err != nil { log.Fatal(err) } // 正则匹配所要的内容 pattern := `class="tag">(.*?)</span>` rp2 := regexp.MustCompile(pattern) data := rp2.FindAllStringSubmatch(res, -1) // 创建一个 txt 文件，写入获取的内容 f, err := os.Create("fenlei.txt") if err != nil { log.Fatalln(err) } // 关闭 f defer f.Close() // 遍历切片，获取需要的内容，并写入 txt 文件 for i := 0; i < len(data); i++ { fmt.Println(data[i][1]) f.WriteString(data[i][1] + "\n") } }