golang抓取页面信息

Go, 后端开发, 编程技术你是第21个围观者 0条评论供稿者：陈建鑫标签：golang小技巧

最近在用golang做一个监听网站状态的应用，分享下各种代码

首先是监听完整的状态，看下服务器是否返回了预设值之外的状态：

Golang 获取http状态码

golang语言在提交了get或post请求后，服务器会返回一个请求结果，那么想要获取http响应的状态码就可以使用res.StatusCode来获得一个整型的状态值

Source code

package main
 
//获取http状态码
 
import (
	"fmt"
	"net/http"
	"net/url"
)
 
func main() {
	u, _ := url.Parse("http://www.baidu.com")
	q := u.Query()
	u.RawQuery = q.Encode()
	res, err := http.Get(u.String())
	if err != nil {
		fmt.Println("0")
		return
	}
	resCode := res.StatusCode
	res.Body.Close()
	if err != nil {
		fmt.Println("0")
		return
	}
	fmt.Printf("%d\r\n", resCode)
}

状态正常了，需要获取页面的信息。例如看看关键词有没有配置，标题有没有被篡改《做网站清理病毒木马的伙伴们应该知道木马就是靠篡改数据来盈利获取流量的》等等；

goQuery 的使用【这是一款和js的jquery一样好用的获取页面节点的插件】

简介
goquery为Go语言带来了类似于jQuery的语法和一组特性。它基于Go的net/html包和CSS Selector库cascadia。由于net/html解析器返回节点，而不是功能齐全的DOM树，因此jQuery的有状态操作函数（如height()，css()，detach()）已经停止。

此外，因为net/html解析器需要UTF-8编码，所以goquery也是如此：调用者有责任确保源文档提供UTF-8编码的HTML。

Source code

func main() {
	html := `<body>
				<div lang="zh">DIV1</div>
				<span>
					<div>DIV5</div>
				</span>
 
			</body>
			`
 
	dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
	if err!=nil{
		log.Fatalln(err)
	}
 
	dom.Find("div,span").Each(func(i int, selection *goquery.Selection) {
		fmt.Println(selection.Html())
	})