说实话，昨晚我正窝在沙发上，手机开着保加利亚VS北马其顿的视频直播，眼睛盯着屏幕，脑子里却在想另一件事——怎么用Golang把这场比赛的实时数据抓下来，你说这人是不是有点毛病？看球就看球呗,非得给自己找点技术活干。
但这事儿吧，真挺有意思的。保加利亚和北马其顿这场对决，虽然不像世界杯决赛那么吸睛，但对于巴尔干地区的足球迷来说，绝对算得上火药味十足，保加利亚曾经有过斯托伊奇科夫这样的传奇，北马其顿这几年也冒出了像潘德夫这样的老将，两队的碰撞，既有历史的恩怨,也有现实的较量。
而我呢，一边喝着啤酒，一边用Golang写代码，想从视频直播页面里把比分、控球率、射门次数这些数据给薅下来，听起来有点分裂？其实这事儿在程序员圈子里真不稀奇，很多人都是边看比赛边写脚本的，所以今天我就把这段经历写出来，既是分享技术,也算是一个球迷的碎碎念。
为啥要用Golang搞视频直播数据？
你可能要问，那么多语言不用，非得选Go？其实理由特别简单。
第一，Go的并发模型太适合做这种抓取任务了，一场足球比赛，数据更新特别快，比分、换人、黄牌……这些信息你可能想实时拿到，如果用Python那种多线程，写起来麻烦，性能还不好,Go的goroutine天然就是干这个的。
第二，Go编译成单个二进制文件，部署方便得要命，我写完直接扔服务器上，白天上班它自己跑着抓数据，晚上回家我就能看分析结果了。省心省力，特别适合我这种懒人。
第三，Go的标准库网络请求部分做得扎实。net/http包虽然不如Python的requests那么人性化，但胜在稳定，而且控制力强，你想加个代理、设置超时、处理cookie,都很直接。
所以别看我一边看保加利亚VS北马其顿的视频直播，一边敲键盘，其实我脑子里是挺清楚的——Go就是最适合干这个活的工具。
开始之前：准备工作
你要想跟着我搞，得先装好Go环境，这个我默认你会的，不会的话去官网下载安装包，一路next就行，版本无所谓，我用的1.21，但你用1.20甚至更老的也够用。
然后你得找到保加利亚VS北马其顿视频直播的页面，这事儿吧有点敏感，因为现在很多体育直播网站都在反爬虫，我不方便直接把网站名字写出来，但你可以搜“保加利亚 北马其顿 直播”，应该能找到能用的，我用的是其中一个叫“直播吧”的镜像站，页面结构稍微有点乱,但数据都在。
好了，环境搭好了，直播页面也打开了,接下来就是写代码。
第一步：拿到页面HTML
这个最简单，就用Go的net/http发个GET请求，但有个坑——很多直播网站会检查User-Agent,你得模拟成浏览器才行。
package main
import (
"fmt"
"io/ioutil"
"net/http"
)
func main() {
url := "https://你找到的直播页面地址"
client := &http.Client{}
req, err := http.NewRequest("GET", url, nil)
if err != nil {
fmt.Println("请求创建失败:", err)
return
}
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
resp, err := client.Do(req)
if err != nil {
fmt.Println("请求发送失败:", err)
return
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("读取响应失败:", err)
return
}
fmt.Println(string(body))
}
跑一下这段代码，如果能打印出一大堆HTML，说明你拿到页面了，但别高兴太早，这里面混着广告脚本、样式代码、乱七八糟的div嵌套，真正的比赛数据其实藏在某个角落。
第二步：从HTML里抠数据
这里就得用点技巧了，我试过用正则表达式硬匹配，结果写了一长串正则，眼睛都快瞎了，而且稍微页面改版就崩，后来改用goquery这个库，它是基于jQuery语法写的,用起来顺手很多。
安装一下：
go get github.com/PuerkitoBio/goquery
然后就像操作DOM一样去提取数据，比如你想抓当前比分,可能HTML结构是这样的：
<div class="score">
<span class="home-score">1</span>
<span class="away-score">0</span>
</div>
那么代码就能写成这样：
doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
fmt.Println("解析HTML失败:", err)
return
}
homeScore := ""
awayScore := ""
doc.Find(".score").Each(func(i int, s *goquery.Selection) {
homeScore = s.Find(".home-score").Text()
awayScore = s.Find(".away-score").Text()
})
fmt.Printf("当前比分: %s - %s\n", homeScore, awayScore)
不过现实情况比这复杂多了。保加利亚VS北马其顿这场比赛的直播页面，我扒下来一看，类名全是动态生成的，像什么_2x3d9f、_k8w7e1这种，每次刷新都可能变，这时候你就得换个思路——要么用选择器匹配属性,要么直接用正则去搜文本。
我当时是这么干的：先看页面源代码，搜“保加利亚”或者“北马其顿”这两个词，找到它们附近的数字，那就是比分,然后写正则：
re := regexp.MustCompile(`保加利亚\s*(\d+)\s*[-:]\s*(\d+)\s*北马其顿`)
matches := re.FindStringSubmatch(string(body))
if len(matches) >= 3 {
homeScore := matches[1]
awayScore := matches[2]
fmt.Printf("比分: %s - %s\n", homeScore, awayScore)
}
说实话，正则虽然看起来丑，但在这个场景下真的好用，不需要依赖页面结构。
第三步：处理动态加载的数据
你可能会发现一个问题——很多直播网站的数据是通过JavaScript动态加载的，你直接请求页面HTML，拿到的是一个空壳子,真正的数据是后面通过Ajax请求拿到的。
比如我抓的那个保加利亚VS北马其顿直播页面，打开开发者工具的网络面板，刷新一下，能看到一个叫getLiveData的接口返回了JSON格式的数据，里面包含了比分、控球率、射门、角球等等。
这种情况就好办了,直接去请求那个接口就行：
apiURL := "https://直播网站/api/getLiveData?matchId=xxxxx"
req, _ := http.NewRequest("GET", apiURL, nil)
req.Header.Set("Referer", "https://直播页面地址")
// 可能还需要带cookie
resp, _ := client.Do(req)
body, _ := ioutil.ReadAll(resp.Body)
var data map[string]interface{}
json.Unmarshal(body, &data)
fmt.Println(data)
这里有个小技巧——Referer和Cookie一定要带上，很多接口会验证来源,你可以从浏览器开发者工具里复制Cookie过来。
第四步：让程序自动刷新
手动跑一次没意思，我们得让它像看直播一样实时更新，用Go的定时器或者一个死循环加time.Sleep就行。
ticker := time.NewTicker(30 * time.Second)
for range ticker.C {
// 这里放抓取数据的逻辑
fmt.Println("正在获取最新数据...")
}
每30秒抓一次，基本跟得上直播节奏，我一般还会加个判断，如果比赛结束（比如比分不再变化或者页面显示“已结束”），就自动退出循环,省得浪费资源。
保加利亚VS北马其顿这场比赛的直播，我当时跑了90分钟，抓了大概180次请求，数据很完整，最后整理出来一个表格,看起来挺像那么回事的：
| 时间段 | 保加利亚 | 北马其顿 |
|---|---|---|
| 0-15分钟 | 控球率58% | 控球率42% |
| 15-30分钟 | 射门3次 | 射门1次 |
| 30-45分钟 | 角球2个 | 角球0个 |
我这只是举个例子，真实数据你别太当真,毕竟每场比赛情况都不一样。
遇到的那些破事儿
写这个爬虫的过程中，我踩了不少坑。有些是技术问题，有些是玄学问题。
比如有一次，我抓到的数据里，保加利亚的控球率变成了120%，我一看就知道，肯定是页面里某段脚本代码被当成文本抓进来了，后来加了个正则过滤，只抓数字+%这种格式的片段,问题才解决。
还有一次，直播网站的接口突然改了一个参数名，我这边就什么都抓不到了，调试了半天，发现是对方加了个时间戳校验，解决方案也很粗暴——先请求一次页面，从页面里的某个隐藏字段拿到最新的时间戳,再拼到API请求里。
这种边看边调的过程，其实比单纯看比赛有意思，你看场球，90分钟结束，比分定了，好像什么都定了，但写代码不一样，你永远不知道下一页会遇到什么妖魔鬼怪。保加利亚VS北马其顿的视频直播，我后来都没怎么认真看,光顾着看请求返回的JSON了。
如果你也想自己尝试
给你几点不成熟的小建议：
- 不要用公共IP频繁请求同一个网站，容易被封，加个代理池，或者降低请求频率,30秒一次就差不多了。
- 数据存本地还是存数据库？看你自己，我就存了个CSV文件，用
encoding/csv包写的,方便导入Excel。 - 如果页面全是反爬措施，可以考虑用
chromedp这个无头浏览器库，模拟真实浏览器行为，不过那玩意儿吃内存,别在生产环境瞎搞。 - 别太较真，有时候数据抓不完整就算了，毕竟我们不是在做科研,只是图一乐。
最后说点实际的
比赛结束了，保加利亚2-1赢了北马其顿（数据纯属虚构，如有雷同纯属巧合），我这边也跑完了完整的抓取流程，打开CSV一看，控球率、射门次数、角球数、犯规数……一应俱全，虽然没什么实际用处，但看着这堆数据,心里莫名有种满足感。
Golang写这种小工具是真的快，从打开编辑器到跑起来，前后也就一个多小时，中间还喝了半瓶啤酒。如果你也是个爱看球又爱写代码的人，真的可以试试，这比你单纯刷论坛、看比分有意义多了——至少你亲手造了个能用的东西。
好了，不说了，我去把代码推GitHub，然后看看下一场有没有别的比赛可以搞，保加利亚VS北马其顿这场,我是记住了。
本文来自作者[kyadmin]投稿，不代表中国·AC米兰(Milan)体育官方网站-Official Website立场，如若转载，请注明出处：http://www.appsource.cn/jk/1207.html
评论列表（4条）
我是中国·AC米兰(Milan)体育官方网站-Official Website的签约作者“kyadmin”！
希望本篇文章《保加利亚VS北马其顿视频直播，用Golang写个爬虫，边看球边抓数据》能对你有所帮助！
本站[中国·AC米兰(Milan)体育官方网站-Official Website]内容主要涵盖：AC米兰,ac米兰官网,AC米兰官网
本文概览：说实话，昨晚我正窝在沙发上，手机开着保加利亚VS北马其顿的视频直播，眼睛盯着屏幕，脑子里却在想另一件事——怎么用Golang把这场比赛的...