B站的弹幕区一直是人才圣地。今天我就用 python 来手把手教大家爬取B站排行榜热门视频，Python爬取视频也可以如此简单。

网站分析

在B站中，只要视频中有弹幕，就会有一个 cid 参数。cid 用来表示某个视频对应的弹幕池。每个弹幕都有一个对应的 XML 文件，我们可以通过解析 XML 文件获取到 B 站视频的弹幕。

所以，只要知道了 cid 参数值，就可以找到视频弹幕数据的位置了。

那我们在观看视频的时候该如何拿到这个 XML 文件呢？

B 站的弹幕是在 XML 文件里，每个视频都有其对应的 cid 和 aid，我们取到 cid 中的数字放入

http://comment.bilibili.com/cid.xml，即可得到该视频对应的弹幕 XML 文件。

首先我们打开视频播放地址，F12打开浏览器开发者模式，如下图找到视频对应的cid就可以构造出弹幕链接

http://comment.bilibili.com/451236101.xml

到此可为止，有了弹幕文件，后面将通过爬虫方式解析弹幕，并进行弹幕内容分析。

请求发送

我们使用request模拟浏览器发送请求获取弹幕数据

url = fhttp://comment.bilibili.com/{ cid}.xml headers = { referer: https://www.bilibili.com/video/BV19h411s7oq?spm_id_from=333.934.0.0, User-Agent: https://www.bilibili.com/video/BV19h411s7oq?spm_id_from=333.934.0.0, cookie: “_uuid=19DF1EDB-20B7-FF74-A700-9DF415B2429530977infoc; buvid3=AAD6C6C7-FB31-40E7-92EC-7A6A7ED3920C148814infoc; sid=jzp2723t; fingerprint=2e74a5bc11a3adec2616987dde475370; buvid_fp=AAD6C6C7-FB31-40E7-92EC-7A6A7ED3920C148814infoc; buvid_fp_plain=AAD6C6C7-FB31-40E7-92EC-7A6A7ED3920C148814infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=1fe46ad7%2C1651971297%2Ceb583*b1; bili_jct=5bcd45718996ac402a29c7f23110984d; blackside_state=1; rpdid=|(u)YJlJmmu|0JuYJYRummJm; bp_t_offset_434541726=590903773845625600; bp_video_offset_434541726=590903773845625600; CURRENT_BLACKGAP=0; LIVE_BUVID=AUTO5716377130871212; video_page_version=v_old_home; PVID=1; CURRENT_FNVAL=976; i-wanna-go-back=1; b_ut=6; b_lsid=4F7CFC82_17D78864851; bsource=search_baidu; innersign=1” } resp = requests.get(url, headers = headers) print(resp.text)

成功获取到了数据但是全部都是乱码，这里我们不用设置字符的编码格式，

只需要让request获取到的编码格式和网页的编码格式相等即可

一行代码即可搞定

# 调用.encoding属性获取requests模块的编码方式 # 调用.apparent_encoding属性获取网页编码方式 # 将网页编码方式赋值给response.encoding resp.encoding = resp.apparent_encoding

成功获取到弹幕数据

信息提取

数据已经给成功的获取到，接下来我们要提取出所有的弹幕信息，

我们从获取到网站的响应信息后可以看出，所有的弹幕文字信息其实都是在

****标签之内的

p=“221.05300,1,25,16777215,1638378040,0,a60c99c7,58346355162459136,10”>太木呐了二仙桥大爷</d>

所以我们选择使用正则提取。

# 获取所有评论内容 content_list = re.findall(<d p=”.*?”>(.*?)</d>, resp.text)

数据保存

我们使用函数将所有的弹幕数据存储在’B站弹幕.csv’文件中

if os.path.exists(comment_file_path): os.remove(comment_file_path) for item in content_list: with open(comment_file_path, a, encoding = utf-8)as fin: fin.write(item + \n) print(item) print(————-弹幕获取完毕！————-)

数据处理

接下来就是对数据去重和去空处理了,然后随机抽取五条数据展示如下：

# 读取数据 rcv_data = pd.read_csv(./B站弹幕.csv, encoding=gbk) # 抽样展示5条数据 print(rcv_data.sample(5)) 精彩弹幕 538 一脸开心 162 好活 661 买两箱，，买买买买 17 笑死我了哈哈哈 424 不忘初心

词频展示

文章评论出现频率最高的前十个词分别如下:

# 词频设置 all_words = [word for word in result.split() if len(word) > 1 and word not in stop_words] wordcount = Counter(all_words).most_common(10) (哈哈哈, 大爷, 制作, 离谱, 一起, 猝不及防, 二仙, sir, 卧槽, 一定) (207, 69, 27, 13, 13, 13, 12, 12, 12, 9)

词云展示

我们使用结巴分词

最后使用stylecloud绘制漂亮的词云图展示

# 词云展示 def visual_ciyun(): pic = ./img.jpg gen_stylecloud(text=result, icon_name=fas fa-archway, font_path=msyh.ttc, background_color=white, output_name=pic, custom_stopwords=stop_words ) print(词云图绘制成功！)

源码奉上

# -*- coding: utf-8 -*- # Date: 2021/12/2 10:00 # Author: 不卖萌的邓肯 # wechat: 印象python import requests import re, os import jieba from wordcloud import WordCloud from imageio import imread comment_file_path = B站弹幕.csv def spider_page(cid): url = fhttp://comment.bilibili.com/{ cid}.xml headers = { referer: xxxxx, User-Agent: xxxxx, cookie: “xxxxx” } resp = requests.get(url, headers = headers) # 调用.encoding属性获取requests模块的编码方式 # 调用.apparent_encoding属性获取网页编码方式 # 将网页编码方式赋值给response.encoding resp.encoding = resp.apparent_encoding print(resp.text) if resp.status_code == 200: # 获取所有评论内容 content_list = re.findall(<d p=”.*?”>(.*?)</d>, resp.text) if os.path.exists(comment_file_path): os.remove(comment_file_path) for item in content_list: with open(comment_file_path, a, encoding = utf-8)as fin: fin.write(item + \n) print(item) print(————-弹幕获取完毕！————-) def data_visual(): with open(comment_file_path, encoding=utf-8)as file: comment_text = file.read() wordlist = jieba.lcut_for_search(comment_text) new_wordlist = .join(wordlist) mask = imread(img_1.png) wordcloud = WordCloud(font_path=msyh.ttc, mask=mask).generate(new_wordlist) wordcloud.to_file(picture_1.png) if __name__ == __main__: cid = 451236101 print(正在解析，开始爬取弹幕中。。。。。) spider_page(cid) #data_visual()

今天分享就到此结束啦！有问题，评论区见~~

文章版权归作者所有，未经允许请勿转载。

THE END