您的位置:首页 >资讯>孕妇保健

源代码和工具 | 2023 bilibili 视频评论爬虫,单条视频最多可爬取 10000 条评论

2023-06-21 22:17:38 来源:程序员客栈 收藏

欢迎关注公众号「月小水长」,唯一笔者是BuyiXiao,又名小布衣、肖不已。


【资料图】

BuyiXiao,何许人也?本衡州一乡野村夫,身高八尺不足,年方二十有余;弱冠之年曾求学于潭州,为谋生计,背井离乡,远赴京畿,我本南人,不习北土,兼有故友,威逼利诱,急于星火,遂下岭南,打工未半,中道创业,所为何业?赛博朋克,智能硬件;假工程师之名,行农民工之实,满腹经纶,无用书生,善于自黑,贻笑大方。

笔者水平有限,可能暂时无法将非常干货的教程讲的不拖泥带水又不哗众取宠,公众号文章诸多遗漏或不妥之处,可以加月小水长微信「2391527690」备注「学校专业/研究方向/工作岗位」进行交流。

另外,文末点下「赞」和「在看」,这样每次新文章推送,就会第一时间出现在你的订阅号列表里。

我帮一些没玩过 b 站的朋友问了 ChatGPT,b 站是什么,它是这么回答我的。

Bilibili 是一家中国的视频分享平台,也被称为“哔哩哔哩”或“B站”,其社区调性可以用年轻、有趣、创新、多元等词语来描述。Bilibili的用户主要是年轻人,其中以学生和年轻白领居多,他们倾向于追求个性化、独特的内容,同时对新鲜事物和潮流保持敏感。

在 Bilibili 上,用户可以创建自己的账号并上传、观看、评论各种类型的视频,包括动画、游戏、音乐、舞蹈、电影等等。Bilibili注重用户互动,鼓励用户之间进行交流和分享,因此 Bilibili 社区中的用户活跃度较高。

正因为 b 站用户群体巨大,公众号后台也有不少读者留言需要 b 站爬虫的,今天正是分享的是 b 站评论爬虫,可以一键导出指定 b 站视频的评论。

以前分享过 b 站评论的工具(开箱即用的 B 站评论抓取工具),到第今年三个年头已经失效,有一些 bug 需要修复今天也算是这篇分享的延续,同时文末附上源代码和 exe 工具链接,不想看细节的可以直接拉到文末。

测试了下这份代码/工具大概单个视频最多能爬到 10000 条以上的评论。

b 站没啥反爬的,带个 User-Agent 就能请求数据。

headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3970.5Safari/537.36","Referer":"https://www.bilibili.com/"}

请求评论数据主要注意下 F12 寻找评论的 url 地址即可。

数据保存时记得把时间戳转成时间字符串,

defintToStrTime(a):b=time.localtime(a)#转为日期字符串c=time.strftime("%Y/%m/%d%H:%M:%S",b)#格式化字符串returnc

如果以{标题}.csv 命名字符串,记得先把标题处理下以符合文件命名的规则。

defvalidateTitle(title):re_str=r"[\/\\\:\*\?\"\<\>\|]"#"/\:*?"<>|"new_title=re.sub(re_str,"_",title)#替换为下划线returnnew_title

用个 for 循环遍历要爬取的视频的 bv 号,实现一次爬取多个视频的评论的功能。

最后构造 dataframe,边爬取边保存。

需要注意的是,该爬虫没有抓取全部二级评论(回复,楼中楼),只是回复的前 3 条,如需爬取所有的自行展开回复,扩展该爬虫代码即可。

以 b 站下面这个热门视频为例,

标题:不开除张某保研资格,就是寒了天下人的心!

链接:https://www.bilibili.com/video/BV1Zo4y1N7f1

BV 号:BV1Zo4y1N7f1

抓取的结果字段包括评论时间、评论用户名、评论内容和评论点赞数四个字段,如下图所示。

关于这个 CSV 结果文件的获取可以查看今天的另外一篇推送。

源代码已经打包成 exe,不需要 Python 环境,双击即可运行,需要的读者公众号后台回复【2023 b站评论提取工具】即可获取下载链接。

最后附上源代码,欢迎点赞、转发、留言,支持原创更好的创作。

#-*-coding:utf-8-*-#作者:inspurer(月小水长)#创建时间:2020/10/3023:48#运行环境Python3.6+#githubhttps://github.com/inspurer#qq邮箱2391527690@qq.com#微信公众号月小水长(ID:inspurer)#文件备注信息回复没有展开importrequestsimportosfromtimeimportsleepimportjsonimporttimeimportpandasaspdimportredefintToStrTime(a):b=time.localtime(a)#转为日期字符串c=time.strftime("%Y/%m/%d%H:%M:%S",b)#格式化字符串returncheaders={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3970.5Safari/537.36","Referer":"https://www.bilibili.com/"}defvalidateTitle(title):re_str=r"[\/\\\:\*\?\"\<\>\|]"#"/\:*?"<>|"new_title=re.sub(re_str,"_",title)#替换为下划线returnnew_titledefmain():save_folder="Comment"ifnotos.path.exists(save_folder):os.mkdir(save_folder)bvs=["BV1Zo4y1N7f1"]forbvinbvs:print(bv)response=requests.get(url="https://www.bilibili.com/video/{}".format(bv),headers=headers)res=re.findall("<script>window.__INITIAL_STATE__=(.*)?;\(function\(\)",response.text,re.S)json_data=json.loads(res[0])if"message"injson_data["error"]:print(json_data["error"]["message"])continueaid=json_data["aid"]title=json_data["videoData"]["title"]title=validateTitle(title)video_info_url="https://api.bilibili.com/x/web-interface/archive/stat?aid={}".format(aid)res_json=requests.get(url=video_info_url,headers=headers).json()like_count,coin_count,collection_count=res_json["data"]["like"],res_json["data"]["coin"],res_json["data"]["favorite"]#print(aid,title,like_count,coin_count,collection_count)comment_url="https://api.bilibili.com/x/v2/reply?callback=jQueryjsonp=jsonp&pn={}&type=1&oid={}&sort=2&_=1594459235799"response=requests.get(url=comment_url.format(1,aid),headers=headers)total_page=json.loads(response.text)["data"]["page"]["count"]//20+1page=1is_root,uname,comments,times,likes=[],[],[],[],[]whileTrue:data=json.loads(response.text)["data"]["replies"]print(data)ifnotdata:data=json.loads(response.text)["data"]if"hots"indata.keys():data=data["hots"]else:breakforrowindata:print("根评论",row["member"]["uname"],row["content"]["message"])is_root.append("是")times.append(intToStrTime(row["ctime"]))uname.append(row["member"]["uname"])comments.append(row["content"]["message"])likes.append(row["like"])ifrow.get("replies"):forcrowinrow["replies"]:is_root.append("否")times.append(intToStrTime(crow["ctime"]))uname.append(crow["member"]["uname"])comments.append(crow["content"]["message"])likes.append(crow["like"])print("---子评论",crow["member"]["uname"],crow["content"]["message"])page+=1ifpage>total_page:breaksleep(1)response=requests.get(url=comment_url.format(page,aid),headers=headers)#边爬取边保存df=pd.DataFrame({"评论时间":times,"评论者":uname,"评论内容":["".join(comment.split())forcommentincomments],"点赞数":likes})df.to_csv(f"{save_folder}/{title}.csv",encoding="utf-8-sig",index=False)print(f"\n\n已经保存{df.shape[0]}条评论到{save_folder}/{title}.csv\n\n")sleep(1)#每抓完1条视频的评论休眠10ssleep(10)if__name__=="__main__":main()

往期精选

自研小红书评论区自动回复软件,于繁杂的客服流水作业中抽身2023 微博评论爬虫 | 突破 1000 页限制,抓取 10w 条微博评论CBDB | 可视化历史名人的关系和足迹小红书帖子和评论自助提取工具

关键词:

相关的文章>>

标签:
欢迎关注公众号「月小水长」,唯一笔者是BuyiXiao,又名小布衣、肖不已[ 查看全文 ]
标签:
2023年云南省彩云购车补加油券领券流程及规则“彩云购车补(加油券)”[ 查看全文 ]
标签:
央视网消息:据工信部网站消息,2023年5月,为进一步加大“黑广播”“[ 查看全文 ]
标签:
火柴人风格的游戏是很多的玩家很喜欢的游戏的类型之一,在火柴人风格的[ 查看全文 ]
标签:
新华社呼和浩特6月21日电(记者王靖)记者21日从内蒙古自治区应急管理[ 查看全文 ]
标签:
纵横通信:纵横通信关于调整2022年股票期权激励计划行权价格及注销部分[ 查看全文 ]
标签:
标准发展集团(01867)发布截至2023年3月31日止年度的全年业绩,该集团去年 [ 查看全文 ]
标签:
刚刚记者从省气象台了解到,21日至25日,湘中、湘南有持续性暴雨、 [ 查看全文 ]
标签:
1、商贷:LPR下调后,商贷利率也会跟着降。2、公积金贷款:LPR下调后,[ 查看全文 ]
标签:
温州市气象台2023年06月21日17时52分发布温州市区雷电黄色预警信号:受[ 查看全文 ]
标签:
直播吧6月21日讯据意大利记者罗马诺透露,阿森纳接近签下哈弗茨,球员[ 查看全文 ]
标签:
李海铭卢锦青 科技日报记者 张强“参考人员100%通过!优良率居全营之[ 查看全文 ]
标签:
中新社北京6月21日电 (记者 徐婧)2023全球数字经济大会将于7月4日 [ 查看全文 ]
标签:
6月21日上午,祁门县芦溪乡敬老院处处弥漫浓郁粽香,时时传来朗朗笑声[ 查看全文 ]
标签:
货币基金爆仓是指货币市场基金面临大量赎回申请,导致基金规模迅速缩小[ 查看全文 ]
标签:
五十斤肉有20*10*10立方厘米大一坨50斤肉有25000克大一块。一千克肉可[ 查看全文 ]
标签:
1、双龙戏珠是两条龙戏耍(或抢夺)一颗火珠的表现形式。2、它的起源来[ 查看全文 ]
标签:
与咸宁市第八小学全体师生一起“沉浸式”体验端午文化[ 查看全文 ]
标签:
研究团队使用FAST探测到M71E双星系统,长期观测后确定这一系统两颗星绕[ 查看全文 ]
标签:
央视网消息(新闻联播):联合国人权理事会第53届会议20日就人权高专年[ 查看全文 ]

热门标签

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • 源代码和工具 | ...

  • 工信部发布5月打击...

  • 内蒙古新井煤矿事...

  • 注意!21日至25日...

  • 每日视讯:房贷降...

  • 温州发布雷电黄色...

图说健康

更多

体育健身

更多