asoul吧
为了治一治社区里那些引战的串子，我搞了个B站评论采集工具
16310592 24 603 0
楼主：甘雨露翛然 入形帕鲁最后回复：噼噼啪啪323 索拉里斯✨救济猎人
1楼
甘雨露翛然
入形帕鲁
兄弟们，我是鸣潮玩家，最近社区里串子越来越多，带节奏的、反串的、滑坡的，看得人血压高
。忍不了，我就想能不能搞点数据自己分析一下，看看哪些账号、哪些言论是惯犯，顺便也帮同好整理一些评论素材，正好暑假我也有空就开始瞎捣鼓。
然后我就用AI（没错，大部分代码都是AI生成的，我就是个缝合怪）搓了一个叫BiliSpider的小工具，主要功能就是爬B站评论，支持按UP主批量拉，还能一级二级评论都存下来，本地SQLite，自带去重。
这是gui
然后我就用AI（没错，大部分代码都是AI生成的，我就是个缝合怪）搓了一个叫BiliSpider的小工具，主要功能就是爬B站评论，支持按UP主批量拉，还能一级二级评论都存下来，本地SQLite，自带去重。
这是gui
本来只是自己用，后来想着大家一起玩更效率，就加了一套JSONL数据协作流程——有人爬过的数据导出来，别人导进去就能合并，不用重复爬。具体怎么操作我就不贴了，反正命令什么的都写在了项目README里，自己去看就行。
项目地址丢这儿：网页链接
我就盯着暗区里的UP主爬，这是爬出来的数据库转明文后的.jsonl示例（这玩意现在十几万条评论就4Mb了，估计之后会变得很大）
项目地址丢这儿：网页链接
我就盯着暗区里的UP主爬，这是爬出来的数据库转明文后的.jsonl示例（这玩意现在十几万条评论就4Mb了，估计之后会变得很大）
工具目前支持扫码登录、查用户视频、爬评论、导入导出、数据校验、简单GUI这些，适合做课程作业、数据分析，或者像我一样想揪串子留档的。
但是！我现在有个很慌的问题：我完全不知道这个工具算不算违反B站协议，毕竟爬虫这东西灰色地带，我也没深入研究过，能做到这个地步完全就是站在前人和ai的肩膀上。虽然代码里加了延时和随机抖动，但万一被阿姨盯上，我自己用用倒还好，如果推广出来大家用，会不会害了别人？所以各位老哥用之前自己掂量，最好看看B站用户协议，如果觉得有问题就千万别用，我也只是写着玩，真不想惹麻烦。
另外再次强调：代码大部分是AI写的，我只是把各段拼起来调了调，你们别指望我技术多牛，有问题欢迎提issue，但别喷我，我也在学。
最后，频率千万别太高，我试过1.5秒+1秒抖动感觉还稳，我已经爬一夜了，没事，但别作死。再往上加到时候你号被封了别来找我
但是！我现在有个很慌的问题：我完全不知道这个工具算不算违反B站协议，毕竟爬虫这东西灰色地带，我也没深入研究过，能做到这个地步完全就是站在前人和ai的肩膀上。虽然代码里加了延时和随机抖动，但万一被阿姨盯上，我自己用用倒还好，如果推广出来大家用，会不会害了别人？所以各位老哥用之前自己掂量，最好看看B站用户协议，如果觉得有问题就千万别用，我也只是写着玩，真不想惹麻烦。
另外再次强调：代码大部分是AI写的，我只是把各段拼起来调了调，你们别指望我技术多牛，有问题欢迎提issue，但别喷我，我也在学。
最后，频率千万别太高，我试过1.5秒+1秒抖动感觉还稳，我已经爬一夜了，没事，但别作死。再往上加到时候你号被封了别来找我
。仅供个人学习和研究用，别拿去搞商业或者攻击平台，咱就图个乐。
有愿意一起攒数据集，或者想帮忙看看协议问题的，欢迎来GitHub聊聊，PR、issue都行。如果这玩意儿真有问题，我随时删库跑路
溜了溜了。
有愿意一起攒数据集，或者想帮忙看看协议问题的，欢迎来GitHub聊聊，PR、issue都行。如果这玩意儿真有问题，我随时删库跑路
溜了溜了。
