雷电模拟器抓包配置
爬虫免不了抓包分析,当然也免不了中间转发相关的便捷操作。如果有一个稳定的、妥善的抓包环境。相信在爬虫开发中一定会事半功倍。
有真机当然是最好的,同时如果爬虫开发者并没有真机。那么模拟器变成为了不二之选。当然如果支持多开的话那就更好了。
业界比较知名的有
MuMu模拟器:https://mumu.163.com/
雷电模拟器:https://www.ldmnq.com/
夜神模拟器:https://www.yeshen.com/
在开发爬虫的时候,我个人使用的比较多的的是雷电模拟器,因为他支持多开(虽然这之间有限制),以及抓包也有些问题。但奈何,它支持多开啊。配合 Mitmproxy的组件譬如Mitmdump
简直不要太舒服。
雷电模拟器的安装
首先进入官网, 如下图所示,https://www.ldmnq.com/
选择更新日志,寻找历史版本。笔者这里使用的是3.74 较为稳定。以及支持网桥。
https://dl.softmgr.qq.com/original/game/ldinst_3.74.0.exe
选择3.74版本,主要是由于新版本的网桥这个bug在修复。以及完善度如何,至今不敢恭维。so,就选择较为稳定的它。
必须需要支持网桥,否则无法抓包。
抓包工具安装
抓包工具这里没什么好讲的,常规常见的都都行。
fiddle:https://www.telerik.com/download/fiddler
Charles: https://www.charlesproxy.com/
mitmproxy:https://www.mitmproxy.org/
都比较不错,具体选择那个请你酌情考虑。
雷电模拟器抓包配置
首先新建一个雷电模拟器,如下图所示。以及网桥设置如下。
当然记得安装桥接的驱动。
完成后,如下所示
以Mitmproxy的证书为例子,如下
首先需要安装mitmproxy,执行如下命令(在此之前需要有Python环境)
1 |
pip install mitmproxy |
如果配置了环境变量的话,首次执行一下mitmproxy相关的命令(由于非Uinux,是没有mitmrpoxy的),所以执行mitmweb
, 我个人建议是添加对应的端口。命令如下所示
1 |
mitmweb -p 8088 |
当然,我建议是8088,我习惯给他配置为mitm相关的抓包的端口。当然你可以选择其他的端口,当然后续操作就可能会有些许出入。
此时,进入~.mitmproxy
目录下
1 |
# windows |
使用ls
命令即可查看到相关的证书了!。我建议是在这里寻找到证书而非mitm.it,因为在手机上很有可能上不去
配置代理
在配置证书前,我强烈建议你先配置好代理端口。这将大大到降低与简化后续的操作。由于模拟器都是采用的自生的网络。直接配置WI-FI即可。如下
点击修改网络,以及高级配置,同时将代理选择为手动。如下图所示
端口在这里我设置为8088
, 代理服务器主机名。你可以在终端中的ifconfig
或者ipconfig
,中获取。在此便不再过多赘述。
配置证书
在~.mitmproxy
下将昵称为mitmproxy-ca-cert.pem
的文件拖入到雷电模拟器中,如下图所示
将该文件移动屏幕内,即可跳转到该目录
开始配置证书,打开设置-> 安全-> 从SD卡安装 选择证书所在的目录。双击即可安装
在终端中运行
1 |
mitmweb -p 8088 |
浏览百度
至此,证书就已经安装完成啦
Android 7 及以上的版本抓包
1 |
adb shell |