关于微信公众号《云爬虫技术研究笔记》可以看到更多哦!
最近发现搜狗微信在2019.10.29号的时候悄然下线了一个功能,也就是不能在搜狗搜索中指定公众号的名称,如下图
很多媒体以及社区也在讨论相关的话题
这样的话,我们就没有办法准确的搜索到某个公众号的最新的文章了,所以我们要是想要去实时追踪到某个公众号的最新文章的话,就不能通过搜狗这个渠道来爬取了。
于是,我整理了一下截止目前的微信公众号的爬取方式
实战方面参考了四哥的文章做了些改进,下面我们开始边分析边实战
讲一个常识,像微信这种社交类的App,我们和对方在发消息的过程中的聊天记录都是会保存在我们本地,所以我们通常都能看到我们的聊天记录,也可以清理他们,所以如果我们想要拦截微信的消息的话,就得Hook微信的Insert *** ,也就是他们插入数据库的 *** 。
那我们该从哪里入手呢?相信大家百度搜索Hook微信的时候都会搜到一类内容,就是如何解密微信本地的数据库,而微信在我们手机上的存储位置又有一个关键词–EnMicroMsg.db,这个就是我们的入口,我们需要在微信源码中全文搜索这个词,我们使用的微信是6.5.3,工具是Jadx,实际操作如下
我们搜索出EnMicroMsg.db之后就要每个结果去分析看哪个是比较有“眼缘”的结果。我们可以看到,第三条名字是onSQLExecuted,嗯?有点像,跟进去看看。
主要看最后一条,引用了另一个 *** 进行存储,再跟进去
看到了涉及数据库的Help类,我们猜测这个类应该是一个辅助类,那么Insert *** 应该在这个类下面,我们在这个类中搜索
好的,我们跟到这里能够看到很直观的Sql语句拼接的过程,那么这个 *** 的参数应该是我们收到的消息的值,只要Hook这个 *** ,我们就可以去拿到插入数据库时的值了。
代码片段就是这个样子,下面我们把这个代码打包成Apk,勾选,重启Xposed,下面可以发送消息测试看看效果了。
我们首先先用另一个微信号给我们自己发送普通的消息
看到这里,Content的字段,值就是我们发送的1
接着我们再用另一个微信号给我们发送公众号文章
可以看到一大段代码,我们看到Reversed字段是由很多乱码和字段以及值组成的,那么我猜测微信内部实现了一个解码工具,如果我们能够Hook到这个解码工具,是不是就可以获取到解码之后的正确数据了呢?说到解码,根据微信以往的数据传输来看,这些数据很有可能是以XML的格式进行传输的,既然涉及到xml,那就一定是键值对的形式,我们去到的数据中除了有乱七八糟的小方块,还有诸如“.msg.appmsg.category.item”这类看起来有用的内容。
我们在全文搜索一下
奇怪?我们并没有发现什么值得的东西?怎么回事,回想一下是不是我们发送的消息有问题?对!我们应该拿的是微信公众号的推送,而不是别人向我们推的公众号文章,那我就用我的公众号给我自己推一个预览消息,结果如下
我们再根据刚才的逻辑,全文搜索msg.appmsg.mmreader.category.item,之后我们一个个分析,看到下面这个部分,跟进去
我们查看这一段代码,看到下面这个部分有我们之前拦截到的消息的参数
我们发现我们需要的字段的值都来自于Yd,而Yd来自于az.Yd,那很可能这个就是我们想要Hook的解密器,我们跟进去看看
这段代码看起来很像是解码的,话不多说,Hook试试!
不出我们的猜想,这个 *** 果然是,我们再进行解析,得到如图的效果。
这次Hook算是比较简单的案例,主要是寻找Hook *** 的思路,把微信公众号的推送当成一个消息,我们去Hook这个消息存入数据库的过程从而得到原生数据,再找到原生数据解密的地方,从而通过Hook原生数据解密的 *** 得到正确的解码数据,最后完成我们的实时获取微信公众号推送的目的。
前两年在二线大厂工作,目前在创业公司搬砖
接触方向是爬虫和云原生架构方面
有丰富的反爬攻克经验以及云原生二次开发经验
其他诸如数据分析、黑客增长也有所涉猎
做过百余人的商业分享以及多次开办培训课程
目前也是CSDN博客专家和华为云享专家
震惊 | 只需3分钟!极速部署个人Docker云平台
深入理解Python的TLS机制和Threading.local()
我为什么不建议你使用Python3.7.3?
下一代容器架构已出,Docker何去何处?看看这里的6问6答!!
公众号内回复“私藏资料”即可领取爬虫高级逆向教学视频以及多平台的中文数据集
免责声明: 本文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请读者自负。
篇幅有限,暂时列举以上第三方开发平台功能给大家。 目前使用微信公众号的朋友很多,有做自媒体的,也有想做本地服务的,很多朋友在申请了微信公众号后,使用微信公众平台自带功能进行吸...
微信公众号推出使用已经4年了,在2014年,微信公众号的红利期到达了顶峰,在2015年开始走下坡路,而大家也知道微信公众号的打开率也在慢慢降低。这个原因也是多种多样的,比如头条号、一点号、搜狐、天...
【#央视揭山寨招生公众号骗局#扩散周知,警惕!】账号抢注,内容高仿,打着某地“招生官网”的旗号引流、推广、牟利…许多地区招生部门的微信公众号被个人和商业机构提前抢注,仿冒官方进行虚假宣传。不仅如此,这...
公众号软文投放的市场已经比较成熟了,现在品牌主做广告,基本上都会考虑这些新媒体渠道。那么公众号打广告怎么收费,有哪些决定广告费价位的因素? 目前公众号的软文没有一个标准定价,也不能简单以粉丝数、阅读...
微信公众号用户: 近期,部分商家无视平台规则和用户体验,屡次利用朋友圈“集赞”,甚至出现预付邮费欺诈、骚扰用户现象。为保障用户体验和利益,6月9日起,我们将升级全新技术手段,采用技术+人工举报的方式...
继前不久大幅降低企业号认证门槛后,日前微信公众账号又开启了评论功能内测。部分微信公众账号已经拥有评论功能开通权限。 微信公众账号开通评论功能后,用户查看文章可以在文章最下面看到评论区。点击“写评论”...