利用Cookie机制鉴别Tor Browser和爬虫
大概从8月6号中午开始,「暗网交易市场」的爬虫就开始疯狂报「登录失败」的错误,下午抽空修复了一下,发现deepmix的站长利用了一个Cookie机制配合Tor Browser的特性很巧妙地区分出正常访问和爬虫,记录一下浪费在这上面的两个小时。
大概从8月6号中午开始,「暗网交易市场」的爬虫就开始疯狂报「登录失败」的错误,下午抽空修复了一下,发现deepmix的站长利用了一个Cookie机制配合Tor Browser的特性很巧妙地区分出正常访问和爬虫,记录一下浪费在这上面的两个小时。
项目的想法大概在两年前就有了,不过刚开了个头就发现「即刻APP」可以很方便的自定义RSS和微信公众号机器人,比自己搞一套要简单得多,于是把所有的订阅源全部挪到了即刻上,但19年即刻全面关闭了自定义机器人的设置,之前的许多订阅源也失效了,急需折腾一套类似的服务出来。
虽然RSSHub已经比较完善了,但出于学习和更深度定制的需要,还是把之前的项目善始善终。功能上很简单,定时爬取指定的消息源,存入数据库,然后生成对应的RSS,最好能把阅读的功能也做在一起,但目前这个需求并不迫切,之后有心情再看,目前就只有几个API和一个爬虫在跑,后续会完善一下安装部署的相关文档。
某天看到 lightless 师傅的文章 Read MySQL Client's File,觉得这个「漏洞」真的非常神奇,小小研究了一下具体的利用。
看到许多人都是运营商开始慢慢下发 IPv6 了,想起来刚买好路由器的时候就有次试过 IPv6 的功能,当时 IP 是获取到了,但是访问非常慢,效果很差,这次看大家都说,应该是已经开始推进了。
今天又出了一起新闻,某程序员私自售卖xxx判刑三年,罚没所有违法所得,加上最近网警也在公司里做检查。。。心里好慌。。。所以想着要把国内IP封掉。
查壳发现有 UPX,脱掉之后 IDA 分析定位主函数进行逆向,sub_401080
。
*(_OWORD *)v4 = xmmword_41D740;
*(_OWORD *)&v4[4] = xmmword_41D730;
*(_OWORD *)&v4[8] = xmmword_41D7A0;
*(_OWORD *)&v4[12] = xmmword_41D760;
v5 = xmmword_41D7D0;
v6 = xmmword_41D750;
v7 = xmmword_41D790;
v8 = xmmword_41D780;
v9 = xmmword_41D7C0;
v10 = xmmword_41D7B0;
v11 = xmmword_41D770;
if ( a1 == 44 )
{
i = 0;
do
{
if ( (a2[i] ^ 0x22) != v4[i] )
break;
++i;
}
while ( i < 44 );
if ( i == 44 )
printf_1("success!\n", a3);
else
printf_1("wrong~\n", a3);
}
还是异或,抠出来异或一次好了。
翻译自 Git Out Of Trouble。
test
;创建一系列 commit,可使用如下脚本:
Bash
for d in {1..6};
do touch file$d.md;
git add file$d.md;
git commit -m "adding file $d";
done
PowerShell
for ($d=1; $d -le 6;$d++) {
touch file$d.md;
git add file$d.md;
git commit -m "adding file$d.md";
}