首页
论坛
课程
招聘
[原创]抖音短视频x-gorgon算法入口定位查找过程笔记
2020-6-2 17:44 28607

[原创]抖音短视频x-gorgon算法入口定位查找过程笔记

2020-6-2 17:44
28607


0x00:简介

        抖音作为目前流量最大、日活跃最高的平台,目前也有很多不同行业的人对它进行逆向分析研究,在抓包分析过程中,抖音的通讯会涉及到一个叫x-gorgon的签名,该签名是发送数据请求必不可少的基础参数,本贴就专门记录此次分析笔记。


0x01:抓包

        假设我们的业务需要爬虫获取抖音的热门视频列表,那么我们先通过抓包来定位到具体的接口,这里我选择使用charles工具进行抓包,具体配置https方法可以参考https://bbs.pediy.com/thread-258996.htm的方法。

        

        通过抓包发现接口是来自: https://aweme.snssdk.com/aweme/v2/feed/ 后面跟了很长的参数,具体字面意思分析估计是手机的型号以及抖音自己生成的一些信息,我们发现其返回的是protobuf格式,charles已经帮我们解析好了,那么我们编写python3脚本构造一个跟他一样的请求进行尝试。

        

        我们发现能够正常的返回数据,但是我们看到他的header除了 x-gorgon和x-tt-trace-id以外,其他的都很好理解,我们会发现,如果我们改变了URL的参数,但是header内容得不到对应的修改,就会返回不到数据,如下图所示:


0x01:分析

        那么我们就能够更加确信header里的x-gorgon对它进行了一次签名,所以我们直接jadx上手阅读一波反编译后的代码,这里我直接搜索了x-gorgon关键字,列出了以下结果:

这里我选择了hashMap.put("X-Gorgon", a3);这一行,跳转进去我们来分析一下它的代码

        这里我们看到有一个它的值是来自a3,a3则是通过String a3 = a.a(com.ss.sys.ces.a.leviathan(i, currentTimeMillis, a.a(a2 + str4 + str5 + str6)));这行代码进行获取到的结果,我们看到它传了4个参数,我们来仔细看一下这4个参数具体都是什么内容:

        a2来源:

            String b2 = tt.d(str);

            d.a(b2);

        str它就是该方法传进来的参数,我们后面可以通过hook方式来获取它的具体内容,而它会执行tt.d()、d.a() 进行2次操作,我们对其tt.d()跟进去

        

        我们看到它对这个字符串进行了取 ? 和 # 中间值,怀疑是url,如果是url证明它只是取了url后面的参数,那么继续看它的下一个方法:d.a() 

        

        我们看到这里就是进行了MD5签名取值,那么a2分析到此结束,我们继续分析第2个参数


        str4来源:

            

        这里非常简单,它就是枚举传进来的第二个参数map,判断如果有X-SS-STUB这个值的话就获取,反之则填充32个0,那么我们抓包发现并没有X-SS-STUB这个参数,实际上如果我们的包是POST的话它就会有,实际上它就是POST数据的一个MD5签名值。


        str5来源:

    

            str5也非常简单,也是枚举map里面有没有COOKIE,如果有就把COOKIE进行MD5,那么该参数也到此结束了


        str6来源:

String c2 = tt.e(str3);
if (c2 != null && c2.length() > 0) {
     str6 = d.a(c2);
     StcSDKFactory.getInstance().setSession(c2);
}

        这里我们记得str3是cookie,它执行了tt.e(str3) 方法获取一个返回值,如果它不是空同样给这个返回值md5,那么我们跟进去看一下它是做了什么处理:

    

        这里我们看到它是枚举了cookie里面有没有sessionid这个值,如果有就取出来,那么str6到此结束


        参数整理:

            a2 = md5(url) 疑似对网址的参数进行md5

            str4 = x-ss-stub,只有post时才有效,否则是32个0

            str5 = md5(cookie)  对cookie进行md5

            str6 = md5(cookie['sessionid'])    对cookie里面对sessionid进行md5,否则也是32个0


        我们整理完了这4条参数后,继续分析,它将这4个参数进行了字符串合并,接着执行 a.a(a2+str4+str5+str6),我们跟进去看看里面做了什么操作

  

        我们看到它这里循环了总长度/2次,每次都是把  str[i] 转换成十进制左移4,然后加上 str[i+1] 都一个简单运算,并返回结果,也就是本来是4个32位(128位)然后经过加密后缩短成了64位长度。最后它执行了com.ss.sys.ces.a.leviathan(i, currentTimeMillis, a.a(a2 + str4 + str5 + str6))进行计算,我们看到它还传了2个参数,i和currentTimeMillis,我们往前可以看到 i是-1,而currentTimeMillis是当前都十位时间戳。

    

        最后把计算好都byteArray经过位移转换成了string类型,并put到map里面,那么我们也清楚到看到,k-khronos也就是刚刚到currentTimeMillis时间戳了。我们发现由于om.ss.sys.ces.a.leviathan是在so层到libcms.so文件,并且里面有大量到混淆就没有再度分析。我们可以通过xposed或者unidbg到方法进行调用。


0x02:参数确认

        这里我们分析完了它算法到具体参数构造完成后,我们还需要确认它传到参数是否是我们所联想到,那么这里我们发现由于它这个方法是一个callback,我们往前跟一下,寻找一个合适到hook点,使用frida进行hook

        

        这里我对它进行了调用查找,看到只有1个地方,我们跟进去看看,跟进去之后它就是以下内容,就只是一个简单对赋值给sAddSecurityFactorProcessCallback,我们在对它进行调用查找,看看是什么地方对它进行对调用。

 public static void setAddSecurityFactorProcessCallback(a aVar) {

        sAddSecurityFactorProcessCallback = aVar;

    }    


    这里我们看到它从这里取的回调指针变量,然后判断如果不为null则执行,那么我们就可以直接hook这个方法:tryAddSecurityFactor$___twin___,这里我的hook代码也就比较简单,直接输出它传进去的map和str的值以及返回的map进行确认。

//frida -U com.ss.android.ugc.aweme -l test.js
Java.perform(function() {
    var NetworkParams = Java.use("com.bytedance.frameworks.baselib.network.http.NetworkParams");
    NetworkParams['tryAddSecurityFactor$___twin___'].implementation = function(str,map){
    var keyset = map.keySet();
    var it = keyset.iterator();
    console.log("str:\t"+str)
    while(it.hasNext()){
        var keystr = it.next().toString();
        var valuestr = map.get(keystr).toString()
        console.log("map:\t"+keystr+"\t"+valuestr)
    }
    var ret
    ret = this.tryAddSecurityFactor$___twin___(str,map);
    var keyset = ret.keySet();
    var it = keyset.iterator();
    while(it.hasNext()){
        var keystr = it.next().toString();
        var valuestr = ret.get(keystr).toString()
        console.log("ret map:\t"+keystr+"\t"+valuestr)
    }
    return ret;
    }
});


绿色部分就是str参数1的值,黄色则是map,蓝色则是返回的map,我们看下charles的这个包的header里的xgorgon是不是返回的值。


0x03:总结

        以上就是对抖音对一个简单的x-gorgon的分析笔记过程,希望能够有所帮助,也能够对自身的产品安全方面进行一个参考借鉴。



看雪2022 KCTF 秋季赛 防守篇规则,征题截止日期11月12日!(iPhone 14等你拿!)

收藏
点赞5
打赏
分享
最新回复 (41)
雪    币: 3030
活跃值: 活跃值 (1050)
能力值: ( LV8,RANK:120 )
在线值:
发帖
回帖
粉丝
angelToms 活跃值 2 2020-6-2 18:25
2
0
分析的真好,为楼主点赞,期望楼主更新更多的这样的文章!
雪    币: 1713
活跃值: 活跃值 (2985)
能力值: ( LV6,RANK:80 )
在线值:
发帖
回帖
粉丝
kzzll 活跃值 2020-6-2 18:38
3
0
angelToms 分析的真好,为楼主点赞,期望楼主更新更多的这样的文章!
捕捉到大佬
雪    币: 2690
活跃值: 活跃值 (1322)
能力值: ( LV3,RANK:30 )
在线值:
发帖
回帖
粉丝
Vn小帆 活跃值 2020-6-2 22:47
4
0
angelToms 分析的真好,为楼主点赞,期望楼主更新更多的这样的文章!
大佬  是要取阿里了么
雪    币: 4527
活跃值: 活跃值 (888)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
lyghost 活跃值 2020-6-3 07:42
5
0
大佬,so方法不逆向怎么调用呢?
雪    币: 8078
活跃值: 活跃值 (42922)
能力值: (RANK:105 )
在线值:
发帖
回帖
粉丝
Editor 活跃值 2020-6-3 09:41
6
0
感谢分享~
雪    币: 758
活跃值: 活跃值 (275)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
rookie江 活跃值 2020-6-4 09:13
7
0
优秀。感谢大佬
雪    币: 12
活跃值: 活跃值 (145)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
齐德龙 活跃值 2020-6-4 15:21
8
0
Java层的都是皮毛
雪    币: 134
活跃值: 活跃值 (64)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
System's 活跃值 2020-6-5 11:58
9
0
虽然主要部分在so层 不过也不错了啊
雪    币: 205
活跃值: 活跃值 (61)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
symofeng 活跃值 2020-6-8 14:19
10
0
继续跟到反混淆,ollvm抽出算法,单调仍然无用,还有Xlog的风控。
雪    币:
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
mb_dvykdjrm 活跃值 2020-6-9 17:55
11
0
大佬,你用jadx看的是反编译APK文件之后的哪个dex文件找到这个加密参数的啊;我这反编译之后有9个dex文件,搜遍了也搜不到这个x-gorgon参数
雪    币: 198
活跃值: 活跃值 (616)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
乐不思蜀1 活跃值 2020-6-10 09:57
12
0
dy是不是有反调试,ida f9一直崩溃
雪    币: 190
活跃值: 活跃值 (10)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
shazi 活跃值 2020-6-18 05:00
14
0
https://blog.csdn.net/chl191623691
这个是你吗?怎么感觉是偷你的链接?
雪    币: 1713
活跃值: 活跃值 (2985)
能力值: ( LV6,RANK:80 )
在线值:
发帖
回帖
粉丝
kzzll 活跃值 2020-6-19 02:32
15
0
shazi https://blog.csdn.net/chl191623691 这个是你吗?怎么感觉是偷你的链接?
谢谢大哥提醒,这是别人抄过去的。
雪    币: 62
活跃值: 活跃值 (183)
能力值: ( LV7,RANK:100 )
在线值:
发帖
回帖
粉丝
LoveMeiL 活跃值 2 2020-7-1 19:35
16
0
算法都有 比如点赞 但是就是功能用着有限制 点几次就不成功了  你可以过抖音的风控吗
雪    币: 1688
活跃值: 活跃值 (1756)
能力值: ( LV3,RANK:25 )
在线值:
发帖
回帖
粉丝
chionyuna 活跃值 2020-7-1 20:25
17
0
LoveMeiL 算法都有 比如点赞 但是就是功能用着有限制 点几次就不成功了 你可以过抖音的风控吗
抖音风控可以用设备池啊。
雪    币: 62
活跃值: 活跃值 (183)
能力值: ( LV7,RANK:100 )
在线值:
发帖
回帖
粉丝
LoveMeiL 活跃值 2 2020-7-1 20:51
18
0
chionyuna 抖音风控可以用设备池啊。
需求是一个设备哦 我自己当主播 给自己导流 不是一群ck给别人导流
雪    币: 400
活跃值: 活跃值 (334)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
satng 活跃值 2020-7-1 22:15
19
0

~

最后于 2020-8-20 22:45 被satng编辑 ,原因:
雪    币: 1402
活跃值: 活跃值 (3817)
能力值: ( LV8,RANK:146 )
在线值:
发帖
回帖
粉丝
Simp1er 活跃值 2020-7-1 23:34
20
0
LoveMeiL 需求是一个设备哦 我自己当主播 给自己导流 不是一群ck给别人导流
现在当主播真难,还得懂逆向
雪    币: 62
活跃值: 活跃值 (183)
能力值: ( LV7,RANK:100 )
在线值:
发帖
回帖
粉丝
LoveMeiL 活跃值 2 2020-7-2 10:14
21
0
satng 有算法,那就提交完整的风控数据,就可以了
哥们 你可以搞定么 合作下?
雪    币: 400
活跃值: 活跃值 (334)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
satng 活跃值 2020-7-2 15:38
22
0

~

最后于 2020-8-20 22:44 被satng编辑 ,原因:
雪    币: 344
活跃值: 活跃值 (314)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
hasking 活跃值 2020-7-2 17:47
23
0
看来就hook玩的转
雪    币:
能力值: ( LV1,RANK:0 )
在线值:
发帖
回帖
粉丝
mb_doqkisjb 活跃值 2020-7-3 16:25
24
0
有获取device_id 的接口吗
雪    币: 1777
活跃值: 活跃值 (643)
能力值: (RANK:10 )
在线值:
发帖
回帖
粉丝
mb_fyoyrybb 活跃值 2020-7-10 21:31
25
0
chionyuna 抖音风控可以用设备池啊。
你好 你说的设备池是怎么样的?
游客
登录 | 注册 方可回帖
返回