567 views
Python开发 / python爬虫

03.哈希算法/摘要算法

xiaoying
文章目录

摘要算法

在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。

消息摘要算法/签名算法：MD5、SHA、HMAC

1. MD5

简介：全称 MD5 消息摘要算法，又称哈希算法、散列算法，由美国密码学家罗纳德·李维斯特设计，于 1992 年作为 RFC 1321 被公布，用以取代 MD4 算法。摘要算法是单向加密的，也就是说明文通过摘要算法加密之后，是不能解密的。摘要算法的第二个特点密文是固定长度的，它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。之所以叫摘要算法，它的算法就是提取明文重要的特征。所以，两个不同的明文，使用了摘要算法之后，有可能他们的密文是一样的，不过这个概率非常的低。

1.1 JavaScript 实现

地址：https://www.autohome.com.cn/changsha/

安装对应的模块

npm install crypto-js  --save

使用案例


var CryptoJS = require('crypto-js')

function MD5Test() {
    var text = "I love python!"
    return CryptoJS.MD5(text).toString()
}

console.log(MD5Test())

1.2 Python 实现

import hashlib

def md5_test2():
    md5 = hashlib.md5()
    md5.update('python'.encode('utf-8'))
    print(md5.hexdigest())

if __name__ == '__main__':
    md5_test2()

总结：MD5哈希视为字符串，而是将其视为十六进制数， MD5哈希长度为128位，通常由32个十六进制数字表示。

2. SHA

简介：全称安全哈希算法，由美国国家安全局（NSA）所设计，主要适用于数字签名标准里面定义的数字签名算法，SHA 通常指 SHA 家族的五个算法，分别是 SHA-1、SHA-224、SHA-256、SHA-384、SHA-512，SHA 是比 MD5 更安全一点的摘要算法，MD5 的密文是 32 位，而 SHA-1 是 40 位，版本越强，密文越长，代价是速度越慢。

2.1 JavaScript 实现


var CryptoJS = require('crypto-js')

function SHA1Encrypt() {
    var text = "I love python!"
    return CryptoJS.SHA1(text).toString();
}

console.log(SHA1Encrypt())

2.2 Python 实现

import hashlib

def sha1_test2():
    sha1 = hashlib.sha1()
    sha1.update('I love python!'.encode('utf-8'))
    print(sha1.hexdigest())

if __name__ == '__main__':
    sha1_test2()

3. HMAC

简介：全称散列消息认证码、密钥相关的哈希运算消息认证码，于 1996 年提出，1997 年作为 RFC 2104 被公布，HMAC 加密算法是一种安全的基于加密 Hash 函数和共享密钥的消息认证协议，它要求通信双方共享密钥 key、约定算法、对报文进行 Hash 运算，形成固定长度的认证码。通信双方通过认证码的校验来确定报文的合法性。

参考资料：

3.1 JavaScript 实现


var CryptoJS = require('crypto-js')

function HMACEncrypt() {
    var text = "I love python!"
    var key = "secret"   
    return CryptoJS.HmacMD5(text, key).toString


();
    
    
}
console.log(HMACEncrypt())

3.2 Python 实现

import hmac

def hmac_test1():
    message = b'I love python!'
    key = b'secret'
    md5 = hmac.new(key, message, digestmod='MD5')
    print(md5.hexdigest())


def hmac_test2():
    key = 'secret'.encode('utf8')
    sha1 = hmac.new(key, digestmod='sha1')
    sha1.update('I love '.encode('utf8'))
    sha1.update('Python!'.encode('utf8'))
    print(sha1.hexdigest())

if __name__ == '__main__':
    hmac_test1()  
    hmac_test2()

4. 实战案例

4.1 案例 md5加密逆向

4.1.1 逆向目标
4.1.2 逆向分析
  1. 先进行抓包，可以看到有一个签名信息 sign

  1. 数据加密位置，可以在这儿进行分析

4.1.3 python代码模拟


import hashlib
import requests,time,random
import math


class Crawl():

    def __init__(self):
        self.headers = {
            'Cookie': 'OUTFOX_SEARCH_USER_ID=322076570@10.169.0.83; JSESSIONID=aaaZhLm5ZNK87a08TerIx; OUTFOX_SEARCH_USER_ID_NCOO=1158799533.2810698; ___rl__test__cookies={}'.format(math.ceil(time.time() * 1000)),

            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36',

            'Referer': 'http://fanyi.youdao.com/',
        }

        self.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

    def spider(self,key):

        times = str(math.ceil(time.time() * 1000) + random.randint(1, 10))
        sign = self.Md5("fanyideskweb" + key + str(times) + "Tbh5E8=q6U3EXe+&L[4c@")

        data = {
            "i": key,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": times,
            "sign": sign,
            "lts": times[:-1],
            "bv": "cda1e53e0c0eb8dd4002cefc117fa588",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_REALTlME"
        }
        res = requests.post(self.url, data=data, headers=self.headers).json()
        if res.get('errorCode') == 0:
            print('执行的结果:' + res.get('translateResult')[0][0]['tgt'])

    def Md5(self,value):
        md = hashlib.md5()
        md.update(value.encode('utf8')) 
        return md.hexdigest()

if __name__ == '__main__':
    while True:
        s = input('请输入你不懂的话术&&输入y退出:')
        Crawl().spider(s)
        if s == 'y':
            break

4.2 案例sha256系列

逆向目标

4.2.1 抓包分析：
  1. 通过对比，可以发现这个参数每次都会切换

4.2.2 调试加密地地点
  1. 打开全局搜索 sign关键字

  1. 参数加密地点

4.2.3 python代码实现
import urllib3,requests,time,json
urllib3.disable_warnings()
import hashlib

months = input("请输入查询月份：")
days = input("请输入查询日期,2天以内：")
times = str(int(time.time()) * 1000)
params = {"no":"dy0002","data":{"days":1,"rankType":5,"liveDay":f"2022-{months.zfill(2)}-{days.zfill(2)}"}}
print(params)
dd = json.dumps(params)
def get_sign():
    data = f'param={dd}&timestamp={times}&tenant=1&salt=kbn%&)@<?FGkfs8sdf4Vg1*+;`kf5ndl



data_sha <span>=</span> hashlib<span>.</span>sha256<span>(</span>data<span>.</span>encode<span>(</span><span>'utf-8'</span><span>)</span><span>)</span><span>.</span>hexdigest<span>(</span><span>)</span>
<span>return</span> data_sha

def get_data():
s = get_sign()
datas = {"param":dd,"sign":s,"tenant":"1","timestamp":times,"token":t}
url = 'https://ucp.hrdjyun.com:60359/api/dy'
res = session.post(url,headers=headers,data=json.dumps(datas))
if res.json().get('status') == 0:
data = res.json().get('data')['rankList']
for d in data:
items = {}
items['抖音名'] = d.get('anchorName')
items['带货销量'] ='%.2f' % (d.get('salesVolume') / 10000) + '万'
items['带货销售额'] = '%.2f' % (d.get('salesMoney') / 1000000) + '万'
items['粉丝'] = '%.2f' % (d.get('fans') / 10000) + '万'
items['在线人数'] = '%.2f' % (d.get('online') / 10000) + '万'
items['时间'] =d.get('liveDay')
print(items)

if name == 'main':
reads = """
本接口只开放抖音带货销量日榜
可以根据日期查询
"""
print(reads)
get_data()

影子专属博客 赣ICP备17013143号