爬虫概念\HTTP协议\加密方式

1. 爬虫的概念 : 通过编写代码, 来自动控制浏览器来抓去数据

2. 爬虫协议: robots.txt 协议 , 该协议里面注明了哪些信息允许爬虫 , 哪些不允许 , 违反改协议的爬虫行为可判定为恶意爬虫 , 有承担法律责任的风险

3. HTTP协议 : 是服务器端和客户端进行信息传递的一种协议 , 只有双方遵循该相同的协议才能进行数据传输

    常用请求头: - User-Agent: 请求载体的信息(一般为所使用的浏览器相关信息); 

        - Connection: 请求完毕后, 是否保持连接的

 常用相应头: - Content-Type: 服务器相应客户端的数据类型

 

4. HTTPS协议: 安全的超文本传输协议

5. 加密方式: - 对称密钥加密: 客户端发送请求时对请求数据进行加密, 然后将密文和密钥一起发送给服务器, 服务器拿到密钥后对密文进行解密

        - 非对称密钥加密: 服务器自己定义一种加密方式, 并将此加密方式(公钥)告诉客户端, 客户端拿到公钥后在发送请求时利用公钥进行加密

      - 证书加密: 服务器将公钥交给第三方机构(证书机构)进行数字化签名, 证书机构再将带数字签名的公钥发送给客户端, 客户端再利用此公钥进行加密

 

推荐这些文章:

window环境下给centos中配制SSH密钥登录的方法(用winscp上传公钥文件,简单方便)

一: 在window中先生成公钥与密钥文件
        
 
       生成后点  保存公钥和保存密钥 , 注: 保存公钥时扩展名不需要,保存密钥时扩展名可用填写ppk
二: 服务器中安装SSH
yum install -y openssh-server
在root目录下并不存在 .ssh文件夹
    
三: 上传公钥文件到服务器(可用winscp软件上传 简单方便)
用winscp软件通过密码连接到服务器后,依次点会话-向服务器安装公钥
&n...

linux生成密钥及免密登录

来源:Loong Panda
 

说明
Secure Shell 协议,简称 SSH,是一种加密网络协议,用于客户端和主机之间的安全连接,并支持各种身份验证机制。以下主要介绍Linux系统如何设置基于 SSH 密钥的身份验证,以及如何免密连接到主机的教程。
 
生成密钥
1. 生成密钥对
    默认:
        ssh-keygen -t rsa
    指定参数:
        ssh-keygen -t rsa -b 4096...

数据加密算法简单介绍

加密算法主要分2类:1.不可逆(不可还原)     md5、sha2等哈希算法生成的密文不可还原。网络所谓的破解是暴力破解,穷举所有明文对应的密文,从而由密文反推明文。     也就是相当于此类算法函数没有反函数。由 x 可以得到 y,由 y 得不到 x。
2.可逆(可还原)      可逆是算法又分为对称加密和非对称加密:2.1 对称加密:指加密解密用的是同一把密钥,由明文得到密文需要某个密钥,由密文得到明文时也需要这个密钥。      因此这个密钥需要保密不能让别人知道...

计网复习 https的加密过程

参考:HTTP和HTTPS的简单认识和区别以及HTTPS的加密过程
HTTTP是超文本传输协议(应用层),Https是在http上增加了一个安全层(SSL/TLS)。
对称加密:1.客户端向服务端发送请求连接, 服务端的确认请求连接中带上一个随机生成的秘钥 
                  2.客户端接收到密钥后,发送信息时需要将明文通过密钥加密后再发送给服务端
                 3....

HTTP:聊一聊HTTPS

一、什么是https
https是http的升级,因为http是明文传输的,所以非常不安全,https在http的基础上进行了数据加密。

 
二、https的加密方式
1.对称加密
服务端会给客户端发送一个key,客户端利用key来进行数据加密,传输给服务端,服务端再用key进行解密。
但是这样黑客依然可以利用劫持key来或者数据

2.非对称加密
非对称加密是有一个私钥和一个公钥,服务器会把私钥发给客户端,客户端用来加密传输给服务器,服务器利用公钥进行解密,这样黑客即便是劫持了私钥,也不能解密数据

三、https会同时使用对称和非对称加密方式
原因是为了节省成本
先看看两种加...

详细理解 https 单向认证和双向认证原理

转载自:https://blog.csdn.net/qq_25406669/article/details/80596664

HTTP 简介: HyperText Transfer Protocol,超文本传输协议,是互联网上使用最广泛的一种协议,所有WWW文件必须遵循的标准。HTTP协议传输的数据都是未加密的,也就是明文的,因此使用HTTP协议传输隐私信息非常不安全。 使用TCP端口为:80
HTTPS
Hyper Text Transfer Protocol over Secure Socket
Layer,安全的超文本传输协议,网景公式设计了SSL(Secure Sock...

PKI及SSL协议分析

实验目的
了解和掌握证书服务的安装,理解证书的发放过程,掌握在WEB服务器上配置SSL, 使用HTTPS协议访问网站以验证结果,最后对HTTPS协议进行分析。
预备知识
 PKI
 PKI是Public Key Infrastructure的缩写,是指用公钥概念和技术来实施和提供安全服务的具有普适性的安全基础设施。PKI是由硬件、软件、策略和人构成的系统,当完善实施后,能够为敏感通信和交易提供一套信息安全保障,包括保密性、完整性、真实性和不可否认。
      PKI的基本组成
      完...

HTTPS协议 公钥和私钥的算法解析

1、HTTPS协议
加密通讯原理

 
 HTTPS实在HTTP协议上加了一层 SSL/TSL层
SSL/TSL表示传输安全层
HTTP直接把数据传送到TCP,而HTTPS先把数据传送到安全层进行验证,在转交到TCP
 
HTTPS (安全的HTTP)是 HTTP 协议的加密版本。它通常使用 SSL (en-US) 或者 TLS 来加密客户端和服务器之间所有的通信 。这安全的链接允许客户端与服务器安全地交换敏感的数据,例如网上银行或者在线商城等涉及金钱的操作
 
1.1解密...

HTTP 与 HTTPS、加密

HTTP  的 缺点 :  

不验证通信双方的身份, 因此可能会造成身份的伪造。

  

  值得信任的第三方机构办法的证书, 证明服务器和客户端都是真实存在的。
        任何人都可以发起请求, 所以可能造成DOS攻击  

通信的过程中不进行加密,使用明文传输,造成 内容可能会被窃听。

  
通信线路的加密
内容加密

无法证明报文的完整性, 可能会在 报文内容 被篡改的风险。

         可能会造成中间人攻击 
常用的使用 MD...

https安全传输原理

1. 客户端向服务器端发送请求
2. 服务器将非对称加密的公钥A传输给客户端,
3. 客户端随机生成一个对称加密的密钥, 并用公钥A进行加密,发送给服务器。 
4. 服务器拿到加密后的数据后,用私钥A进行解密,拿到对称加密的密钥对数据进行解密。
这个还是会存在安全问题:

服务器端发送给客户端的非对称加密的公钥被劫持到,伪造一个假的公钥B 发送给客户端,

客户端随机生成一个对称加密的密钥,并用公钥B进行加密,劫持之后,用私钥B进行解密,拿到对称加密的密钥,然后再用公钥A进行加密,传送给服务器,服务端再进行解密操作
整个过程完成狸猫换太子

安全问题的根本原因在于浏览器无法判断公钥的真...

文章标题:爬虫概念\HTTP协议\加密方式
文章链接:https://www.dianjilingqu.com/50862.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>