Nginx Tomcat负载均衡动静分离原理解析

Nginx/Web服务器
425
0
0
2023-03-19
Nginx 请求压缩的实现(动态压缩,静态压缩)
上一篇
Nginx的优化、安全与防盗链实例详解
下一篇
标签   Tomcat Nginx负载均衡 Nginx动静分离
目录
  • nginx实现负载均衡原理
  • nginx动静分离原理
  • nginx静态处理优势
  • nginx+tomcat动静分离、负载均衡配置
  • 1.准备三台服务器，nginx作为负载均衡器，tomcat作为应用服务器
  • 2.部署nginx负载均衡器
  • 3.部署两台tomcat应用服务器
  • 4.动静分离配置
  • 5.测试效果
  • nginx负载均衡中4层代理和7层代理
  • 4层代理和7层代理
  • 代理原理
  • 优缺点对比
  • nginx支持的代理类型
  • nginx负载均衡模式
  • Nginx 四层代理配置

nginx实现负载均衡原理

Nginx实现负载均衡是通过反向代理实现

反向代理（Reverse Proxy） 是指以 代理服务器（例：Nginx） 来接受 internet 上的连接请求，然后将请求转发给内部网络上的服务器（例：Tomcat），并将从服务器上得到的结果返回给 internet 上请求连接的客户端，此时代理服务器（例：Nginx）对外就表现为一个反向代理服务器。 

我们从客户端的视野来看，实际上客户端并不知道真实的服务提供者是哪台服务器，它只知道它请求了反向代理服务器。因此反向代理这种方式又对外隐藏了真实服务器的地址，从一定程度上降低了安全隐患。

nginx动静分离原理

服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由 Nginx 提供服务，动态资源由 Nginx 转发至后端。

nginx静态处理优势

  • Nginx 处理静态页面的效率远高于 Tomcat 的处理能力 
  • 若 Tomcat 的请求量为1000次，则 Nginx 的请求量为6000次 
  • Tomcat 每秒的吞吐量为0.6M，Nginx 的每秒吞吐量为3.6M 
  • Nginx 处理静态资源的能力是 Tomcat 处理的6倍

nginx+tomcat动静分离、负载均衡配置

1.准备三台服务器，nginx作为负载均衡器，tomcat作为应用服务器

Nginx 服务器：192.168.136.30:80
Tomcat服务器1：192.168.136.20:8080
Tomcat服务器2：192.168.136.40:8080  192.168.136.40:8081

2.部署nginx负载均衡器

systemctl stop firewalld
setenforce 0
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx   #创建nginx用户不可登录家目录

将压缩包传到opt目录下

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/
cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \	                        #启用文件修改支持
--with-http_stub_status_module \		#启用状态统计
--with-http_gzip_static_module \		#启用 gzip静态压缩
--with-http_flv_module \			#启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module				#启用 SSL模块，提供SSL加密功能
----------------------------------------------------------------------------------------------------------
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module


make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

3.部署两台tomcat应用服务器

将所需软件包传到opt目录下

tomcat1：

systemctl stop firewalld
setenforce 0
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile.d/java.sh
tar zxvf apache-tomcat-8.5.16.tar.gz
mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh
netstat -ntap | grep 8080

tomcat2：

cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm 
rpm -ivh jdk-8u201-linux-x64.rpm 
java -version
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
tar zxvf apache-tomcat-9.0.16.tar.gz
mkdir /usr/local/tomcat
mv apache-tomcat-9.0.16 /usr/local/tomcat/tomcat1
cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2
vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1
#tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2
------------------------------
source /etc/profile.d/tomcat.sh
vim /usr/local/tomcat/tomcat2/conf/server.xml
<Server port="8006" shutdown="SHUTDOWN">		#22行，修改Server prot，默认为8005 -> 修改为8006
<Connector port="8081" protocol="HTTP/1.1"		#69行，修改Connector port，HTTP/1.1  默认为8080 -> 修改为8081
<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />	#116行，修改Connector port AJP/1.3，默认为8009 -> 修改为8010
------------------------------
第一个连接器默认监听8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。
第二个连接器默认监听8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。
------------------------------
vim /usr/local/tomcat/tomcat1/bin/startup.sh 
#------------------------------
# Start Script for the CATALINA Server
#------------------------------
##添加以下内容
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
#------------------------------
# Stop script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1
vim /usr/local/tomcat/tomcat2/bin/startup.sh 
#------------------------------
# Start Script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
vim /usr/local/tomcat/tomcat2/bin/shutdown.sh
#------------------------------
# Stop script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2
/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 
netstat -natp | grep java

tomcat1

tomcat2

4.动静分离配置

（1）Tomcat1 server 配置

mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>
vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
	</Context>
</Host>
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh

（2）Tomcat2 server 配置

mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test
vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title>   #指定为 test2 页面
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>
vim /usr/local/tomcat/tomcat1/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true" />
</Host>
/usr/local/tomcat/tomcat1/bin/shutdown.sh 
/usr/local/tomcat/tomcat1/bin/startup.sh 
vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test3 page</title>   #指定为 test3 页面
</head>
<body>
<% out.println("动态页面 3,http://www.test3.com");%>
</body>
</html>
vim /usr/local/tomcat/tomcat2/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true" />
</Host>
/usr/local/tomcat/tomcat2/bin/shutdown.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh

  （3）Nginx server 配置

#准备静态页面和静态图片
echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /opt/game.jpg /usr/local/nginx/html/img
vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	upstream tomcat_server {
		server 192.168.136.20:8080 weight=1;
		server 192.168.136.40:8080 weight=1;
		server 192.168.136.40:8081 weight=1;
	}
	server {
		listen 80;
		server_name www.t2.com;
		charset utf-8;
		#access_log logs/host.access.log main;
		#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
			proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
			proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
			root /usr/local/nginx/html/img;
			expires 10d;
		}
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}
systemctl restart nginx

5.测试效果

测试静态页面效果 

浏览器访问 http://192.168.136.30/ 

浏览器访问 http://192.168.136.30/game.jpg 

测试负载均衡效果，不断刷新浏览器测试

浏览器访问 http://192.168.136.30/index.jsp 

nginx负载均衡中4层代理和7层代理

4层代理和7层代理

这里的层是OSI 7层网络模型，OSI 模型是从上往下的，越底层越接近硬件，越往上越接近软件，这七层模型分别是物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。 

 4层是指传输层的 tcp / udp 。 7层是指应用层，通常是http 。

代理原理

4层用的是NAT技术。NAT英文全称是“Network Address Translation”，中文意思是“网络地址转换”，请求进来的时候，nginx修改数据包里面的目标和源IP和端口，然后把数据包发向目标服务器，服务器处理完成后，nginx再做一次修改，返回给请求的客户端。 

 7层代理：需要读取并解析http请求内容，然后根据具体内容(url,参数，cookie,请求头)然后转发到相应的服务器，转发的过程是：建立和目标机器的连接，然后转发请求，收到响应数据在转发给请求客户端。 

优缺点对比

性能： 理论上4层要比7层快，因为7层代理需要解析数据包的具体内容，需要消耗额外的cpu。但nginx具体强大的网络并发处理能力， 对于一些慢连接，nginx可以先将网络请求数据缓冲完了一次性转发给上游server,这样对于上游网络并发处理能力弱的服务器(比如tomcat)，这样对tomcat来说就是慢连接变成快连接(nginx到tomcat基本上都是可靠内网),从而节省网络数据缓冲时间，提供并发性能。 

 灵活性： 由于4层代理用的是NAT，所以nginx不知道请求的具体内容，所以nginx啥也干不了。 用7层代理，可以根据请求内容(url,参数，cookie,请求头)做很多事情，比如： 

 a:动态代理：不同的url转发到不同服务器。 

 b.风控：屏蔽外网IP请求某些敏感url；根据参数屏蔽某些刷单用户。 

 c.审计：在nginx层记录请求日志。

nginx支持的代理类型

反向代理  代理服务端 7层反向代理 4层反向代理  正向代理  代理客户端  代理缓存

nginx负载均衡模式

●rr 负载均衡模式：

每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。

●least_conn 最少连接：

优先将客户端请求调度到当前连接最少的服务器。

●ip_hash 负载均衡模式：

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。

●fair（第三方）负载均衡模式：

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

●url_hash（第三方）负载均衡模式：

基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。

Nginx 四层代理配置

./configure --with-stream
和http同等级：所以一般只在http上面一段设置，
stream {
    upstream appserver {
		server 192.168.136.20:8080 weight=1;
		server 192.168.136.40:8080 weight=1;
		server 192.168.136.40:8081 weight=1;
    }
    server {
        listen 8080;
        proxy_pass appserver;
    }
}
http {
......
Nginx 请求压缩的实现(动态压缩,静态压缩)
上一篇
Nginx的优化、安全与防盗链实例详解
下一篇