返回
编程
分类

我们在这里打算采用Nginx作为方向代理的服务器,Nginx不仅作为一款性能优异的负载均衡器

日期: 2020-01-02 08:17 浏览次数 : 138

Ningx作为负载均衡器的同时也是反向代理服器,配置语法相当简单,可以按轮询、IP_hash、url_必威官网亚洲体育 ,hash、权重等多种方法对后端的服务器作负载均衡,同时还支持后端服务器的健康检查。另外,它相对于LVS比较有优势的一点,由于它是基于第七层的负载均衡,是根据报头内的信息来执行负载均衡任务,所以对网络的依赖比较小,理论上只要ping得通就能够实现负载均衡;在国内,Nginx不仅作为一款性能优异的负载均衡器,它同时也是一款适用于高并发环境的WEB应用软件,在新浪、金山、迅雷在线等大型网站都得到了应用,其作为负载均衡器的优点如下:
1.配置文件非常简单:风格跟程序一样通俗易懂。
2.成本低廉:Nginx为开源软件,可以免费使用。而购买F5 BIG-IP、NetScaler等硬件负载均衡交换机则需要十多万至几十万人民币。
3.支持Rewrite重写规则:能够根据域名、URL的不同,将 HTTP 请求分到不同的后端服务器群组。
4.内置的健康检查功能:如果 Nginx Proxy 后端的某台 Web 服务器宕机了,不会影响前端访问。
5.节省带宽:支持 GZIP 压缩,可以添加浏览器本地缓存的 Header 头。
6.稳定性高:用于反向代理,宕机的概率微乎其微。特别是通过跟踪一些已上线的项目,发现在高并发的情况下,Nginx作为负器均衡器/反向代理宕机的次数几乎是零。

nginx解决方案

缺点就是目前仅仅只支持http和mail的负载均衡,不过我们可以取长被短,主要用它的支持Rewrite重写规则和稳定性高的特点,将其中间层的负载均衡.

1.方案场景

现有多台应用服务器,要实现所有的访问先访问到反向代理服务器上再转内部对应的应用。

反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。简而言之就是隐藏所有的服务器,与之相对的是正向代理,如我们常用的vpn,目的是隐藏访问客户端。

我们在这里打算采用Nginx作为方向代理的服务器

以上引用抚琴煮酒语录!

2.什么是nginx

Nginx("engine x")是一款是由俄罗斯的程序设计师Igor Sysoev开发高性能的 Web和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。
在高连接并发的情况下,Nginx是Apache服务器不错的替代品。


3.nginx安装

在/usr/local/src下进行,否则后面会编译错误

必威官网亚洲体育 1

3.1 安装编译工具和库文件

yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel

实验目的:

3.2 安装PCRE

PCRE 作用是让 Nginx 支持 Rewrite 功能。
下载 PCRE 安装包,下载地址: http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz

wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz

解压安装包

tar zxvf pcre-8.35.tar.gz

进入安装包目录

cd pcre-8.35

编译安装

./configure
make && make install

查看pcre版本

 pcre-config --version

若有版本显示,表明安装成功

1、通过Nginx反向代理服务器实现后台web服务器的快速访问。

3.3 安装Nginx

下载 Nginx,下载地址:

wget http://nginx.org/download/nginx-1.6.2.tar.gz

解压安装包

tar zxvf nginx-1.6.2.tar.gz

进入安装包目录

 cd nginx-1.6.2

编译安装

./configure --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre=/usr/local/src/pcre-8.35
make
make isntall

注意,编译安装的路径要按照实际安装的路径来,本次是在/usr/local/src下

查看nginx版本

/usr/local/webserver/nginx/sbin/nginx -v

若有版本显示,表明安装成功

2、通过Nginx反向代理服务器实现后台web服务器群的负载均衡及冗余备份

4.nginx的配置

nginx的配置文件在/usr/local/webserver/nginx/conf/nginx.conf下,我们只要修改nginx.conf的内容就可以修改Nginx的配置

配置文件的格式如下

main # 全局设置
events { # Nginx工作模式
    ....
}
http { # http设置
    ....
    upstream myproject { # 负载均衡服务器设置
        .....
    }
    server  { # 主机设置
        ....
        location { # URL匹配
            ....
        }
    }
    server  {
        ....
        location {
            ....
        }
    }
    ....
}

前期准备工作:

4.1 main模块

main区域是一个全局设置

#user 来指定Nginx Worker进程运行用户以及用户组,默认由nobody账号运行。
user  nobody;
#指定了Nginx要开启的子进程数。每个Nginx进程平均耗费10M~12M内存。根据经验,一般指定1个进程就足够了,如果是多核CPU,建议指定和CPU的数量一样的进程数即可。我这里写2,那么就会开启2个子进程,总共3个进程。
worker_processes  1;

#error_log 来定义全局错误日志文件。日志输出级别有debug、info、notice、warn、error、crit可供选择,其中,debug输出日志最为最详细,而crit输出日志最少。
error_log  logs/error.log;
error_log  logs/error.log  notice;
error_log  logs/error.log  info;
#pid 来指定进程id的存储文件位置。
pid        logs/nginx.pid;

1、单独在Apache上部署web(www1.rsyslog.org)服务器,并实现访问(简单介绍)

4.2 events模块

events模块来用指定nginx的工作模式和工作模式及连接数上限,一般是这样

events {
    use kqueue; #用来指定Nginx的工作模式
    #指定Nginx的单个进程的最大连接数,即接收到的前端的最大请求数,默认为1024
    worker_connections  1024;
}

Apache下域名虚拟主机在个人主页目录上实现过程

4.3 http模块

http是Nginx的核心模块,它负责http服务器相关属性的配置,里面的server和upstream子模块至关重要,我们在设置方向代理、负债均衡以及虚拟目录等的时候,就是依赖于这两个模块的配置

http {
     #设定mime类型,类型由mime.type文件定义
    include       /etc/nginx/mime.types;
    #设定了默认的类型为二进制流,也就是当文件类型未定义时使用这种方式
    default_type  application/octet-stream;

    #用于设置日志的格式,和记录哪些参数,这里设置为main,刚好用于access_log来纪录这种类型。
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';
    #设定日志文件,后面的main是日志的格式样式,对应于log_format的main。
    access_log    /var/log/nginx/access.log main;

    #用于开启高效文件传输模式。将tcp_nopush和tcp_nodelay两个指令设置为on用于防止网络阻塞。
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;

    #设置客户端连接保持活动的超时时间。在超过这个时间之后,服务器会关闭该连接。
    keepalive_timeout 10;

    #设定负载均衡的服务器列表
    upstream load_balance_server {
        ......
    }

   #HTTP服务器
   server {
       ......
    }
}

通过交互式脚本自动创建Apache虚拟主机

4.3.1 upstream模块

upstream主要负责负载均衡,通过一个简单的调度算法来实现客户端IP到后端服务器的负载均衡。

upstream test.com{
    ip_hash;
    server 123.206.117.62:80;
    server 123.206.117.62:80 down;
    server 123.206.117.62:8080  max_fails=3  fail_timeout=20s;
    server 123.206.117.62:8080;
}
  • 上面的代码,test.com是upstream指定的负载均衡器的名称,这个名称可以任意指定,在后面需要的地方直接调用即可。

  • ip_hash这是其中的一种负载均衡调度算法,Nginx的负载均衡模块目前支持4种调度算法:

    1. weight 轮询(默认)。每个请求按时间顺序逐一分配到不同的后端服务器,如果后端某台服务器宕机,故障系统被自动剔除,使用户访问不受影响。weight。指定轮询权值,weight值越大,分配到的访问机率越高,主要用于后端每个服务器性能不均的情况下。

    2. ip_hash。每个请求按访问IP的hash结果分配,这样来自同一个IP的访客固定访问一个后端服务器,有效解决了动态网页存在的session共享问题。

    3. fair(第三方)。比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,响应时间短的优先分配。Nginx本身是不支持fair的,如果需要使用这种调度算法,必须下载Nginx的upstream_fair模块。

    4. url_hash(第三方)。按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,可以进一步提高后端缓存服务器的效率。Nginx本身是不支持url_hash的,如果需要使用这种调度算法,必须安装Nginx的hash软件包。

  • server指定的是各种服务器,包括服务器的ip、端口以及每个后端服务器在负载均衡中的状态,常用的状态有:
  1. down,表示当前的server暂时不参与负载均衡。
  2. backup,预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候,才会请求backup机器,因此这台机器的压力最轻。
  3. max_fails,允许请求失败的次数,默认为1。当超过最大次数时,返回proxy_next_upstream 模块定义的错误。
  4. fail_timeout,在经历了max_fails次失败后,暂停服务的时间。max_fails可以和fail_timeout一起使用。

注意:当负载调度算法为ip_hash时,后端服务器在负载均衡调度中的状态不能是weight和backup。其它情况可以是weight,表示负载的权重,默认为1,weight越大,权重越大。

通过DNS View实现不同区域访问域名解析

4.3.2 server模块

server模块是http的子模块,它用来定一个虚拟主机,它的基本配置如下

server {
    #指定虚拟主机的服务端口
    listen 8080;
    #用来指定IP地址或者域名,多个域名之间用空格分开。
    server_name localhost 123.206.117.62 www.test.com;
    # 全局定义,如果都是这一个目录,这样定义最简单。
    root   /Users/marscheng/www; #示在这整个server虚拟主机内,全部的root web根目录。注意要和locate {}下面定义的区分开来。
    index  index.php index.html index.htm; #全局定义访问的默认首页地址。注意要和locate {}下面定义的区分开来。
    charset utf-8;#网页的默认编码格式
    #用来指定此虚拟主机的访问日志存放路径,最后的main用于指定访问日志的输出格式
    access_log  usr/local/var/log/host.access.log  main;
    #错误日志文件
    error_log  usr/local/var/log/host.error.log  error;
    #用于定位的配置
    location / {
          ....  
        }

}

DNS配置详解一 DNS相关概念理解及配置基础

location模块

location模块一般是在server中定义的,它在Nginx中用的最多,无论是负载均衡、反向代理还是虚拟域名,都跟它的配置有关。

location是用来定位,解析url,定位URL,所以,它也提供了强大的正则匹配功能,也支持条件判断匹配,用户可以通过location指令实现Nginx对动态、静态网页进行过滤处理。

  1. 设定默认首页和虚拟机目录
location / {
  #指令用于指定访问根目录时,虚拟主机的web目录,这个目录可以是相对路径(相对路径是相对于nginx的安装目录)。也可以是绝对路径。
  root   /Users/marscheng/www;
  #用于设定我们只输入域名后访问的默认首页地址,有个先后顺序:index.php index.html index.htm,如果没有开启目录浏览权限,又找不到这些默认首页,就会报403错误。
  index  index.jsp index.html index.htm;
}
  1. 用正则表达式匹配
location ~ .html$ { #匹配.html结尾的URL,用来解析html文件。里面的root也是一样,用来表示虚拟主机的根目录。
  root           /Users/marscheng/www;
  fastcgi_pass   127.0.0.1:9000;
  fastcgi_index  index.html;
  include        fastcgi.conf;
}

这里只是简单介绍,详细的配置可以参考这篇文章:

网上还有一篇介绍Nginx比较好的,文章,地址如下:

配置一个简单的Apache虚拟主机:

5.方案设计

根据场景设计了如下的配置方案:

http {
    #此处省略一些基本配置

    upstream product_server{
        server 9.236.2.35:8081;
    }

    upstream admin_server{
        server 9.236.2.36:8082;
    }

    upstream finance_server{
        server 9.236.2.37:8083;
    }

    server {
        #此处省略一些基本配置
        #根据不同正则匹配默认指向不同的的server
        location / {
            proxy_pass http://product_server;
        }

        location /product/{
            proxy_pass http://product_server;
        }

        location /admin/ {
            proxy_pass http://admin_server;
        }

        location /finance/ {
            proxy_pass http://finance_server;
        }
    }
}
[[email protected] ~]#sed -i 's/#NameVirtualHost/NameVirtualHost/' /etc/httpd/conf/httpd.conf //将#去掉,启动虚拟主机功能 [[email protected] ~]# cat >> /etc/httpd/conf/httpd.conf <<endf //添加一台虚拟主机 ><VirtualHost *:80>>   DocumentRoot /var/local/www >   ServerName www1.rsyslog.org ></VirtualHost>> endf [[email protected] ~]# mkdir /var/local/www1 //创建虚拟主机目录 [[email protected] ~]# echo "This is www1.rsyslog.org website" >/var/local/www1/index.html //创建虚拟主机测试页 [[email protected] ~]# cat /var/local/www1/index.html This is www1.rsyslog.org website [[email protected] ~]# /etc/rc.d/init.d/httpd restart //重启httpd服务 Stopping httpd:                      [ OK ] Starting httpd:                      [ OK ] [[email protected] ~]# [[email protected] ~]# vim /var/named/view/zone/Others.rsyslog.org.zone //在DNS服务器上添加A记录 www1      A    192.168.100.104 [[email protected] ~]# /etc/rc.d/init.d/named restart //重启DNS服务器,使记录生效 Stopping named: .                     [ OK ] Starting named:                      [ OK ] [[email protected] ~]# cat /etc/resolv.conf //在web服务器上添加DNS地址,进行测试 nameserver 192.168.100.102 [[email protected] ~]# nslookup www1.rsyslog.org //通过nslookup先解析域名是否OK Server:   192.168.100.102 Address:  192.168.100.102#53 Name:  www1.rsyslog.org Address: 192.168.100.104 [[email protected] ~]# links -dump http://www1.rsyslog.org //通过links命令测试网站是否能够正常访问   This is www1.rsyslog.org website [[email protected] ~]# 

2、单独在Nginx上部署web(www2.rsyslog.org)服务器,并实现访问(简单介绍)

Nginx实战基础篇一源码包编译安装部署web服务器

Nginx上虚拟主机的实现过程

//nginx搭建过程略 [[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf //在nginx.conf中添加一台虚拟主机 http ……… { server {     listen    80;     server_name www1.rsyslog.org ; 
    location / {       root  www1;       index index.html index.htm;     } 
} ……. } [[email protected] ~]# mkdir /usr/local/nginx/www2 //创建虚拟主机目录 [[email protected] ~]# echo "This is www2.rsyslog.org website" >/usr/local/nginx/www2/index.html //创建测试页 [[email protected] ~]# /etc/rc.d/init.d/nginx restart //重启nginx服务器 nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful Stopping nginx:                      [ OK ] Starting nginx:                      [ OK ] 
[[email protected] ~]# vim /var/named/view/zone/Others.rsyslog.org.zone //dns服务器上添加A记录 www2  A    192.168.100.105 
[[email protected] ~]# nslookup www2.rsyslog.org //测试域名是否能够正确解析 Server:   192.168.100.102 Address:  192.168.100.102#53 
Name:  www2.rsyslog.org Address: 192.168.100.105 
[[email protected] ~]# links -dump http://www2.rsyslog.org //通过links命令测试网站是否能够正常访问   This is www2.rsyslog.org website 

1、部署Nginx反向代理服务器,实现代理和负载均衡**

Nginxupstream目前支持5种方式的分配**

1 轮询(默认)

每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。

2weight

指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。

例如:

upstream bakend { server 192.168.100.104 weight=10; server 192.168.100.105 weight=10; } 

3ip_hash

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以

解决session的问题。

例如:

upstream bakend { ip_hash; server 192.168.100.104:80; server 192.168.100.105:80; } 

4fair(第三方)

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

例如:

upstream bakend { server 192.168.100.104:80; server 192.168.100.105:80; fair; } 

5url_hash(第三方)

按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务

器为缓存时比较有效。

例如:

upstream backend { server 192.168.100.104:3128; server 192.168.100.105:3128; hash $request_uri; hash_method crc32; 

每个设备的状态设置为:**

  1. down 表示单前的server暂时不参与负载

  2. weight 默认为1.weight越大,负载的权重就越大,根据服务器性能而定

  3. max_fails :允许请求失败的次数默认为1.当超过最大次数时,返回proxy_next_upstream 模块定义的错误

  4. fail_timeout:max_fails次失败后,暂停的时间。

5. backup:其它所有的非backup机器down或者忙的时候,请求backup机器。所以这台机器压力会最轻。

Nginx支持同时设置多组的负载均衡,用来给不用的server来使用。

安装nginx过程略 [[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf ……… //内容略 http { …….. //内容略     client_max_body_size 300m; //允许客户端请求的最大单个文件字节数,它出现在请求头部的Content-Length字段。(可以更改此参数达到限制用户上传文件大小的目的)     client_body_buffer_size 128k; \缓冲区代理缓冲客户端请求的最大字节数,可以理解为先保存到本地再传给用户。 这个指令可以指定连接请求使用的缓冲区大小,默认值:8k/16k 。如果客户端请求一个文件大于128k,则Nginx会尝试在硬盘上创建临时文件。如果硬盘满了,则会报错。     client_body_temp_path /dev/shm/client_body_temp; \这个指令指定连接请求试图写入缓存文件的目录路径。     proxy_connect_timeout 600; \跟后端服务器连接的超时时间,发起握手等候响应超时时间     proxy_read_timeout 600; \连接成功 _等候后端服务器的响应时间_其实已经进入后端的排队中等候处理。默认值:     proxy_send_timeout 600; \后端服务器回传时间_就是在规定时间内后端服务器必须传完所有的数据。设置代理服务器转发请求的超时时间,同样指完成两次握手后的时间,如果超过这个时间代理服务器没有数据转发到后端服务器,nginx将关闭连接。     proxy_buffer_size 16k; \代理请求缓存区_这个缓存区间会保存用户的头信息来提供Nginx进行规则处理。一般只要能保存下头信息即可。默认值:proxy_buffer_size 4k/8k 。设置从后端服务器读取的第一部分应答的缓 冲区大小,通常情况下这部分应答中包含一个小的应答头。     proxy_buffers 4 32k; \设置用于读取应答(来自后端服务器)的缓冲区数目和大小,告诉Nginx保存单个用的几个 Buffer,最大用多大空间     proxy_busy_buffers_size 64k; \如果系统很忙的时候可以申请更大的proxy_buffers,官方推荐*2     proxy_temp_file_write_size 64k; \设置在写入proxy_temp_path时缓存临文件数据的大小,在预防一个工作进程在传递文件时阻塞太长。     proxy_temp_path /dev/shm/proxy_temp; \类似于http核心模块中的client_body_temp_path指令,指定一个目录来缓冲比较大的被代理请求。 
upstream  rsyslog.org_pool {     server 192.168.100.104:80 weight=4max_fails=2fail_timeout=30s; //为了做测试两台服务器默认性能都一样,平均负载     server 192.168.100.105:80 weight=4max_fails=2fail_timeout=30s;     } \HTTP负载均衡模块。upstream这个字段设置一群服务器,可以将这个字段放在proxy_pass和fastcgi_pass指令中作为一个单独的实体,它们可以是监听不同端口的服务器,并且也可以是同时监听TCP和Unix socket的服务器。 服务器可以指定不同的权重,默认为1。 
   server {     listen    80;     server_name www.rsyslog.org; //设置所有web服务器负载的共同域名     index index.html index.htm; 
    location / {           proxy_pass http://rsyslog.org_pool/; //确定需要代理的URL,端口或socket。           proxy_set_header Host $host;           proxy_redirect off; \如果需要修改从后端服务器传来的应答头中的"Location"和"Refresh"字段,可以用这个指令设置。           proxy_set_header X-Real-IP $remote_addr; \这个指令允许将发送到后端服务器的请求头重新定义或者增加一些字段。 这个值可以是一个文本,变量或者它们的组合。           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;           proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404; \当后端服务器遇到500、502、503、504、404错误与超时,自动将请求转发给rsyslog.org_pool组的另一台服务器,达到故障转移           } \#确定在何种情况下请求将转发到下一个服务器: #error - 在连接到一个服务器,发送一个请求,或者读取应答时发生错误。 #timeout - 在连接到服务器,转发请求或者读取应答时发生超时。 #invalid_header - 服务器返回空的或者错误的应答。 #http_500 - 服务器返回500代码。 #http_502 - 服务器返回502代码。 #http_503 - 服务器返回503代码。 #http_504 - 服务器返回504代码。 #http_404 - 服务器返回404代码。 #off - 禁止转发请求到下一台服务器。       } } 
[[email protected] ~]# vim /var/named/view/zone/Others.rsyslog.org.zone www   A    192.168.100.106 

测试效果

必威官网亚洲体育 2

必威官网亚洲体育 3

必威官网亚洲体育 4

必威官网亚洲体育 5

本文出自 “小诺的Linux开源技术博客” 博客,请务必保留此出处

...