当前位置: 首页 > GreenPlum > 正文

GreenPlum数据库安装系列第一篇:非mirror模式Master软件安装

本文简要记录NO Mirror模式GreenPlum的Master安装过程,不涉及Segment的安装及数据库初始化内容。本实验操作系统为OEL 6.5,GPDB版本为4.3.6.2。

  • 系统设置

1.1 设置hosts解析(所有节点,Master和Segments)

[root@mdw ~]# cat /etc/hosts
10.9.15.20      mdw
10.9.15.24      sdw1
10.9.15.26      sdw2
10.9.15.28      sdw3

1.2 内核参数设置(所有节点,Master和Segments)

[root@mdw ~]# vi /etc/sysctl.conf 

kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 500000000
kernel.shmall = 4000000000
kernel.shmmni = 4096
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.conf.default.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
vm.overcommit_memory = 2

通过sysctl –p命令使之生效。

[root@mdw ~]# sysctl -p

1.3 limit设置(所有节点,Master和Segments)

[root@mdw ~]# vi /etc/security/limits.conf

*  soft  nofile  65536
*  hard  nofile  65536
*  soft  nproc  131072
*  hard  nproc  131072

1.4 设置I/O调度策略(所有节点,Master和Segments)

Linux默认的I/O调度模式是CFQ,通常需要修改I/O调度策略为deadline,本实验环境为OEL6.5版本的Linux,默认I/O调度模式已经修改为deadline。可以通过下面的命令查看I/O调度策略。

[root@mdw ~]# cat /sys/block/sda/queue/scheduler 
noop [deadline] cfq

如果I/O调度策略是CFQ,通常需要修改为deadline模式。如果临时修改I/O调度策略,只需要修改/sys/block/sda/queue/scheduler文件即可,如下:

[root@mdw ~]# echo deadline > /sys/block/sda/queue/scheduler
[root@mdw ~]# cat /sys/block/sda/queue/scheduler 
noop [deadline] cfq

如果永久修改I/O调度策略,则需要修改/boot/grub/menu.lst文件,增加elevator=deadline。

[root@mdw ~]# vi /boot/grub/menu.lst 

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE:  You have a /boot partition.  This means that
#          all kernel and initrd paths are relative to /boot/, eg.
#          root (hd0,0)
#          kernel /vmlinuz-version ro root=/dev/sda3
#          initrd /initrd-[generic-]version.img
#boot=/dev/sda
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title Oracle Linux Server Unbreakable Enterprise Kernel (3.8.13-16.2.1.el6uek.x86_64)
        root (hd0,0)
        kernel /vmlinuz-3.8.13-16.2.1.el6uek.x86_64 ro root=UUID=1fb9c4cf-3cf4-47db-bf4a-0a87958d477d rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16   KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM elevator=deadline rhgb quiet
        initrd /initramfs-3.8.13-16.2.1.el6uek.x86_64.img
title Oracle Linux Server Red Hat Compatible Kernel (2.6.32-431.el6.x86_64)
        root (hd0,0)

由于本实验使用的OEL6.5操作系统,默认的I/O调度策略已经修改为deadline模式,此步骤不需要修改。

1.5 修改磁盘预读扇区数(所有节点,Master和Segments)

通过修改预读扇区数,可以有效磁盘的读性能,特别是顺序读,GPDB数据库要求最小磁盘扇区数为16384,建议设置为65535,通常默认磁盘预读扇区是256。

[root@mdw ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        40G  5.5G   32G  15% /
tmpfs           2.0G   72K  2.0G   1% /dev/shm
/dev/sda1       190M   54M  126M  31% /boot
[root@SL010A-IVBIDG1 ~]# blockdev --getra /dev/sda3
256
[root@mdw ~]# /sbin/blockdev --setra 65535 /dev/sda3
[root@SL010A-IVBIDG1 ~]# blockdev --getra /dev/sda3
65528

修改为65535,实际值为65528。

  • 安装Master

2.1 创建gpadmin用户(所有节点,Master和Segments)

[root@mdw ~]# groupadd -g 520 gpadmin
[root@mdw ~]# useradd -u 520 -g gpadmin gpadmin
[root@mdw ~]# passwd gpadmin
Changing password for user gpadmin.
New password: gpadmin
BAD PASSWORD: it is based on a dictionary word
BAD PASSWORD: is too simple
Retype new password: gpadmin
passwd: all authentication tokens updated successfully.
[root@mdw ~]# id gpadmin
uid=520(gpadmin) gid=520(gpadmin) groups=520(gpadmin)

2.2创建软件安装目录(所有节点,Master和Segments)

[root@mdw ~]# mkdir -p /gpdb/app
[root@mdw ~]# chown -R gpadmin:gpadmin /gpdb/

/gpdb目录为GPDB的BASE目录,/gpdb/app为GPDB的HOME目录。

2.3上传并解压GPDB安装文件(仅Master节点)

[root@mdw ~]# ll /gpdb/
total 136932
-rw-r--r-- 1 gpadmin gpadmin 140216379 Nov 19 17:01 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip

[gpadmin@mdw gpdb]$ unzip greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip 
Archive:  greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip
  inflating: README_INSTALL          
  inflating: greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin  

2.4安装GPDB软件(仅Master节点)

直接运行greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin文件即可进行安装。

[gpadmin@mdw gpdb]$ /bin/bash greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin

然后会弹出好几页的许可信息,许可信息略,下面是许可信息后面的内容。

I HAVE READ AND AGREE TO THE TERMS OF THE ABOVE PIVOTAL SOFTWARE
LICENSE AGREEMENT.

********************************************************************************
Do you accept the Pivotal Database license agreement? [yes|no]
********************************************************************************

必须输入YES才可继续安装。

yes

********************************************************************************
Provide the installation path for Greenplum Database or press ENTER to 
accept the default installation path: /usr/local/greenplum-db-4.3.6.2
********************************************************************************

默认GPDB的安装路径为/usr/local/greenplum-db-4.3.6.2,确认需要输入YES,如果需要安装到其他路径,直接输入要按照的路径即可。

/gpdb/app

********************************************************************************
Install Greenplum Database into </gpdb/app>? [yes|no]
********************************************************************************

输入YES确认安装位置,稍等片刻,安装完成。

yes

Extracting product to /gpdb/app

********************************************************************************
Installation complete.
Greenplum Database is installed in /gpdb/app

Pivotal Greenplum documentation is available
for download at http://docs.gopivotal.com/gpdb
********************************************************************************

安装完成会在/gpdb/app目录下生成以下文件。

[gpadmin@mdw app]$ ll
total 276
drwxr-xr-x 3 gpadmin gpadmin   4096 Nov 13 16:05 bin
drwxr-xr-x 2 gpadmin gpadmin   4096 Nov 13 15:54 demo
drwxr-xr-x 5 gpadmin gpadmin   4096 Nov 13 15:56 docs
drwxr-xr-x 2 gpadmin gpadmin   4096 Nov 13 15:56 etc
drwxr-xr-x 3 gpadmin gpadmin   4096 Nov 13 15:56 ext
-rw-r--r-- 1 gpadmin gpadmin  43025 Nov 13 16:05 GPDB-LICENSE.txt
-rw-rw-r-- 1 gpadmin gpadmin    654 Jan  9 17:06 greenplum_path.sh
drwxr-xr-x 6 gpadmin gpadmin   4096 Nov 13 15:56 include
drwxr-xr-x 9 gpadmin gpadmin   4096 Nov 13 15:56 lib
-rw-r--r-- 1 gpadmin gpadmin 192912 Nov 13 16:05 LICENSE.thirdparty
drwxr-xr-x 2 gpadmin gpadmin   4096 Nov 13 16:05 sbin
drwxr-xr-x 4 gpadmin gpadmin   4096 Nov 13 15:54 share

greenplum_path.sh:Greenplum数据库环境变量文件

GPDB-LICENSE.txt:Greenplum许可协议

bin:管理工具、客户端程序及服务程序

demo:示例程序

docs:帮助文档

etc:OpenSSL的配置示例

ext:一些GP工具使用的捆绑程序

inlcude:C头文件

lib:库文件

sbin:支持的或者内部的脚本和程序

share:共享文件

并且在/gpdb/app的上层目录会创建名字为greenplum-db的软连接,方便安装文件的迁移。

[gpadmin@mdw gpdb]$ cd ../
[gpadmin@mdw gpdb]$ ll
total 276048
drwxrwxr-x 11 gpadmin gpadmin      4096 Jan  9 17:06 app
lrwxrwxrwx  1 gpadmin gpadmin         5 Jan  9 17:06 greenplum-db -> ./app
-rwxr-xr-x  1 gpadmin gpadmin 142441643 Nov 13 16:06 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin
-rw-r--r--  1 gpadmin gpadmin 140216379 Nov 19 17:01 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip
-rw-r--r--  1 gpadmin gpadmin      6997 Nov 13 16:06 README_INSTALL

2.5设置GPDB环境变量(仅Master节点)

上文所述greenplum_path.sh为GPDB的环境变量,为使每次登录主机,GPDB的环境变量都生效,可以将该文件添加到profile文件中。

[gpadmin@mdw app]$ vi /home/gpadmin/.bash_profile 

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH
source /gpdb/app/greenplum_path.sh

这样再次登录主机的时候,环境变量就会自动加载生效。至此,Master节点安装完成。

本文固定链接: http://www.dbdream.com.cn/2016/01/greenplum%e9%9d%9emirror%e6%a8%a1%e5%bc%8fmaster%e8%bd%af%e4%bb%b6%e5%ae%89%e8%a3%85/ | 信春哥,系统稳,闭眼上线不回滚!

该日志由 dbdream 于2016年01月11日发表在 GreenPlum 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: GreenPlum数据库安装系列第一篇:非mirror模式Master软件安装 | 信春哥,系统稳,闭眼上线不回滚!
关键字: , , ,

GreenPlum数据库安装系列第一篇:非mirror模式Master软件安装:等您坐沙发呢!

发表评论

快捷键:Ctrl+Enter