版本:
HDP:3.0.1.0
HBase:2.0.0
一、前言
为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFile和WAL数据。
HBase配置的AES加密是一种端到端的加密模式,其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密,当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询,只有经过认证的客户端才能查看解密内容。
详情可以参考HBase官方文档:http://hbase.apache.org/book.html#hbase.encryption.server
二、AES算法简介
这里只是对AES算法的一个简单说明。
AES是一个对称加密算法
下面简单介绍下各个部分的作用与意义:
密钥K
用来加密明文的密码,在对称加密算法中,加密与解密的密钥是相同的。密钥为接收方与发送方协商产生,但不可以直接在网络上传输,否则会导致密钥泄漏,通常是通过非对称加密算法加密密钥,然后再通过网络传输给对方,实际中,一般是通过RSA加密AES的密钥,传输到接收方,接收方解密得到AES密钥,然后发送方和接收方用AES密钥来通信。
密钥是绝对不可以泄漏的,否则会被攻击者还原密文,窃取机密数据。
AES加密函数
设AES加密函数为E,则 C = E(K, P),其中P为明文,K为密钥,C为密文。也就是说,把明文P和密钥K作为加密函数的参数输入,则加密函数E会输出密文C。
AES解密函数
设AES解密函数为D,则 P = D(K, C),其中C为密文,K为密钥,P为明文。也就是说,把密文C和密钥K作为解密函数的参数输入,则解密函数会输出明文P。
三、配置步骤
接下来主要介绍需要在hbase-site.xml文件内增加哪些配置。最后通过ambari页面将自定义配置加到hbase-site.xml中。分为以下几步:
- 使用keytool实用程序为AES加密创建适当长度的密钥。
cd /usr/hdp/3.0.1.0-187/hbase/conf/ # 生成hbase.jks keytool -keystore hbase.jks -storetype jceks -storepass admin123 -genseckey -keyalg AES -keysize 128 -alias hbase
- hbase.jks:表示生成的jks文件存储路径。
- admin123:代表存储的密码。
- AES:表示加密的类型,目前仅支持AES。
- 128:表示密钥的长度,AES支持128位长度。
- hbase:为密钥文件的别名。
设置hbase.jks权限
在密钥文件上设置适当的权限,并将其分发给所有HBase服务器。 上一个命令在/usr/hdp/3.0.1.0-187/hbase/conf/目录下创建了一个名为hbase.jks的文件。设置此文件的权限和所有权,以便只有HBase服务帐户用户可以读取该文件,并将密钥安全地分发给所有HBase服务器。
# 在每台机器上执行以下命令: cd /usr/hdp/3.0.1.0-187/hbase/conf chmod 600 hbase.jks chown hbase:hadoop hbase.jks # 通过scp命令将文件传输到各节点的指定位置 scp -r hbase.jks root@xxx:/usr/hdp/3.0.1.0-187/hbase/conf # 拷贝完成后,也需要设置文件的相关权限,600。
配置HBase daemons
在集群的hbase-site.xml中设置以下属性,配置HBase守护程序以使用由KeyStore文件支持的密钥提供程序或检索集群主密钥。在下面的示例中,admin123为密码,可自定义。
# 自定义hbase-site: hbase.crypto.keyprovider=org.apache.hadoop.hbase.io.crypto.KeyStoreKeyProvider hbase.crypto.keyprovider.parameters=jceks:///usr/hdp/3.0.1.0-187/hbase/conf/hbase.jks?password=admin123
默认情况下,HBase服务帐户名称将用于解析群集主密钥。但是,您可以使用任意别名(在keytool命令中)存储它。在请将以下属性设置为您使用的别名。
# 自定义hbase-site: hbase.crypto.master.key.name=hbase
您还需要确保您的HFile使用HFile v3,以便使用透明加密。这是HBase 1.0以后的默认配置。对于以前的版本,请在hbase-site.xml文件中设置以下属性。
# 自定义hbase-site: hfile.format.version=3
配置Configure WAL encryption
通过设置以下属性,在每个RegionServer的hbase-site.xml中配置WAL加密。您也可以将这些包含在HMaster的hbase-site.xml中,但是HMaster没有WAL并且不会使用它们。
# 自定义hbase-site: hbase.regionserver.hlog.reader.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogReader hbase.regionserver.hlog.writer.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogWriter hbase.regionserver.wal.encryption=true
配置hbase-site.xml文件的权限。
由于密钥库密码存储在hbase-site.xml中,因此需要确保只有HBase用户可以使用文件所有权和权限读取hbase-site.xml文件。
chmod -R 600 hbase-site.xml
将上述配置添加到自定义hbase-site中,重启HBase服务。
创建加密类型为AES的表
格式:create ‘<table name>‘, {NAME => ‘<column family name>‘, ENCRYPTION => ‘AES’}
create 'hbase_1102', {NAME=>'cf1', ENCRYPTION => 'AES'}, {NAME=>'cf2'} put'hbase_1102', '001','cf1:name','Tom' put'hbase_1102', '001','cf1:gender','man' put'hbase_1102', '001','cf2:chinese','90' put'hbase_1102', '001','cf2:math','91' put 'hbase_1102', '001','cf2:math','91', 1557566858555 # 删除hbase的一条数据 delete 'hbase_1102', '001', 'cf2:math' # 根据时间戳来获取数据 get 'hbase_1102','001',{COLUMN=>'cf2:math',TIMESTAMP=>1555768605232}
四、总结
HBase目前只支持AES加密,它是一种端到端的加密模式,其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密,当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询,只有经过认证的客户端才能查看解密内容。
关于HBase自定义扩展加密方式,比如支持SMS4加密/解密,正在研究。等实现了的话,再好好跟大家分享。