原创

大数据安全规范

版权声明:本文为博主原创文章,遵循 CC 4.0 BY 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://lidong.blog.csdn.net/article/details/51203201

大数据安全规范

   

一、概述

大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。下面依次说明:

1.周边安全技术即传统意义上提到的网络安全技术,如防火墙等;

 

2.数据安全包括对数据的加解密,又可细分为存储加密和传输加密;还包括对数据的脱敏;

 

3.访问安全主要是对用户的认证和授权两个方面:

用户认证(Authentication)
即是对用户身份进行核对, 确认用户即是其声明的身份, 这里包括用户和服务的认证

用户授权(Authorization)

即是权限控制,对特定资源, 特定访问用户进行授权或拒绝访问。用户授权是建立再用户认证的基础上,没有可靠的用户认证谈不上用户授权。

访问安全还包括数据验证(data validation)

1> type.   int string等
2> format. phone
email
3> length.
4> range.
5> precense or absence.
6> match in lookup tables.
7> other bussiness rules 

4.访问行为可见多指记录用户对系统的访问行为(审计和日志):如查看哪个文件;运行了哪些查询;访问行为监控一方面为了进行实时报警,迅速处置危险的访问行为;另一方面为了事后调查取证,从长期的数据访问行为中分析定位特定的目的。


 5.错误处理和异常管理

这个主要是针对错误发现,一般做法是建立并逐步完善的监控系统,对可能发生或已发生的情况进行预警或者告警。还包括异常攻击事件监测,目前发现的针对攻击的办法有:

1>攻击链分析,按照威胁检测的时间进行分析,描述攻击链条

2>相同类型的攻击事件进行合并统计

3>异常流量学习正常访问流量,流量异常时进行告警


在这五个层次中,第三层(访问安全)同业务的关系最为直接:应用程序的多租户,分权限访问控制都直接依赖这一层的技术实现,那么我们的重点也将放在这一层上。众所周知的是, hadoop本身提供的认证(主要是kerberos)不易维护,授权(主要是ACL)又很粗粒度,为此我们通过对两个重量级公司(Cloudera和Hortonworks)开源的关于安全的服务进行对比(参见博文)后决定使用Hortonworks开源的Ranger。 Ranger为企业级hadoop生态服务提供了许多安全套件,通过集中化权限管理为用户/组提供文件、文件夹、数据库、表及列的认证、授权控制,还可以提供审计(通过solr进行查询),新推出的RangerKMS还支持对hdfs数据加密等

二、大数据平台安全规范之访问安全


2.1用户身份认证

通过Ranger提供的用户/组同步功能实现认证,Ranger可以整合Unix或者LDAP进行用户认证管理


2.2 用户权限管理


2.2.1 账号管理

帐号分为运维帐号和开发用户帐号。

 

运维帐号按服务拆为多个账号,不同的账号操作不同的服务,具体如下:

 

服务

用户

Flume

flume

HDFS

hdfs

MapReduce

mapred

HBase

hbase

Hive

hive

Kafka

kafka

Oozie

oozie

Ranger

ranger

Spark

spark

Sqoop

sqoop

Storm

storm

YARN

yarn

ZooKeeper

zookeeper

Ambari Metrics

ams

  

开发用户账号,每个用户一个帐号,按团队分组,不同的账号或组操作不同的文件或表,如果需要操作别人的数据,需要运维进行授权

 

2.2.2 目录和文件规范

目录

规则

/source

主要存储原始采集的日志,存储规则如下: /source/{业务名称}/{日期},其中:

    业务名称: 比如发送记录等

    日期:    格式统一为yyyyMMdd

/data

存储的规范和source一样, 数据仓库之前的文件临时目录

清理时间待定

/workspace

工作空间,存储规则如下:/workspace/{团队名称}/{业务名称|产品名称}

 对方

/user

用户空间,存储用户私有数据,仅用户自己可以访问。按照开发人员

自己的习惯组织存储文件,用于存储用户的测试数据,

清理时间待定
当员工离职账户注销,空间存储回收。

/user/hive/warehouse

存储hive仓库,按照团队创建库;公共日志按照业务名进行创建,

每个团队可以创建一个属于团队的hive库

/temp

用来存储一些临时文件

 

每月清理一次

 





2.2.3 用户权限管理

权限管理有2种方案,ACL方案(粗粒度)和 ranger方案(细粒度),基于我们的数据需求,先考虑使用ranger提供的细粒度权限控制

 

使用Ranger UI界面进行权限的管理,目前各个服务提供的权限如下:

服务

服务详情

权限

HDFS

hdfs path

Read、Write、Execute

HBase

table、column family、column

Read、Write、Create、Admin

Hive

database、table|function、column

Select、Update、Create、Drop、Alter、Index、Lock、All

YARN

queue

Submit-job、Admin-queue

Kafka

topic

Publish、Consume、Configure、Describe、Kafka Admin





团队权限分配


团队

团队成员组

服务

权限

dp(数据平台)

dp

HDFS

Read、Write、Execute

HBase

Read、Write

Hive

Select

YARN

Submit-job

Kafka

Publish、Consume、Configure、Describe

dm(数据挖掘)

dm

HDFS

Read、Write、Execute

HBase

Read、Write

Hive

Select

YARN

Submit-job

da(数据应用)

da

HDFS

Read、Write、Execute

HBase

Read、Write

Hive

Select

YARN

Submit-job

op(运维)

hadoop管理员

HDFS、HBase、Hive、YARN、Kafka

All

 

 




个人帐号:在线上操作要精确到个人

   

申请权限流程:

     每个团队的leader向管理员提出申请,经过评审通过后方可授予相应的权限

0 个人打赏
文章最后发布于: 2016-04-23 23:31:30
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客

打赏

开源调度DolphinScheduler

“你的鼓励将是我创作的最大动力”

5C币 10C币 20C币 50C币 100C币 200C币

分享到微信朋友圈

×

扫一扫,手机浏览