[内容] CentOS&RHEL yum 的使用 (让某一个软件不被更新)

内容一:通过命令实现更新某一个软件(补丁)包以外其他所有软件(补丁)包的方法

# yum -x httpd* updaten

(补充:这里以更新除了名字以 httpd 开头外的所有软件包为例)

(注意:这种方法只在本次输入时有效)

或者:

# yum --exclude=kernel* update

(补充:这里以更新除了名字以 kernel 开头外的所有软件包为例)

(注意:这种方法只在本次输入时有效)

内容二:通过配置文件实现更新某一个软件(补丁)包以外其他所有软件(补丁)包的方法
2.1 修改 yum 的配置文件

# vim /etc/yum.conf

添加以下内容:

......
exlude=mysql* kernel*

(补充:多个不需要升级的软件可以用空格隔开)

2.2 使用 yum

# yum update


注意:
1) 这种方法是永久生效
2) 这个文件可能是位于 /etc/yum.conf 中,也可能是位于 /etc/yum/yum.conf

碧空之歌

碧蓝的天空如此清澈,一眼望去似乎就找不到任何瑕疵。但碧空下的生命却总是带着缺失而生,需要各种感情和经历将它填满才算完整。而那些带着哭啼声降临于世的生灵们,又会为自己谱写一曲怎样的永恒生命之歌?

饥饿、自私、恐惧、怜悯、开心……每一次来自生物本能的潜意识行为和潜意识感受,一点点地组成了真实却又常被忽略的本我。

成就、事业、自我价值、性格取向、自我目标……每一次对自己的探索、认知、认同和抉择,逐渐组成了真实却又含糊不清的自我。

自由、平等、博爱、道德、信仰……个人与世界之间到底是怎样的一种关系?每次对此的理解、评判和选择,逐步形成了多种多样、概括不清并且会为此流血冲突的超我。

在自私和平等中来回冲撞遍体鳞伤的雅典人,通过民主投票的制度控制他人和自己贪得无厌的心魔。

在自由和死亡面前驻足不前的斯巴达人,依靠荣誉获得着自我认同,并最终使用生命去成就自由。

前人们沧桑背影后的五线谱如此多样,生灵们又打算用哪一种旋律创造出怎样的一首新的优美之歌,能够像亚里士多德、黑格尔的歌一样,让其他的人也会充满希望、认同和感动地轻轻跟着哼。

[内容] 实现数据存储高可用的思路

方法一:以目录级数据同步工具 rsync 为核心的同步方法

通过 inotify + rsync 实现两个目录的数据实时同步
特点:如果数据量太大就不合适了,数据量最好小于 10G,如果文件多最好要小于 5G 甚至小于 3G

方法二:以硬盘级数据同步工具 drbd 为核心的同步方法

drbd + heartbeat 或者 drbd + keepalive + shell 实现两个数据存储节点的主从同步、主从切换
特点:最好用于小于 300G 的数据同步

方法三:分布式云存储

通过 hdfs 或者 ceph 实现分布式云存储
特点:可以用于大于 300G 的数据同步

[内容] Hadoop 大数据平台三种部署模式的简介

模式一:单机模式

1) 所有 Hadoop 角色都在一台物理机上
2) 只有一个物理节点
3) 一般用来学习和测试

模式二:伪分布模式

1) 所有 Hadoop 角色都在一台物理机上
2) 有多虚拟个节点
3) 一般用来学习和测试

模式三:完全分布式模式

1) 所有 Hadoop 角色在多台物理机上
2) 有多个物理节点
3) 一般用在生产环境
4) 有高可用和高性能的特点

大数据与 Hadoop 的起源、特点和关系

章节一:大数据的起源

在 2003 年, Google 陆续发表了 3 篇论文,首创了大数据这一概念,它们分别是:GFS、MapReduce、BigTable。

这三篇论文,分别介绍了 GFS、MapReduce、BigTable 三款软件,而将这三款软件组合在一起,就是世界上第一种大数据平台。

如今 GFS、MapReduce 和 BigTable 三大技术已被称为 Google 的三驾马车,虽然没有公布源码,但发布了这三个产品的详细设计。

章节二:大数据的特点

大数据,是指从各种各样类型的海量数据中,快速获得和分析出有价值的信息,并以此支撑决策的一种手段,这种手段无法使用过去的常规方法或软件工具实现。

在目前,大数据的特性是指 5V 特性:
1. (V)Volume(大体量)
2. (V)Variety(多样性)
3. (V)Velocity(时效性)
4. (4)(V)Veracity(准确性)
5. (5)(V)Value(大价值)

章节三:开源大数据平台 Hadoop 的起源

虽然谷歌在 GFS、MapReduce、BigTable 三篇论文中详细介绍了 GFS、MapReduce 和 BigTable 三款软件的设计,但是可能出于公司发展的考虑,谷歌并没有公布这三款软件的源代码,这个大数据平台只有谷歌才能使用。

此时另一个受到雅虎资助的团队就利用谷歌这三篇论文的技术架构,使用 Java 开发了另外三个实现大数据平台的的软件,它们分别是:HDFS、MapReduce、Hbase。

它们和谷歌的软件一一对应:
HDFS 对应 Google 的 GFS
MapReduce 对应 Google 的 MapReduce
Hbase 对应 Google 的 BigTable

这三款软件组合在一起,就是一个新的开源的大数据平台 Hadoop。

章节四:开源大数据平台 Hadoop 的特点

1. Hadoop 可以实现分析和处理海量数据
2. Hadoop 是一款开源软件,全地球所有非营利性组织、个人、公司和政府都可以免费使用
3. 具有高可靠性、高扩展性、高效性、高容错性、低成本的优点
4. 性能上 Hadoop 要比 Google 的差很多

章节五:开源大数据平台 Hadoop 对大数据行业的影响

在 2003 年,很多非营利性组织、个人、公司和政府都没有人力、物力直接研发大数据技术,所以只好直接使用 Hadhoop 实现自己的大数据分析。

由于使用 Hadoop 的非营利性组织、个人、公司和政府越来越多,Hadoop 逐渐变成了大数据行业的行业标准。

就连大数据首创者谷歌,为了和 Hadoop 平台进行数据交互,也被迫对自己性能更好的 BigTable、GFS、MapReduce 三款软件进行修改。

现在 Hadoop 基本已经成为了大数据的代名词。大数据行业里所指的大数据开发工程师就是指开发 Hadoop 模块的 JAVA 工程师,大数据算法工程师就是指为 Hadoop 模块创造计算模型的数学家,而大数据运维工程师就是指 Hadoop 运维工程师。