数据库相关的四位图灵奖获得者

(1)Charles W. Bachman(查理士·巴赫曼),1973 年获得图灵奖,网状数据库之父,DBTG 的模型、存储、语言等。 (2)Edgar F. Codd(埃德加·科德),1981 年获得图灵奖,关系数据库之父,英国人,美国工程院院士,军人,学习数学,从事 OS,自动机研究,又进修计算机和通信专业 ,70 年提出关系型数据模型。 (3)James Gray(詹姆斯·尼古拉·格雷),1998 年获得图灵奖,数据库技术和事务处理专家,事务管理、事务处理、并发,完整 (4)Michael Stonebraker(迈克尔·斯通布雷克), 2014 年获得图灵奖,对现代数据库系统底层的概念与实践所做出的基础性贡献。 0

Read More

Flume的安装配置

Flume是分布式的日志收集系统,它可以将各个服务器的数据收集起来然后送到指定的地方,例如HDFS。 Flume 的安装配置: 将 flume 包进行解压: tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /simple 配置 flume 环境变量: export FLUME_HOME=/usr/share/flume export PATH=$PATH:$FLUME_HOME/bin 使得配置文件生效:source /etc/profile

Read More

Sqoop的配置方式

Sqoop是一个开源的工具,主要用于在Hadoop的Hive与传统的数据库如mysql间进行数据的传递。利用它可以将一个关系型数据库中的数据导入到HDFS中,也可以将HDFS的数据导入到关系型数据库中。 解压 Sqoop 包: tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /simple 配置环境变量: SQOOP_HOME=/simple/sqoop-1.4.6 PATH=$SQOOP_HOME/bin:$PATH 使配置文件生效:source /etc/profile 在/simple/sqoop-1.4.6/lib 目录下上传 mysql 包 配置 Sqoop

Read More

编写程序将linux上的文件上传到hdfs系统+将hdfs系统上的文件下载到linux系统

编写程序将linux上的文件上传到hdfs系统,程序如下: URI arg0=new URI(“hdfs://localhost:9000”); Configuration arg1=new Configuration(); FileSystem hdfs=FileSystem.get(arg0, arg1); Path src=new Path(“/home/a.py”); Path dst=new Path(“/usr/newfile”); hdfs.copyFromLocalFile(src, dst); System.out.println(“End”); 将hdfs系统上的文件下载到linux系统的代码与上述是类似的,不过使用的函数是:copyToLocalFile。

Read More

对HDFS系统的编程操作

获取文件系统的对象: FileSystem hdfs=FileSystem.get(uri, con); Path f=new Path(“/newfile”); 加载hdfs系统的配置信息: Configuration con=new Configuration(); 获取hdfs系统的位置: URI uri=new URI(“hdfs://localhost:9000”); 使用hdfs系统,创建一个文件: hdfs.create(f); 结束提示: System.out.println(“End”); 0

Read More

hadoop进行伪分布式的配置

hadoop 介绍 hadoop 是一个分布式系统架构,我们可以利用 hadoop 来对大量数据进行存储和计算。hadoop 中存储文件的系统为 HDFS。HDFS 全称是 Hadoop Distributed File System,也就是 hadoop 分布式文件系统。HDFS 会将一个文件分块保存。HDFS 有 3 个节点:NameNode,DataNode,Secondary NameNode。

Read More