Hadoop大数据处理技术基础与实践第十章课件.pptx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《Hadoop大数据处理技术基础与实践第十章课件.pptx》由会员分享,可在线阅读,更多相关《Hadoop大数据处理技术基础与实践第十章课件.pptx(25页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、-Hadoop 与RDBMS数据迁移工具sqoopsqoop-什么是什么是Sqoop?Sqoop 是实现Hadoop 与关系型数据库(RDBMS)之间进行数据迁移的工具,通过Sqoop可以简单、快速地从诸如MySQL、Oracle 等传统关系型数据库中把数据导入(import)到诸如HDFS、HBase、Hive 等。Hadoop 分布式存储环境下,使用Hadoop MapReduce 等分布式处理工具对数据进行加工处理,然后可以将最终处理结果导出(export)到RDBMS 中。1.Sqoop的基本安装的基本安装 Sqoop 的安装非常简单,在类UNIX 系统上需要预先安装好Java 6 及
2、其后期版本,并已部署Hadoop 稳定版本的集群环境。从网站http:/sqoop.apache.org/下载最新的Sqoop 稳定版本。Sqoop 的Apache 发行包分为源码包和已经编译好的二进制包,下面只介绍Sqoop 的二进制包安装方法。下载Sqoop 二进制包,并解压到相应安装目录,解压后会生成子目录sqoop-x.y.z.bin(x.y.z为版本号):$tar-xzf sqoop-x.y.z.bin.tar.gz 把sqoop-x.y.z.bin 目录移动到sqoop-x.y.z 目录:$mv sqoop-x.y.z.bin/sqoop-x.y.z/设置环境变量,编辑文件/.ba
3、shrc 或/.bash_profile 把Sqoop 的安装路径添加到PATH 变量中,方便Sqoop 的使用和管理:$export SQOOP_HOME=/home/trucy/sqoop-x.y.z$export PATH=$PATH:$SQOOP_HOME/bin2.Sqoop的配置的配置 Sqoop 获取Hadoop 平台各相关组件的配置信息是通过读取环境变量实现的,如获取Hadoop 相关信息可以通过读取变量$HADOOP_HOME的值,获取Hive 相关信息可以通过读取变量$HIVE_HOME的值等。修改文件/.bashrc 或/.bash_profile 配置环境变量使用exp
4、ort 命令将上述工具的根目录添加到文件末尾;同时Sqoop 连接RDBMS 需要使用相应的数据库驱动工具,如通过JDBC 连接MySQL 需要用到mysql-connector-java-x.y.z-bin.jar 驱动程序2.Sqoop的配置的配置将MySQL 的JDBC 驱动程序mysql-connector-java-x.y.z-bin.jar 复制到$SQOOP_HOME/lib 目录下使用sqoop 的list-databases 命令测试Sqoop 连接MySQL 是否成功:$sqoop list-databases-connect jdbc:mysql:/mysql.serve
5、r.ip:3306/-username root-PEnter password:(输入MySQL 中root 用户密码)information_schemaemployeeshiveDBmysqltesttrucyDB2.Sqoop的配置的配置2.Sqoop的配置的配置还还还还不行?不行?不行?不行?若配置好Hadoop 相应环境变量后使用Sqoop 仍无法连接MySQL,可以执行下述操作。(1)进入$SQOOP_HOME/conf 目录(注意第一个$为Linux 命令提示符,第二个$为系统变量取值符):$cd$SQOOP_HOME/conf(2)复制Sqoop 读取环境变量的模板文件到自定
6、义文件:$cp sqoop-env-template.sh sqoop-env.sh(3)编辑文件sqoop-env.sh,修改相应属性值指向相关软件安装目录,如:#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/usr/local/hadoop#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/usr/local/hadoop#set the path to where bin/hbase is avail
7、ableexport HBASE_HOME=/usr/local/hbase#Set the path to where bin/hive is availableexport HIVE_HOME=/usr/local/hive#Set the path for where zookeper config dir isexport ZOOCFGDIR=/usr/local/zk3.Sqoop相关功能相关功能 Sqoop 提供了一系列工具命令(tools command),包括导入操作(import)、导出操作(export)、导入所有表(import-all-tables)、列出所有数据库实例
8、(list-databases)和列出特定数据库实例中的所有表(list-tables)等,在Linux 命令提示符下输入sqoop help 会输出Sqoop所支持的所有工具命令下面分别详细介绍Sqoop 所支持的工具命令。3.Sqoop相关功能相关功能(1)使用root 用户登录MySQL 数据库:$mysql-u root p(2)输入root 用户密码,创建MySQL 数据库SqoopDB:mysql create database sqoopDB;(3)使用root 用户登录MySQL 数据库,创建用户bear,密码为123456:$mysql-u root-pmysql creat
9、e user bear identified by 123456;(4)授权用户bear 拥有数据库sqoopDB 的所有权限:mysql grant all privileges on sqoopDB.*to bear%identified by 123456;(5)刷新系统权限表:mysqlflush privileges;新建一个MySQL 数据库SqoopDB 和用户bear,并授予用户bear 拥有操作数据库SqoopDB 的所有权限。下面使用bear 用户登录MySQL 数据库,在数据库实例sqoopDB 下创建一张employees表,后面所有的Sqoop 相关操作都在Sqoop
10、DB employees 表上进行:3.Sqoop相关功能相关功能(1)使用bear 用户登录MySQL 数据库:$mysql-u bear p(2)输入密码,进入MySQL 数据库SqoopDB:mysql use sqoopDB;(3)创建employees 表:mysql CREATE TABLE employees(-id int(11)NOT NULL AUTO_INCREMENT,-name varchar(100)NOT NULL,-age int(8)NOT NULL DEFAULT 0,-place varchar(400)NOT NULL,-entry_time times
11、tamp NOT NULL DEFAULT CURRENT_TIMESTAMP,-position varchar(500),-PRIMARY KEY(id)-)ENGINE=InnoDB DEFAULT CHARSET=utf8;Query OK,0 rows affected(0.18 sec)(4)向employees 表中插入3 条数据:mysql INSERT INTO employees(name,age,place,position)VALUES(James,27,NewYork,Manager);mysql INSERT INTO employees(name,age,plac
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop 数据处理 技术 基础 实践 第十 课件
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内