标签：Hadoop
Hadoop实战：Sqoop 1.99把MySQL导数据到HDFS
Sqoop客户端 sqoop2客户端提供各种命令行交互接口，供用户使用。sqoop2客户端先连接Sqoop Server，将参数传递过去，再调用mapreduce进行数据导入到出作业。以下是sqoop2中比较重要的几个对象。 1）connector：sqoop2中预定一了各种里链接，这些链接是一些配置模板，比如最基本的generic-jdbc-connect……
Hadoop实战：使用Maxwell将MySQL数据实时同步到HDFS
一、Maxwell介绍 Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中，支持表和库过滤。 → Reference：http://maxwells-daemon.io → Download: https://github.com/zendesk/maxwell/releases/……
Hadoop实战：Flume输入日志到HDFS报错解决
使用Flume把日志存储到HDFS，在启动时报错如下： 2017-06-16 08:58:32,634 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnabl……
Hadoop实战：Hadoop分布式集群部署（一）
一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf，使用sysctl -p命令即时生效。 kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 51200……
大数据生态到底是一个什么概念？
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。 这个圈子里的工具，就像是我们厨房里的各种厨具——各自都有不同的用处，但也有一部分功能重合，比如盆和豌都可以用来喝汤，削皮刀和菜刀都可以用来去皮。 但是，盆用来喝汤未免……
Hadoo实战：Hadoop生态圈组件介绍
Hadoop生态圈组件介绍 Hadoop生态图，家族产品，通俗地说，就是Hadoop核心模块和衍生的子项目。常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Ha……