Hive JDBC——深入浅出学Hive

发布时间:2017-7-9 7:21:52编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Hive JDBC——深入浅出学Hive ",主要涉及到Hive JDBC——深入浅出学Hive 方面的内容,对于Hive JDBC——深入浅出学Hive 感兴趣的同学可以参考一下。

        
第三部分:简单示例
背景
     随着 3G 时代的到来,选择各种移动终端来上网的人越 来越多,如手机、平板等,这里面蕴含着巨大的商机 ,因为终端可以直接精确到人。所以对用户上网日志 的分析,也成为一个新热点,这些在数据库时代是不 可想象的,因为数据规模超大,云计算解决了这个问 题
需求描述
•分析用户的手机上网日志,得到 手机流量统计 信息与根据终端来获得流量的统计信息
 
表规划
• 日志表 log
• 字段
       用户手机号码 ,终端类型 ,访问的URL ,访问开始时间 ,访问结束时间 ,访问流量
    phone string ,client_type  string ,url  string,visit_begintime timestamp,visit_endtime timestamp,traffic  bigint
• 数据文件
•数据间以\t分隔,行之间以\n分隔
•数据示例:
      13154587453     andorid www.baidu.com   2011-09-01 17:30:08     2011-09-01 17:31:09     10
•数据文件位置:
    /home/test/log.txt
• 手机号归属地 phone_location
• 字段
用户手机号码 ,归属地
phone string ,location stirng
 
• 数据文件
数据间以\t分隔,行之间以\n分隔
数据示例:1334567890 chaoyang
数据文件位置:
/home/test/phone_local.txt
• 手机流量统计信息 total_traffic_by_phone
• 字段
手机号码 ,总流量(k) , 归属地, 访问总时长(秒)
               phone string,totol_traffic bigint,area string,visit_total_time timestamp
• 数据文件
数据间以 \t 分隔,行之间以 \n 分隔
     数据示例:
           13154587453 102 chaoyang  123
 
 
• 终端类型统计信息 total_traffic_by_client_type
• 字段
终端类型 ,访问总流量(k)
       client_type string,totoal_traffic bigint
• 数据文件
数据间以 \t 分隔,行之间以 \n 分隔
     数据示例:
 andorid 1034
实现步骤
•初始化数据,表
•示例:create external table phone_location (phone string,area string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile
•编写处理逻辑
Java 代码示例
try {
Class.forName(driverName);
Connection con = DriverManager.getConnection("jdbc:hive://IP:10000/default", "", "");
Statement stmt = con.createStatement();
String sql = "show tables ";
// show tables
System.out.println("Running: " + sql);
ResultSet res = stmt.executeQuery(sql);
if (res.next()) {
System.out.println(res.getString(1));
}
 
        
第四部分:基于Hive的数据库连接池
基于Hive的数据库连接池的实现
•使用DataSource作为数据源的实现
•DBConnectionManager 采用单例模式
•提供获得连接,关闭连接的方法
•setupDataSource()
•DBConnectionManager getInstance()
•close(Connection conn)
•synchronized Connection getConnection()


上一篇:复旦大学2016--2017学年第二学期高等代数II期末考试情况分析
下一篇:winform制作小工具的技巧

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款