Hive基本操作之用户访问次数统计

本文主要是介绍Hive基本操作之用户访问次数统计，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

# 前言
根据对用户ID、访问日期、访问次数的若干条数据，分析得出每个用户的累计访问次数，涉及字符串替换、时间函数、开窗、求和等技术。
## 1. 假如有用户访问数据（用户ID，访问日期，访问次数）
|userId|visitDate|visitCount|
| -- | -- | -- |
|u01|2017/1/21|5|
|u02|2017/1/23|6|
|u03|2017/1/22|8|
|u04|2017/1/20|3|
|u01|2017/1/23|6|
|u01|2017/2/21|8|
|u02|2017/1/23|6|
|u01|2017/2/22|4|

## 2. 希望得到每个月用户的访问累计次数

|用户id|月份|小计|累积|
| -------- | -------- | -------- |
|u01|2017-01|11|11|
|u01|2017-02|12|23|
|u02|2017-01|12|12|
|u03|2017-01|8|8|
|u04|2017-01|3|3|

## 3. 启动hive，选库，建表

```
create table action
    (userId string,
    visitDate string,
    visitCount int) 
row format delimited fields terminated by "\t";
```

## 4. 将数据导入表

```
load data local inpath '/data/action.dat' into table action;
```

## 5. 转换日期字符串为标准格式

```
select
     userId,
     date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
     visitCount
from
     action;
```
|userid|mn|visitcount|
| -- | -- | -- |
|u01|2017-01|5|
|u02|2017-01|6|
|u03|2017-01|8|
|u04|2017-01|3|
|u01|2017-01|6|
|u01|2017-02|8|
|u02|2017-01|6|
|u01|2017-02|4|

## 6. 计算每人单月访问量

```
select
    userId,
    mn,
    sum(visitCount) mn_count
from
    (select
         userId,
         date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
         visitCount
    from
         action) as t1
group by 
    userId,mn;
```
|userid|mn|mn_count|
| -- | -- | -- |
|u01|2017-01|11|
|u01|2017-02|12|
|u02|2017-01|12|
|u03|2017-01|8|
|u04|2017-01|3|

## 7. 按月累计访问量

```
select
    userId,
    mn,
    mn_count,
    sum(mn_count) over(partition by userId order by mn)
from (select
        userId,
        mn,
        sum(visitCount) mn_count
    from
        (select
             userId,
             date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
             visitCount
        from
             action) as t1
    group by 
        userId,mn) as t2;
```

|userid|mn|mn_count|sum_window_0|
| -- | -- | -- | -- |
|u01|2017-01|11|11|
|u01|2017-02|12|23|
|u02|2017-01|12|12|
|u03|2017-01|8|8|
|u04|2017-01|3|3|

# The End

这篇关于Hive基本操作之用户访问次数统计的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！