【理论积累】Python中的Pandas库【一】

Pandas支持datetime格式的数据，可以使用pandas.to_datetime函数将字符串格式的日期转换为datetime格式，并进行各类日期和时间的计算和操作。

以下是一些常用的日期和时间处理方法：

1. 创建日期时间索引 可以使用pandas.date_range()和pandas.DatetimeIndex()函数创建日期时间索引。

2. 转换日期格式 可以使用pandas.to_datetime()函数将字符串格式的日期转换为datetime格式，或将日期格式化为指定格式。

3. 获取日期时间属性 可以使用.dt属性来获取datetime格式数据的年、月、日、小时、分钟、秒等属性值。

4. 偏移量计算 可以使用pandas.DateOffset()函数来进行日期偏移量计算，如计算前一天、前一周、前一月等。

5. 时间序列重采样 可以使用pandas.resample()函数对时间序列数据进行重采样，如按月、周、日等频率进行统计。

6. 日期时间操作 可以使用datetime.timedelta()函数进行日期和时间的加减操作。

import pandas as pd
import datetime

# 创建日期时间索引
dates = pd.date_range(start='20220101', end='20220110', freq='D')
print(dates)

# 转换日期格式
date_str = '20220101'
date_obj = pd.to_datetime(date_str, format='%Y-%m-%d')
print(date_obj)

# 获取日期时间属性
print(date_obj.year)
print(date_obj.month)
print(date_obj.day)
print(date_obj.hour)
print(date_obj.minute)
print(date_obj.second)

# 偏移量计算
date_offset = pd.DateOffset(months=1)
new_date = date_obj + date_offset
print(new_date)

# 时间序列重采样
data = pd.DataFrame({'date': dates, 'value': range(len(dates))})
data.set_index('date', inplace=True)
resample_data = data.resample('W').sum()
print(resample_data)

# 日期时间操作
delta = datetime.timedelta(days=30)
new_date = date_obj + delta
print(new_date)

如何在Pandas中进行数据的透视和堆叠操作？

Pandas中可以通过pivot_table()函数进行数据透视，也可以通过stack()函数进行数据堆叠。下面是示例代码：

import pandas as pd

# 创建数据集
df = pd.DataFrame({
   'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
   'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
   'C': [1, 2, 3, 4, 5, 6, 7, 8],
   'D': [10, 20, 30, 40, 50, 60, 70, 80]
})

# 进行数据透视
result = df.pivot_table(values='D', index=['A', 'B'], columns=['C'])

print(result)

C          1     2     3     4     5     6     7     8
A   B                                                
bar one   20.0   NaN   NaN   NaN   NaN  60.0   NaN   NaN
    three  NaN   NaN   NaN  40.0   NaN   NaN   NaN   NaN
    two    NaN  20.0   NaN   NaN   NaN  60.0   NaN   NaN
foo one   10.0   NaN   7.0   NaN   NaN   NaN  70.0   NaN
    three  NaN   NaN   NaN   NaN   NaN   NaN   NaN  80.0
    two   50.0  30.0   NaN   NaN  50.0   NaN   NaN   NaN

import pandas as pd

# 创建数据集
df = pd.DataFrame({
   'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
   'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
   'C': [1, 2, 3, 4, 5, 6, 7, 8],
   'D': [10, 20, 30, 40, 50, 60, 70, 80]
})

# 进行数据堆叠
stacked = df.stack()

print(stacked)

0  A      foo
   B      one
   C        1
   D       10
1  A      bar
         ... 
6  C        7
   D       70
7  A      foo
   B    three
   C        8
   D       80

如何在Pandas中进行数据的可视化？

Pandas提供了多种数据可视化方法，其中常用的是基于Matplotlib的可视化。以下是在Pandas中进行数据可视化的步骤：

1. 导入Pandas和Matplotlib库：

2. 读取数据并创建DataFrame对象：

3. 数据进行必要的处理和清洗：

4. 用DataFrame.plot()方法进行可视化：

import pandas as pd
import matplotlib.pyplot as plt

# 读取数据
data = pd.read_csv('data.csv')
df = pd.DataFrame(data)

# 清洗数据
df = df.dropna()

# 绘制柱状图
df.plot(kind='bar', x='country', y='population')
plt.title('Population by Country')
plt.xlabel('Country')
plt.ylabel('Population')
plt.show()

# 绘制散点图
df.plot(kind='scatter', x='gdp_per_capita', y='life_expectancy')
plt.title('Relationship between GDP per capita and life expectancy') 
plt.xlabel('GDP per capita')
plt.ylabel('Life expectancy')
plt.show()

如何在Pandas中进行数据的筛选和排序？

在Pandas中，可以使用以下的方式对数据进行筛选和排序：

1. 使用布尔索引进行数据筛选：可以通过指定列的条件来筛选符合条件的数据。例如，df[df['age'] >= 18]可以选出所有年龄大于等于 18 的数据。

2. 使用 isin() 函数进行数据筛选：可以使用 isin() 函数来筛选符合条件的数据。例如，df[df['city'].isin(['Shanghai', 'Beijing'])]可以筛选出居住在上海和北京的数据。

3. 使用 sort_values() 函数进行数据排序：可以使用 sort_values() 函数对数据进行排序。例如，df.sort_values(by=['age', 'salary'], ascending=[False, True])可以按照年龄降序、薪水升序的方式进行排序。

4. 使用 nlargest() 和 nsmallest() 函数进行数据筛选：可以使用 nlargest() 和 nsmallest() 函数来筛选前n个或后n个最大值或最小值。例如，df.nlargest(10, 'salary')可以选出薪水前10名的员工数据。