Python Pandas数据合并pd.merge用法详解

目录

• 前言
• 语法
• 参数
• 1.连接键
• 2.索引连接
• 3.多连接键
• 4.连接方法
• 5.连接指示
• 总结

前言

实现类似SQL的join操作，通过pd.merge()方法可以自由灵活地操作各种逻辑的数据连接、合并等操作

可以将两个DataFrame或Series合并，最终返回一个合并后的DataFrame

语法

pd.merge(left, right, how = ‘inner', on = None, left_on = None, right_on = None,
         left_index = False, right_index = False, sort = True, suffixes = (‘_x','_y'),
         copy = True, indicator = False, validate = None)

参数

left、right:需要连接的两个DataFrame或Series，一左一右

how:两个数据连接方式，默认为inner，可设置inner、outer、left或right

on:作为连接键的字段，左右数据中都必须存在，否则需要用left_on和right_on来指定

left_on:左表的连接键字段

right_on:右表的连接键字段

left_index:为True时将左表的索引作为连接键，默认为False

right_index:为True时将右表的索引作为连接键，默认为False

suffixes:如果左右数据出现重复列，新数据表头会用此后缀进行区分，默认为_x和_y

1.连接键

在数据连接时，如果没有指定根据哪一列(连接键)进行连接，Pandas会自动找到相同列名的列进行连接，并按左边数据的顺序取交集数据。为了代码的可阅读性和严谨性，推荐通过on参数指定连接键

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})
# 按a列进行连接，数据顺序取df1的顺序
res = pd.merge(df1, df2, on='a')

结果展示

df1

df2

res

2.索引连接

可以直接按索引进行连接，将left_index和right_index设置为True,会以两个表的索引作为连接键

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})
# 两个表都有同名的a列，用suffixes参数设置后缀来区分
res = pd.merge(df1, df2, left_index=True, right_index=True, suffixes=('_1','_2'))

结果展示

df1

df2

res

3.多连接键

如果在合并数据时需要用多个连接键，可以以列表的形式将这些连接键传入on中

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})
# a和b列中的(1,3)和(2,4)作为连接键将两个数据进行了连接
res = pd.merge(df3, df4, on=['a','b'])

结果展示

df3

df4

res

4.连接方法

how参数可以指定数据用哪种方法进行合并，可以设置inner、outer、left或right

默认的方式是inner join，取交集，也就是保留左右表的共同内容;如果是left join，左边表中所有的内容都会保留;如果是right join，右表全部保留;如果是outer join，则左右表全部保留。关联不上的内容为NaN

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})

# 以左表为基表
res1 = pd.merge(df3, df4, how='left', on=['a','b'])

# 以右表为基表
res2 = pd.merge(df3, df4, how='right', on=['a','b'])

 结果展示

df3

df4

res1

res2

以下是其他的案例:

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})
# 取两个表的并集
# pd.merge(left, right, how='outer', on=['key1','key2'])
res3 = pd.merge(df3, df4, how='outer', on=['a','b'])
# 取两个表的交集
# pd.merge(left, right, how='inner', on=['key1','key2'])
res4 = pd.merge(df3, df4, how='inner', on=['a','b'])

结果展示

df3

df4

res3

res4

一个有重复连接键的例子

import pandas as pd
left = pd.DataFrame({'A':[1,2],'B':[2,2]})
right = pd.DataFrame({'A':[4,5,6],'B':[2,2,2]})
res = pd.merge(left, right, on='B', how='outer')
res1 = pd.merge(left, right, on='B')
res2 = pd.merge(left, right, how='outer')

结果展示

left

right

res

res1

res2

5.连接指示

如果想知道数据连接后是左表内容还是右表内容，可以使用indicator参数显示连接方式

如果将indicator设置为True,则会增加名为_merge的列，显示这列是从何而来

_merge有以下三个值:

• left_only:只在左表中
• right_only:只在右表中
• both:两个表都有

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})

# 显示连接指示列
res = pd.merge(df1, df2, on='a', how='outer', indicator=True)

结果展示

df1

df2

res

总结

到此这篇关于Python Pandas数据合并pd.merge用法的文章就介绍到这了,更多相关Pandas数据合并pd.merge内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！