如何用python将一对列数据替换python分为两列

用python编写程序。问题如下:有两列数据,一列是时间,形式为/31 19:00,另一列是一个具体的数值_百度知道
用python编写程序。问题如下:有两列数据,一列是时间,形式为/31 19:00,另一列是一个具体的数值
比如,2145.6。时间为2011年1年的数据,每小时一个数据,但并不连续,有缺失。求计算每月每个小时的平均值。比如说将2011年1月份的所有天的0:00点求平均,1:00求平均,2:00求平均,…...
比如,2145.6。时间为2011年1年的数据,每小时一个数据,但并不连续,有缺失。求计算每月每个小时的平均值。比如说将2011年1月份的所有天的0:00点求平均,1:00求平均,2:00求平均,……,这样就得到1月份的,平均成一天的变化。也就是说最后得到1月份只有24个数据,就是每小时一个平均值。同样的道理,分别得到12个月的。求加QQ:
答题抽奖
首次认真答题后
即可获得3次抽奖机会,100%中奖。
采纳数:2491
获赞数:8097
数据先导入,通常用csv。然后是时间格式转换用time.strptime转换完的时间可以直接取到hour,miniute,等属性,你直接按hour做当天平均值,再做月份的平均值。(其实可以一直计算,不用分开算)最简单的办法是1个月的数据,全放在一起,按时间排序,然后按小时平均就可以了。如果不想麻烦就这样sum([v
for t,v in data if t.hour==2]) /len([v for t,v in data if t.hour==2])这句话就是计算2点的数据平均值
jackwind1987
jackwind1987
采纳数:659
获赞数:2008
import csvfrom time import strptimeT_FORMAT = '%Y/%m/%d %H:%M'def get_key(str):
t = strptime(str, T_FORMAT)
return t.tm_mon, t.tm_hourdef handle_text(in_filename, out_filename):
with open(in_filename,'r') as csvfile:
spamreader=csv.reader(csvfile, delimiter=',', quotechar='|')
table = dict()
for row in spamreader:
m, h = get_key(row[0])
if (m,h) in table:
table[(m,h)] = table[(m,h)] + float(row[1])
table[(m,h)] = float(row[1])
with open(out_filename, 'w', newline='') as csvfile:
spamwriter = csv.writer(csvfile, delimiter=',', quotechar='|', quoting=csv.QUOTE_MINIMAL)
for i in range(1, 13):
spamwriter.writerow([(table[(i, j)] if (i,j) in table else 0) for j in range(0, 24)])handle_text('666.csv', '666.gen.csv')需要先将原excel文件导出MS-DOS格式的CSV文件把最后一行的两个文件名修改一下就能生成了
为你推荐:
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。官方网站上《10
Minutes to pandas》的一个简单的翻译,原文在。这篇文章是对pandas的一个简单的介绍,详细的介绍请参考: 。习惯上,我们会按下面格式引入所需要的包:
一、创建对象
来查看有关该节内容的详细信息。
1、可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引:
2、通过传递一个numpy
array,时间索引以及列标签来创建一个DataFrame:
3、通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame:
4、查看不同列的数据类型:
5、如果你使用的是IPython,使用Tab自动补全功能会自动识别所有的属性以及自定义的列,下图中是所有能够被自动识别的属性的一个子集:
二、查看数据
详情请参阅:
1、查看frame中头部和尾部的行:
2、显示索引、列和底层的numpy数据:
3、describe()函数对于数据的快速统计汇总:
4、对数据的转置:
5、按轴进行排序
6、按值进行排序
虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场,但是作为工程使用的代码,我们推荐使用经过优化的pandas数据访问方式: .at,&.iat,&.loc,&.iloc&和&.ix详情请参阅 和 。
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、选择一个单独的列,这将会返回一个Series,等同于df.A:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过[]进行选择,这将会对行进行切片
l通过标签选择
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、使用标签来获取一个交叉的区域
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过标签来在多个轴上进行选择
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、标签切片
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、对于返回的对象进行维度缩减
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、获取一个标量
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、快速访问一个标量(与上一个方法等价)
l通过位置选择
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过传递数值进行位置选择(选择的是行)
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过数值进行切片,与numpy/python中的情况类似
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过指定一个位置的列表,与numpy/python中的情况类似
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、对行进行切片
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、对列进行切片
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、获取特定的值
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、使用一个单独列的值来选择数据:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、使用where操作来选择数据:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、使用isin()方法来过滤:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、设置一个新的列:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过标签设置新的值:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过位置设置新的值:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过一个numpy数组设置一组新值:
上述操作结果如下:
<span lang="EN-US" style="mso-bidi-font-size:10.5font-family:&Courier New&;
mso-fareast-font-family:&Courier New&;color:#、通过where操作来设置新的值:
四、缺失值处理
在pandas中,使用np.nan来代替缺失值,这些值将默认不会包含在计算中,详情请参阅:。
1、reindex()方法可以对指定轴上的索引进行改变/增加/删除操作,这将返回原始数据的一个拷贝:、
2、去掉包含缺失值的行:
3、对缺失值进行填充:
4、对数据进行布尔填充:
五、相关操作
详情请参与
l统计(相关操作通常情况下不包括缺失值)
1、执行描述性统计:
2、在其他轴上进行相同的操作:
3、对于拥有不同维度,需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播:
1、对数据应用函数:
具体请参照:
l字符串方法
Series对象在其str属性中配备了一组字符串处理方法,可以很容易的应用到数组中的每个元素,如下段代码所示。更多详情请参考:.
Pandas提供了大量的方法能够轻松的对Series,DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅:
lJoin 类似于SQL类型的合并,具体请参阅:
lAppend 将一行连接到一个DataFrame上,具体请参阅:
对于”group by”操作,我们通常是指以下一个或多个操作步骤:
l(Splitting)按照一些规则将数据分为不同的组;
l(Applying)对于每组数据分别执行一个函数;
l(Combining)将结果组合到一个数据结构中;
详情请参阅:
1、分组并对每个分组执行sum函数:
2、通过多个列进行分组形成一个层次索引,然后执行函数:
八、Reshaping
详情请参阅
l数据透视表,详情请参阅:.
可以从这个数据中轻松的生成数据透视表:
九、时间序列
Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能(如将按秒采样的数据转换为按5分钟为单位进行采样的数据)。这种操作在金融领域非常常见。具体参考:。
1、时区表示:
2、时区转换:
3、时间跨度转换:
4、时期和时间戳之间的转换使得可以使用一些方便的算术函数。
十、Categorical
从0.15版本开始,pandas可以在DataFrame中支持Categorical类型的数据,详细
介绍参看:和。
1、将原始的grade转换为Categorical数据类型:
2、将Categorical类型数据重命名为更有意义的名称:
3、对类别进行重新排序,增加缺失的类别:
4、排序是按照Categorical的顺序进行的而不是按照字典顺序进行:
5、对Categorical列进行排序时存在空的类别:
十一、画图
具体文档参看:&docs
对于DataFrame来说,plot是一种将所有列及其标签进行绘制的简便方法:
十二、导入和保存数据
lCSV,参考:
1、写入csv文件:
2、从csv文件中读取:
lHDF5,参考:
1、写入HDF5存储:
2、从HDF5存储中读取:
lExcel,参考:
1、写入excel文件:
2、从excel文件中读取:
阅读(...) 评论()python sort、sorted高级排序技巧
&更新时间:日 11:25:30 & 投稿:junjie
这篇文章主要介绍了python sort、sorted高级排序技巧,本文讲解了基础排序、升序和降序、排序的稳定性和复杂排序、cmp函数排序法等内容,需要的朋友可以参考下
Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。
1)排序基础
简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list,新的list的元素基于小于运算符(__lt__)来排序。
&&& sorted([5, 2, 3, 1, 4])
[1, 2, 3, 4, 5]
你也可以使用list.sort()方法来排序,此时list本身将被修改。通常此方法不如sorted()方便,但是如果你不需要保留原来的list,此方法将更有效。
&&& a = [5, 2, 3, 1, 4]
&&& a.sort()
[1, 2, 3, 4, 5]
另一个不同就是list.sort()方法仅被定义在list中,相反地sorted()方法对所有的可迭代序列都有效。
代码如下:&&&
sorted({1: 'D', 2: 'B', 3: 'B', 4: 'E', 5: 'A'})
[1, 2, 3, 4, 5]
2)key参数/函数
从python2.4开始,list.sort()和sorted()函数增加了key参数来指定一个函数,此函数将在每个元素比较前被调用。 例如通过key指定的函数来忽略字符串的大小写:
&&& sorted("This is a test string from Andrew".split(), key=str.lower)
['a', 'Andrew', 'from', 'is', 'string', 'test', 'This']
key参数的值为一个函数,此函数只有一个参数且返回一个值用来进行比较。这个技术是快速的因为key指定的函数将准确地对每个元素调用。
更广泛的使用情况是用复杂对象的某些值来对复杂对象的序列排序,例如:
&&& student_tuples = [
&&&&&&& ('john', 'A', 15),
&&&&&&& ('jane', 'B', 12),
&&&&&&& ('dave', 'B', 10),
&&& sorted(student_tuples, key=lambda student: student[2])&& # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
同样的技术对拥有命名属性的复杂对象也适用,例如:
&&& class Student:
&&&&&&& def __init__(self, name, grade, age):
&&&&&&&&&&&&&&& self.name = name
&&&&&&&&&&&&&&& self.grade = grade
&&&&&&&&&&&&&&& self.age = age
&&&&&&& def __repr__(self):
&&&&&&&&&&&&&&& return repr((self.name, self.grade, self.age))
&&& student_objects = [
&&&&&&& Student('john', 'A', 15),
&&&&&&& Student('jane', 'B', 12),
&&&&&&& Student('dave', 'B', 10),
&&& sorted(student_objects, key=lambda student: student.age)&& # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
3)Operator 模块函数
上面的key参数的使用非常广泛,因此python提供了一些方便的函数来使得访问方法更加容易和快速。operator模块有itemgetter,attrgetter,从2.6开始还增加了methodcaller方法。使用这些方法,上面的操作将变得更加简洁和快速:
&&& from operator import itemgetter, attrgetter
&&& sorted(student_tuples, key=itemgetter(2))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
&&& sorted(student_objects, key=attrgetter('age'))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
operator模块还允许多级的排序,例如,先以grade,然后再以age来排序:
&&& sorted(student_tuples, key=itemgetter(1,2))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]
&&& sorted(student_objects, key=attrgetter('grade', 'age'))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]
4)升序和降序
list.sort()和sorted()都接受一个参数reverse(True or False)来表示升序或降序排序。例如对上面的student降序排序如下:
&&& sorted(student_tuples, key=itemgetter(2), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
&&& sorted(student_objects, key=attrgetter('age'), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
5)排序的稳定性和复杂排序
从python2.2开始,排序被保证为稳定的。意思是说多个元素如果有相同的key,则排序前后他们的先后顺序不变。
&&& data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
&&& sorted(data, key=itemgetter(0))
[('blue', 1), ('blue', 2), ('red', 1), ('red', 2)]
注意在排序后'blue'的顺序被保持了,即'blue', 1在'blue', 2的前面。
更复杂地你可以构建多个步骤来进行更复杂的排序,例如对student数据先以grade降序排列,然后再以age升序排列。
&&& s = sorted(student_objects, key=attrgetter('age'))&&&& # sort on secondary key
&&& sorted(s, key=attrgetter('grade'), reverse=True)&&&&&& # now sort on primary key, descending
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
6)最老土的排序方法-DSU
我们称其为DSU(Decorate-Sort-Undecorate),原因为排序的过程需要下列三步:
第一:对原始的list进行装饰,使得新list的值可以用来控制排序;
第二:对装饰后的list排序;
第三:将装饰删除,将排序后的装饰list重新构建为原来类型的list;
例如,使用DSU方法来对student数据根据grade排序:
&&& decorated = [(student.grade, i, student) for i, student in enumerate(student_objects)]
&&& decorated.sort()
&&& [student for grade, i, student in decorated]&&&&&&&&&&&&&& # undecorate
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
上面的比较能够工作,原因是tuples是可以用来比较,tuples间的比较首先比较tuples的第一个元素,如果第一个相同再比较第二个元素,以此类推。
并不是所有的情况下都需要在以上的tuples中包含索引,但是包含索引可以有以下好处:
第一:排序是稳定的,如果两个元素有相同的key,则他们的原始先后顺序保持不变;
第二:原始的元素不必用来做比较,因为tuples的第一和第二元素用来比较已经是足够了。
此方法被RandalL.在perl中广泛推广后,他的另一个名字为也被称为Schwartzian transform。
对大的list或list的元素计算起来太过复杂的情况下,在python2.4前,DSU很可能是最快的排序方法。但是在2.4之后,上面解释的key函数提供了类似的功能。
7)其他语言普遍使用的排序方法-cmp函数
在python2.4前,sorted()和list.sort()函数没有提供key参数,但是提供了cmp参数来让用户指定比较函数。此方法在其他语言中也普遍存在。
在python3.0中,cmp参数被彻底的移除了,从而简化和统一语言,减少了高级比较和__cmp__方法的冲突。
在python2.x中cmp参数指定的函数用来进行元素间的比较。此函数需要2个参数,然后返回负数表示小于,0表示等于,正数表示大于。例如:
&&& def numeric_compare(x, y):
&&&&&&& return x - y
&&& sorted([5, 2, 4, 1, 3], cmp=numeric_compare)
[1, 2, 3, 4, 5]
或者你可以反序排序:
&&& def reverse_numeric(x, y):
&&&&&&& return y - x
&&& sorted([5, 2, 4, 1, 3], cmp=reverse_numeric)
[5, 4, 3, 2, 1]
当我们将现有的2.x的代码移植到3.x时,需要将cmp函数转化为key函数,以下的wrapper很有帮助:
def cmp_to_key(mycmp):
&&& 'Convert a cmp= function into a key= function'
&&& class K(object):
&&&&&&& def __init__(self, obj, *args):
&&&&&&&&&&& self.obj = obj
&&&&&&& def __lt__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) & 0
&&&&&&& def __gt__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) & 0
&&&&&&& def __eq__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) == 0
&&&&&&& def __le__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) &= 0
&&&&&&& def __ge__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) &= 0
&&&&&&& def __ne__(self, other):
&&&&&&&&&&& return mycmp(self.obj, other.obj) != 0
&&& return K
当需要将cmp转化为key时,只需要:
&&& sorted([5, 2, 4, 1, 3], key=cmp_to_key(reverse_numeric))
[5, 4, 3, 2, 1]
从python2.7,cmp_to_key()函数被增加到了functools模块中。
8)其他注意事项
* 对需要进行区域相关的排序时,可以使用locale.strxfrm()作为key函数,或者使用local.strcoll()作为cmp函数。
* reverse参数任然保持了排序的稳定性,有趣的时,同样的效果可以使用reversed()函数两次来实现:
&&& data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
&&& assert sorted(data, reverse=True) == list(reversed(sorted(reversed(data))))
* 其实排序在内部是调用元素的__cmp__来进行的,所以我们可以为元素类型增加__cmp__方法使得元素可比较,例如:
&&& Student.__lt__ = lambda self, other: self.age & other.age
&&& sorted(student_objects)
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
* key函数不仅可以访问需要排序元素的内部数据,还可以访问外部的资源,例如,如果学生的成绩是存储在dictionary中的,则可以使用此dictionary来对学生名字的list排序,如下:
&&& students = ['dave', 'john', 'jane']
&&& newgrades = {'john': 'F', 'jane':'A', 'dave': 'C'}
&&& sorted(students, key=newgrades.__getitem__)
['jane', 'dave', 'john']
*当你需要在处理数据的同时进行排序的话,sort(),sorted()或bisect.insort()不是最好的方法。在这种情况下,可以使用heap,red-black tree或treap。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助,内容完整,我也想知道答案
问题没有实际价值,缺少关键内容,没有改进余地
表一add列匹配表二key_word,如果表一add包含表二的key_word,在表一第4列写入group,如果不包含则标注‘未收录’。PS:我用迭代也测过了,笛卡尔积也试过了,但是均没有达到想要的效果,拜托大神们,帮忙解决一下吧,谢谢了!下面附上我的代码您过目一下,小菜一枚,让您见笑了。
答案对人有帮助,有参考价值
答案没帮助,是错误的答案,答非所问
最好不要使用for循环。
df1['group'] = df1['add'].apply(lambda x: df2.loc[[y in x for y in df2['key_word']],'group']).stack().reset_index(name='group')['group']
更新:另一种方法,处理未收录的情况
def match_group(x):
for y in df2['key_word']:
if y in x:
return '未收录'
df1['group'] = df1['add'].apply(match_group)
同步到新浪微博
分享到微博?
关闭理由:
删除理由:
忽略理由:
推广(招聘、广告、SEO 等)方面的内容
与已有问题重复(请编辑该提问指向已有相同问题)
答非所问,不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因(请补充说明)
我要该,理由是:
在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。}

我要回帖

更多关于 对列数据替换python 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信