Pandas技巧-如何读取大文件
本文中记录的是如何利用pandas来读取大文件,4个技巧:
- 如何利用read_csv函数读取没有表头的文件
- get_chunk()方法来分块读取数据
- concat()方法将数据库进行叠加(垂直方向)
- 若数据量过大,采取随机抽放(是否放回)
1 | filepath = open("taobao.csv",errors="ignore") # 指定文件路径 |
Stay Foolish Stay Hungry
本文中记录的是如何利用pandas来读取大文件,4个技巧:
1 | filepath = open("taobao.csv",errors="ignore") # 指定文件路径 |
本文标题:Pandas读取大文件
发布时间:2021年01月21日 - 18:01
原始链接:http://www.renpeter.cn/2021/01/21/Pandas%E8%AF%BB%E5%8F%96%E5%A4%A7%E6%96%87%E4%BB%B6.html
许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。
WeChat Pay