pandas内置了大量函数和类型,可以快速处理日常各种文件,下面我以txt,excel,csv,json和mysql这5种类型文件为例,简单介绍一下pandas是如何快速读取这些文件的:
txt文件
这是最常见的一种文本文件格式,读取的话,直接使用read_table函数就行,测试代码如下,这里必须保证txt文件是格式化的,不然读取的结果会有误,filename是文件名,header是否包含列标题,sep是每行数据的分隔符,最终读取的数据类型是DataFrame,方便后面程序进行处理:
excel文件
这也是一种比较常见的文件格式,读取的话,直接使用read_excel函数就行,测试代码如下,非常简单,直接传入文件名就行,最终返回结果也是DataFrame类型:
csv文件
这也是一种比较常见的文件格式,读取的话,直接使用read_csv函数就行,测试代码如下,也非常简单,filename为文件名,header为是否包含列标题,最终返回结果也是DataFrame类型:
json文件
这也是一种比较常用的数据存储格式,读取的话,直接使用read_json函数就行,测试代码如下,filename为文件名,如果出现中文乱码的话,设置encoding编码为uft-8就行,最终结果也是DataFrame类型:
mysql
这里首先需要安装sqlalchemy框架,之后才能借助read_sql_query函数直接从mysql数据库读取数据,安装的话,直接输入命令“pip install sqlalchemy”就行,测试代码如下,也非常简单,先创建一个connect连接,然后根据sql查询语句,直接从数据库中读取数据就行:
至此,我们就完成了利用python的pandas模块来读取txt,excel,csv,json和mysql这5种类型文件的数据。pandas这个模块功能非常强大,尤其对于数据处理来说,可以说是一个利器,在数据分析与处理中经常会用到,只要你熟悉一下相关文档和示例,很快就能掌握的,网上也有相关资料和教程,介绍的非常详细。