如何使用纯Spark SQL查询CSV

如何解决如何使用纯Spark SQL查询CSV

我希望从spark-sql CLI获得输出。但是数据以CSV格式表示，并以“ \ t”分隔。有什么办法可以使用纯sql做到这一点？

cmd如：spark-sql -e 'select * from csv.`xxx` where xxx=xxx'

唯一的方法是先创建一个临时视图，然后查询该视图？

解决方法

您可以使用所有选项为现有数据创建表格，例如：

create table if not exists table_name
using csv
OPTIONS (header "true",inferSchema "true",path ".....csv");

并在下一次调用中进行查询。或者，您可以在.sql文件中包含此语句，然后通过-i选项提供文件名，以便在select查询之前执行该操作。