如何解决在pyspark SQL或配置单元中创建表的问题
我尝试删除表并再次创建相同的表。但是我遇到了下面提到的错误。
spark.sql("drop table if exists db.tablename")
spark.sql("create table db.tablename using hive options(few options like input format output format) location 's3://xxxx' tblproperties('external'='true') as select * from table db.sourcetable")
例外是:
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py",line 767,in sql\ n return
dataframe(self._jsparksession.sql(sqlQuery),self._wrapped )\n
File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py",line 1257,in _call_\n answer,self.gateway_client,self.target_id,self.name)\n
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils py",line 69 in deco\n raise AnalysisExceptions (s.split(\':\',1)[1],stackTrace)\n
AnalysisException :u\'org.apache.hadoop.hive.ql.metadata.HiveException
:Unable to alter table.Table tablename not found . (Service: AWSGlue; Status Code: 400; Error Code: EntityNotFoundException;
注意:但是,再次尝试相同后,它就可以了。我不知道为什么它会间歇性地出现。请帮助我。
在创建不存在的表时不知道原因是给表未找到异常。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。