如何解决扳手到CSV DataFlow
我正在尝试将表格从扳手复制到大型查询。我创建了两个数据流。一种是从扳手复制到文本文件，另一种是将文本文件导入bigquery。
表的一列具有JSON字符串作为值。从文本文件导入到bigquery时运行数据流作业时会看到问题。作业抛出以下错误：
INVALD JSON：：1：38预计会出现eof，但发现“ 602 ...
无论如何，我在复制时是否可以排除此列，或者可以按原样复制JSON对象？我尝试在架构文件中排除此列，但没有帮助。
谢谢！
解决方法
在https://cloud.google.com/dataflow/docs/guides/templates/provided-batch#cloud-spanner-to-cloud-storage-text上，BigQuery导入作业中有允许跳过列的选项，在提取时没有Cloud Spanner选项会跳过列的选项。
我认为您最好的选择是编写一个自定义处理器，该处理器将删除列，类似于Cleaning data in CSV files using dataflow。
它更复杂，但是您也可以尝试DataPrep：http：// cloud / dataprep / docs / html / Drop-Transform_57344635。应该可以将DataPrep作业作为DataFlow模板运行。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
