如何处理 BigQuery 中的长字符串

如何解决如何处理 BigQuery 中的长字符串

我正在尝试对大约 23 列的多列执行串联并将它们放在一列中。这是要求，这就是另一个平台将如何摄取数据。你能帮忙处理一下长字符串吗？截至目前，该列没有返回任何值，它是空白的。我也尝试进行数据类型转换，但似乎 google BigQuery 不支持 Clob 对象。

代码在这里：

SELECT 

cast(concat(concat('hem:sha256:',TO_HEX(SHA256(LOWER(Email_Address))),"^",'Name__Prefix_:',Name__Prefix_,";",'Name__First_:',Name__First_,';','Name__Middle_:',Name__Middle_,';’,’Name__Last_:',Name__Last_,'Name__Suffix_:',Name__Suffix_,'Age:',Age,'Phone:',Phone,'Zip_Code:',Zip_Code,'information:',information,'updates:',updates,'Eligibility_and_distribution_information:',Eligibility_and_distribution_information,'Stories_from_people_who_have_been_vaccinated:',Stories_from_people_who_have_been_vaccinated,'Created_By__User_Id_:',Created_By__User_Id_,'Entry_Id:',Entry_Id,'Entry_Date:',Entry_Date,'Source_Url:',Source_Url,';'),concat('Payment_Date:',Payment_Date,'Payment_Status:',Payment_Status,'Post_Id:',Post_Id,'User_Agent:',User_Agent,'User_IP:',User_IP)) as clob)
FROM `TableName`;

解决方法

老实说，我对这个问题不是 %100 清楚，但让我尝试一下。 BigQuery 中没有 CLOB 类型，但 string 类型对于大多数情况应该足够了。 （截至今天最大行大小约为 100mb）

ps;将 concat 函数与 nullable 字段一起使用时要小心，行中的任何空值都会产生 null 导致您的情况。

如果您有机会更改目标平台上的方法，请考虑使用强类型格式，例如 parquet,avro,json 和 BQ export 作业。