Spark JDBC - 读取/更新/写入没有 int/long 主键的大表

如何解决Spark JDBC - 读取/更新/写入没有 int/long 主键的大表

我正在尝试更新没有任何主键的大型 MysqL 表中的某些列。

如果尺寸很大，我如何处理这么大的桌子，例如6GB，我的executor内存只有2GB？

你认为 Spark-ODBC 会以某种方式帮助我吗？

如果我要创建表，它将有一个主键：

CREATE TABLE Persons (
    Personid varchar(255) NOT NULL,LastName varchar(255) NOT NULL,FirstName varchar(255) DEFAULT NULL,Email varchar(255) DEFAULT NULL,Age int(11) DEFAULT NULL,PRIMARY KEY (Personid)
) ENGINE = InnoDB DEFAULT CHARSET = latin1;