如何在不使用安全套接字层的情况下使用在 GCP 上运行的 Pyspark 连接到 SQL Server？

如何解决如何在不使用安全套接字层的情况下使用在 GCP 上运行的 Pyspark 连接到 SQL Server？

我正在尝试使用 PySpark 连接到 SQL Server 数据库，如下所示：

from pyspark.sql import SparkSession
import traceback

def connect_and_read(spark: SparkSession):
    url = 'jdbc:sqlserver://DUMMY1234.DUMMY.COM\DUMMY1234;databaseName=Dummy_DB;encrypt=false'
    driver = 'com.microsoft.sqlserver.jdbc.SQLServerDriver'
    try:
        dataframe = spark.read.format('jdbc').option('url',url). \
            option('driver',driver). \
            option('user','username'). \
            option('password','password'). \
            option('dbtable','TABLENAME'). \
            load()
        print(f'Count: {dataframe.count()}')
        dataframe.take(10)
    except Exception as ex:
        traceback.print_exc(type(ex),ex,ex.__traceback__)
    pass


if __name__ == '__main__':
    spark = SparkSession.builder.master('yarn').config('spark.app.name','read_data_sqlserver').config('spark.driver.extraClassPath','path_to_/mssql-jdbc-9.2.0.jre8.jar').config('spark.driver.extraClassPath','path_to_/spark-mssql-connector-1.0.1.jar').getOrCreate()
    connect_and_read(spark)

我正在从 Google Cloud Platform 运行此代码。我有一个 Dataproc 实例，我在其中为此操作创建了一个集群并在那里提交了我的工作。作业失败并出现以下异常：

py4j.protocol.Py4JJavaError: 调用 o70.load 时发生错误。
: com.microsoft.sqlserver.jdbc.SQLServerException: 驱动程序无法使用安全套接字层 (SSL) 加密建立到 SQL Server 的安全连接。错误：“连接重置 ClientConnectionId:1223412f-9879702-wfwd-134qq-2143d123e1q”。

在 com.microsoft.sqlserver.jdbc.SQLServerConnection.terminate(SQLServerConnection.java:3208)
在 com.microsoft.sqlserver.jdbc.TDSChannel.enableSSL(IOBuffer.java:1916)
在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectHelper(SQLServerConnection.java:2760)
在 com.microsoft.sqlserver.jdbc.SQLServerConnection.login(SQLServerConnection.java:2418) 在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectInternal(SQLServerConnection.java:2265) 在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connect(SQLServerConnection.java:1291) 在 com.microsoft.sqlserver.jdbc.SQLServerDriver.connect(SQLServerDriver.java:881) 在 java.lang.Thread.run(Thread.java:748) 引起：java.io.IOException: Connection reset ClientConnectionId:1223412f-9879702-wfwd-134qq-2143d123e1q。 在 com.microsoft.sqlserver.jdbc.TDSChannel$SSLHandshakeInputStream.readInternal(IOBuffer.java:862) 在 com.microsoft.sqlserver.jdbc.TDSChannel$SSLHandshakeInputStream.read(IOBuffer.java:849) 在 com.microsoft.sqlserver.jdbc.TDSChannel$ProxyInputStream.readInternal(IOBuffer.java:1019) 在 com.microsoft.sqlserver.jdbc.TDSChannel$ProxyInputStream.read(IOBuffer.java:1009) 在 org.conscrypt.ConscryptEngineSocket$SSLInputStream.readFromSocket(ConscryptEngineSocket.java:920) 在 org.conscrypt.ConscryptEngineSocket$SSLInputStream.processDataFromSocket(ConscryptEngineSocket.java:884) 在 org.conscrypt.ConscryptEngineSocket$SSLInputStream.access$100(ConscryptEngineSocket.java:706) 在 org.conscrypt.ConscryptEngineSocket.doHandshake(ConscryptEngineSocket.java:230) 在 org.conscrypt.ConscryptEngineSocket.startHandshake(ConscryptEngineSocket.java:209) 在 com.microsoft.sqlserver.jdbc.TDSChannel.enableSSL(IOBuffer.java:1824) ... 28 更多 在处理上述异常的过程中，又发生了一个异常：

回溯（最近一次调用最后一次）：

文件“/tmp/portw/pattern.py”，第 24 行，在
connect_and_read(spark)

文件“/tmp/portw/pattern.py”，第18行，在connect_and_read
traceback.print_exc(type(ex),ex.traceback)

文件“/opt/conda/default/lib/python3.8/traceback.py”，第163行，print_exc
print_exception(*sys.exc_info(),limit=limit,file=file,chain=chain)

文件“/opt/conda/default/lib/python3.8/traceback.py”，第103行，在print_exception
对于 TracebackException 中的行（

文件“/opt/conda/default/lib/python3.8/traceback.py”，第 509 行，init
self.stack = StackSummary.extract(

文件“/opt/conda/default/lib/python3.8/traceback.py”，第340行，摘录
如果限制 >= 0：

TypeError: '>=' 在 'type' 和 'int' 的实例之间不受支持

21/02/09 13:59:59 信息 org.sparkproject.jetty.server.AbstractConnector：停止 Spark@1aa73a6d{HTTP/1.1,(http/1.1)}

之前，该 URL 不包含 encrypt=false，我在查看了一些参考资料后添加了它。

我可以使用纯 python 代码连接到我的 API 的同一主机，但不能在 Spark 中连接。

谁能告诉我我在这里犯了什么错误以及如何纠正它。

感谢任何帮助。