Dask中的read_sql_table返回NoSuchTableError

如何解决Dask中的read_sql_table返回NoSuchTableError

我有一个使用pandas的read_sql，它工作正常。但是，当我尝试使用相同的逻辑在dask下重新创建相同的数据框时。它给了我NoSuchTableError。我肯定知道该表存在于我的sql数据库中。

pandas #works：

import urllib
import sqlalchemy as sa
import pandas as pd

sql = "SELECT * FROM my_table"
params = urllib.parse.quote_plus("DRIVER={sql Server Native Client 11.0};\
                             SERVER=my_server;\
                             DATABASE=db_name;\
                             Trusted_Connection=yes;")
engine = sa.create_engine('mssql+pyodbc:///?odbc_connect=%s' % params)
df = pd.read_sql(sql,engine)
print(df.head())

由于dask使用了sqlalchemy的完整URL，因此我也尝试在sqlalchemy中重新创建相同的连接，并且它可以正常工作。它令我感到困惑，为什么它在dask中不起作用。

sqlalchemy #works：

import pyodbc
import sqlalchemy as sal
from sqlalchemy import create_engine

engine = sal.create_engine('mssql+pyodbc://my_server/db_name\
         ?driver=sql+Server+Native+Client+11.0?trusted_connection=yes')

result = engine.execute("select * from my_table")

for row in result:
    print(row[0])

黄昏#NoSuchTableError：

import urllib
import sqlalchemy as sa
import dask.dataframe as dd
from sqlalchemy.engine.url import make_url

params = urllib.parse.quote_plus("DRIVER={sql Server Native Client 11.0};\
                             SERVER=my_server;\
                             DATABASE=db_name;\
                             Trusted_Connection=yes;")
conn_str = 'mssql+pyodbc:///?odbc_connect={}'.format(params)
url = make_url(conn_str)
df = dd.read_sql_table('my_table',url,index_col='ID')
print(df.head())

有人遇到过相同/相似的问题吗？任何想法都非常感谢！预先感谢。

解决方法

在不了解有关如何设置 SQL Server 的更多详细信息的情况下，我相信这将是 Dask 文档中特定于 SQL Server 的内容，您需要提供 schema= 关键字，如下所示：

dftest = dd.read_sql_table(table="table_name_only",uri=uri,index_col="somekey",schema="schema_name",divisions=[1,2,3])

注意这里的 uri 是 SQLAlchemy 字符串，不是连接对象。

https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.read_sql_table