如何使to_sql命令的dtype参数从字典中提取

如何解决如何使to_sql命令的dtype参数从字典中提取

我试图从json文件中提取to_sql命令的dtype参数，但出现错误“ json.decoder.JSONDecodeError：期望值”。有办法吗？

代替以下代码：

import sqlalchemy


resource_read.to_sql(tablename,engine,
schema = None,
if_exists='append',
dtype={'ID': sqlalchemy.types.VARCHAR(length=50),
'NAME': sqlalchemy.types.VARCHAR(length=255)})

我想做这样的事情，其中​​dtype字典参数是json文件中的键值对： 配置json文件如下所示：

{
    "dtypes": {"ID": sqlalchemy.types.VARCHAR(length=50),"NAME": sqlalchemy.types.VARCHAR(length=255) }
}

然后代码是：

import sqlalchemy

config_path = os.path.join("C:\configs")

my_parser.add_argument('-c','-configname',dest='configname',help="Configname file")

args = my_parser.parse_args()
    
    

if args.configname:
        
   with open(os.path.join(config_path,args.configname),'r') as f:
          
       config_params = json.load(f)

resource = os.path.join(resource_path,filename)

resource_read = pd.read_csv(resource,encoding='utf8',na_values='',dtype=str)

resource_read.to_sql(tablename,schema = None,if_exists='append',dtype=config_params["dtypes"])

问题是dtypes键中字典的值不在引号中，当我将其放在引号中时，我没有得到json问题，但是却收到了sqlalchemy错误“ ValueError：ID的类型不是SQLAlchemy类型”。

在读入非引号时，是否会以某种方式将其转换为非引号？ 如果我只是在脚本中放入字典，并且不在值两边加上引号，则不会出错，并且运行正常。但是我想要一个json文件。

任何帮助将不胜感激。 谢谢！！

解决方法

假设实际的JSON引号为sqlalchemy类型：

{
    "dtypes": {"ID": "sqlalchemy.types.VARCHAR(length=50)","NAME": "sqlalchemy.types.VARCHAR(length=255)" }
    
}

一个直接的解决方案是在字典理解中调用eval以构建dtypes字典。但是警告：谨慎使用此强大功能，不要对未知的用户开放。

sql_dtypes = { k:eval(v) for k,v in config_params['dtypes'].items() }

print(sql_dtypes)
# {'ID': VARCHAR(length=50),'NAME': VARCHAR(length=255)}

...

resource_read.to_sql(tablename,engine,schema = None,if_exists='append',dtype=sql_dtypes )

---

或者，如果您有能力调整配置文件，请考虑保存其基础类型和属性，而不要保存任何Python模块变量。 （请参见添加的DECIMAL类型进行演示。）

{
    "dtypes": {
               "ID": ["VARCHAR",50],"DATE": ["DATETIME"],"NAME": ["VARCHAR",255],"VALUE": ["DECIMAL",10,6]
              }
    
}

然后，您可以使用sqlalchemy.types动态调用getattr（嵌套types的其他属性）并传递所需的参数。

sql_dtypes = { k: getattr(getattr(sqlalchemy,'types'),v[0])(v[1] if len(v) >= 1 else None,v[2] if len(v) >= 2 else None)
                        for k,v in config_params['dtypes2'].items() }

print(sql_dtypes)
# {'ID': VARCHAR(length=50),'DATE': DATETIME,'NAME': VARCHAR(length=255),'VALUE': DECIMAL(precision=10,scale=6)}

...

resource_read.to_sql(tablename,dtype=sql_dtypes )