微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

处理大数据?

如何解决处理大数据?

| 我正在为我的应用程序使用WinForms和C#,我的数据主要是一些字符串,整数和许多列表。现在,我将它们存储在xml和文本文件中,但是我发现读取数据花费的时间太长。我正在使用XmlWriter和XmlReader。例如,我有4个xml文件,它们总共需要2-3 mbs进行解析,而〜250文本则可以一次读取它们的内容。加载需要3-4分钟,并且我没有使用线程。这是正常现象还是其他情况?我是否应该使用其他方式存储数据?我只使用一个线程是否必须这样做? 编辑 我发现了问题。这与阅读无关(我认为)。无论如何,假设我的数据不会超过MB,我应该使用数据库还是可以使用xml?     

解决方法

您可能主要是受I / O约束,因此并行化无济于事-但这当然不需要3到4分钟(更像是3到4秒)-正在进行其他操作。 如果您有大型结构化数据,则应考虑使用数据库-然后您可以查询所需的数据,而不必一次加载所有数据。即SQL Server Compact在台式机应用程序中的占用空间非常小。     

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。