微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将行添加到从列表构建的 Pandas 数据帧的最快方法是什么?

如何解决将行添加到从列表构建的 Pandas 数据帧的最快方法是什么?

我正在尝试创建 Twitter 数据的数据框。使用 twitter API,我有一个 twitter 对象列表作为列表 (tweets),并希望使用来自这些 twitter 对象的各种信息填充数据帧,并在文本上使用一些其他函数。我目前的方法对每一列使用列表理解,每次遍历所有推文。

df = pd.DataFrame(data=[tweet.all_text for tweet in tweets],columns=["tweets"])

df.loc[:,'id'] = np.array([tweet.id for tweet in tweets])
df.loc[:,'len_tweet'] = np.array([len(tweet.all_text) for tweet in tweets])
df.loc[:,'date_created'] = np.array([tweet.created_at_datetime for tweet in tweets])
df.loc[:,'author'] = np.array([tweet.name for tweet in tweets])
df.loc[:,'clean_tweet'] = np.array([self.clean_tweet_eng(tweet) for tweet in df.tweets])
df.loc[:,'clean_stopwords_tweet'] = np.array([self.stopwords_clean(tweet) for tweet in df.tweets])

etc...
            

随着推文数量增加,这变得非常缓慢。

我研究了另外两种方法:通过将元素迭代添加到字典中来创建数据框,并使用 iterrows 一次构建一行数据框,以便仅在推文列表中循环一次。两者似乎都比较慢。

实现这一目标的最快方法是什么?

解决方法

我认为最简单的方法是将 twitter 对象列表转换为一个字典列表,然后使用一次加载数据

@RestController
public class TestController {
    
    @GetMapping("/date")
    public String m1(@Pathvariable String date) {
    // call to repository
   List<Employees> employeeList=  repositoryClass.m1(date);
 // then i send this employeeList to kafka topic using Kafka Template

    return "Procedure  ran ";

// @RestController
public class RepositoryClass {

       void List<Employees> m1(String date )
{
     List<Employees> employeeList = jdbcTemplate.execute(date); //call to procdure to get employeeList

}
}

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?