如何解决将行添加到从列表构建的 Pandas 数据帧的最快方法是什么?
我正在尝试创建 Twitter 数据的数据框。使用 twitter API,我有一个 twitter 对象列表作为列表 (tweets
),并希望使用来自这些 twitter 对象的各种信息填充数据帧,并在文本上使用一些其他函数。我目前的方法对每一列使用列表理解,每次遍历所有推文。
df = pd.DataFrame(data=[tweet.all_text for tweet in tweets],columns=["tweets"])
df.loc[:,'id'] = np.array([tweet.id for tweet in tweets])
df.loc[:,'len_tweet'] = np.array([len(tweet.all_text) for tweet in tweets])
df.loc[:,'date_created'] = np.array([tweet.created_at_datetime for tweet in tweets])
df.loc[:,'author'] = np.array([tweet.name for tweet in tweets])
df.loc[:,'clean_tweet'] = np.array([self.clean_tweet_eng(tweet) for tweet in df.tweets])
df.loc[:,'clean_stopwords_tweet'] = np.array([self.stopwords_clean(tweet) for tweet in df.tweets])
etc...
我研究了另外两种方法:通过将元素迭代添加到字典中来创建数据框,并使用 iterrows 一次构建一行数据框,以便仅在推文列表中循环一次。两者似乎都比较慢。
实现这一目标的最快方法是什么?
解决方法
我认为最简单的方法是将 twitter 对象列表转换为一个字典列表,然后使用一次加载数据
@RestController
public class TestController {
@GetMapping("/date")
public String m1(@Pathvariable String date) {
// call to repository
List<Employees> employeeList= repositoryClass.m1(date);
// then i send this employeeList to kafka topic using Kafka Template
return "Procedure ran ";
// @RestController
public class RepositoryClass {
void List<Employees> m1(String date )
{
List<Employees> employeeList = jdbcTemplate.execute(date); //call to procdure to get employeeList
}
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。