pyspark 或 sparklyr：使用包含换行符的文本读取 csv；以“|”分隔

如何解决pyspark 或 sparklyr：使用包含换行符的文本读取 csv；以“|”分隔

我正在尝试将一个大（~20 GB）的 csv 文件读入 Spark。该文件有一个字段，其中包含带有换行符 (\n) 的文本，并且该文本不包含在引号中。文件中的管道分隔符 ("|") 指示新行何时开始。我可以使用以下代码在 Pandas 中读取此文件，但我想要 pyspark 或 sparklyr 解决方案。这可能吗？

read_file = pd.read_table(
    './filepath/file.csv',engine = 'c',lineterminator="|",names=['text'],encoding ='latin1',nrows = 2_000
)

输出应如下所示（在原始文件中，最后一个“\r\n”之后有一个管道）： Pandas output

解决方法

您可以在 Spark CSV 阅读器中使用 lineSep 关键字参数：

df = spark.read.csv(
    './filepath/file.csv',lineSep='|',encoding='latin1'
).toDF('names')

,

这似乎有效：

 import pygame
 # Set screen size
 screen_size = (800,600)
 screen = pygame.display.set_mode(screen_size)

 # display caption and icon initilization
 pygame.display.set_caption("Space War")
 icon = pygame.image.load("rocketIcon.png")
 pygame.display.set_icon(icon)

 # loading backgound on display screen
 background = pygame.image.load("Planet_Space_Universe_Fantacy_Wallpaper.jpg")

 # player Initilization
 playerImg = pygame.image.load("rocket.png")
 playerX = 370
 playerY = 480
 playerX_change = 5
 # player


 def player(x,y):
    screen.blit(playerImg,[x,y])
 # enemy
 # bullet

 # continuity loop
 clock = pygame.time.Clock()
 running = True
 while running:
    for event in pygame.event.get():
      if event.type == pygame.QUIT:
        running = False
    if event.type == pygame.KEYDOWN:
        if event.key == pygame.K_LEFT:
            playerX -= playerX_change

player(playerX,playerY)
clock.tick(120)
pygame.display.update()