如何解决用于多处理日志记录的 QueueHandler
我正在尝试调整我的程序以将不同进程的日志记录到单个日志文件中。 我一直在寻找解决方案很多天都没有成功。我想我仍然不明白队列处理程序是如何工作的。在我看来，这个过程是这样的：
- 创建 q
- 将 qHandler 添加到主记录器
- 所有日志都将被重定向到 q，然后 q 将使用附加到记录器的其他处理程序（通过 logger.handle(record)）。 我创建了一个程序的简化版本来说明记录器的行为
# logger.py
import logging
def listener_configurer():
"""This sets the settings for the root logger. The highest in the hierarchy.
All the handlers added to this root logger are available for all the subloggers.
"""
root = logging.getLogger('main')
file = logging.FileHandler(r'logs\temp.log','w')
fmt = logging.Formatter('%(asctime)s %(processName)-10s %(name)s %(levelname)-8s %(message)s')
stream = logging.StreamHandler()
stream.setFormatter(fmt)
file.setFormatter(fmt)
root.addHandler(file)
root.addHandler(stream)
root.setLevel(logging.DEBUG)
def listener_process(queue):
listener_configurer()
while True:
try:
record = queue.get()
if record is not None:
print("-------------- using q ------------------ " + record.name + " -> " + record.message)
logger = logging.getLogger(record.name)
logger.handle(record)
else:
break
except Exception:
import sys,traceback
logger.error('Whoops! Problem: %s',"problem",exc_info=1)
traceback.print_exc(file=sys.stderr)
# saver.py (worker)
import logging
import typing
log = logging.getLogger('main.Saver')
class Saver:
def __init__(self) -> None:
log.warning("Instantiating a saver obj")
def doStuff(self,input_line: typing.Tuple,) -> None:
log.info(f"Exporting: {input_line}") # ASSUMING A TUPLE AS INPUT like: email,email_id,email_url
(email,email_url,*other) = input_line
log.info("Source URL: " + email_url)
log.info(f"EmailName: {email}")
log.warning(f"EmailID: {email_id}")
log.debug("Exporting done!")
# manager.py
import logging
import logging.config
import logging.handlers
import multiprocessing
import logger
from saver import Saver
class Manager:
def __init__(self) -> None:
### LOGGER
# initializing listener -> this queue is going to be used for the multiprocessing logging
self.queue = multiprocessing.Queue(-1)
self.log = self.root_configurer(self.queue) # getting a reference to the root logger -> used to log from this module
self.listener = multiprocessing.Process(target=logger.listener_process,args=(self.queue,))
self.listener.start()
# utils
self.log.info(f"Starting program at 10 am")
# instantiate
self.save = Saver()
def root_configurer(self,queue):
root = logging.getLogger('main')
h = logging.handlers.QueueHandler(queue) # Just the one handler needed
root.setLevel(DEBUG)
root.addHandler(h)
return root # this is the main function -> we need to retrieve the root logger here
def run(self):
tuples = [("email1","id1","url1",""),("email2","id2","url2",("email3","id3","url3",("email4","id4","url4","")]
procs = []
for res in tuples:
proc = multiprocessing.Process(target=self.save.doStuff,args=(res,))
procs.append(proc)
proc.start()
# complete the processes
for proc in procs:
proc.join()
self.log.debug("We reached this part!")
# close listener
self.queue.put_nowait(None)
self.listener.join()
if __name__ == "__main__":
m = Manager()
m.run()
我期望的是一堆像：
-------- using q ------------- main.saver INFO Source URL: ...
-------- using q ------------- main.saver INFO EmailName ...
-------- using q ------------- main.saver WARNING EmailID
-------- using q ------------- main.saver DEBUG ....
加上所有这些写入日志的行。出于某种原因，我得到：
EmailID: id4
EmailID: id3
EmailID: id2
-------------- using q ------------------ main -> Starting program at 10 am
2021-07-01 11:42:16,385 MainProcess main INFO Starting program at 10 am
-------------- using q ------------------ main.Saver -> Instantiating a saver obj
2021-07-01 11:42:16,386 MainProcess main.Saver WARNING Instantiating a saver obj
EmailID: id4
EmailID: id1
-------------- using q ------------------ main -> We reached this part!
2021-07-01 11:42:16,852 MainProcess main DEBUG We reached this part!
和一个文件，如：
2021-07-01 11:42:16,385 MainProcess main INFO Starting program at 10 am
2021-07-01 11:42:16,386 MainProcess main.Saver WARNING Instantiating a saver obj
2021-07-01 11:42:16,852 MainProcess main DEBUG We reached this part!
有什么想法吗？
编辑 代码取自以下组合：
和
解决方法
您的工作人员不会写入队列。
您的代码似乎基于 Loging Cookbook 的 Logging to a single file from multiple processes。您可以在那里看到工作人员将队列作为参数，使用（通过 worker_configurer）配置自己。在您的代码中，您只配置您的经理，而不是您的工作人员。
只需将 self.queue 添加到 Process args 并将（稍微编辑的）root_configurer 方法复制到 saver.py 中以在 doStuff 启动时调用，就足以按预期工作.
主题吹毛求疵（您没有要求，但它们是免费的！）：
- “根记录器”未命名，您可以通过执行
logging.getLogger()（不带参数）来获得它。因此记录器"main"不是根。考虑改为将其称为main_logger。 - 在
break时保留关于您为什么record is None退出循环的评论，我起初认为这是一个错误。 - 如果您第一次从队列中
get一条记录发生错误，您永远不会设置logger变量，因此您的异常处理程序将在它被写入 stderr 之前引发一个UnboundLocalError. - 您未编写的信用代码：您提交的内容很大程度上基于 Logging Cookbook 示例。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
