计算每秒发送的帧数 opencv

如何解决计算每秒发送的帧数 opencv

我有以下代码，我正在计算从客户端到服务器每秒发送帧所需的时间，基本上计算帧丢失率和响应时间的百分比，并且通信模式是异步的。 现在我在计算这两个指标时遇到了一些问题，对于响应所需的时间，我将延迟设置为超过 5 秒，因为由于网络和服务器的处理速度，将结果发送回客户端需要时间，因此延迟更长，但对于每秒帧数，我需要计算每秒从客户端发送到服务器的帧数，我将如何在 data_rate 方法中计算此值。两个指标都需要不同的时间延迟，我不能对两个指标使用相同的时间延迟。非常感谢有关如何在代码中定义它的帮助。

IMAGE_FOLDER = "videoframe"
FPS = 5
SERVER_A_ADDRESS = "tcp://localhost:5555"
ENDPOINT_HANDLER_ADDRESS = "tcp://*:5553"
SERVER_A_TITLE = "SERVER A"
SERVER_B_TITLE = "SERVER B"
context = zmq.Context()
socket_server_a = context.socket(zmq.PUSH)
socket_server_endpoint = context.socket(zmq.PULL)

socket_server_a.connect(SERVER_A_ADDRESS)
socket_server_endpoint.bind(ENDPOINT_HANDLER_ADDRESS)

destination = {
 "currentSocket": socket_server_a,"currentServersTitle": SERVER_A_TITLE,"currentEndpoint": SERVER_B_TITLE,}

running = True
endpoint_responses = 0
frame_requests = 0
filenames = [f"{IMAGE_FOLDER}/frame{i}.jpg" for i in range(1,2522)]

def handle_endpoint_responses():
  global destination,running,endpoint_responses
  while running:
    endpoint_response = socket_server_endpoint.recv().decode()
    endpoint_responses += 1
def data_rate():
  global destination,endpoint_responses,frame_requests
  while running:
    before_received = endpoint_responses ###
    time.sleep(5)
    after_received = endpoint_responses
    before_sent = frame_requests
    time.sleep(1)
    after_sent = frame_requests ###
    print(25 * "#")
    print(f"{time.strftime('%H:%M:%S')} ( i ) : receiving model results: {round((after_received - before_received) / 5,2)} per second.")
    print(f"{time.strftime('%H:%M:%S')} ( i ) : sending frames: {round((after_sent - before_sent) / 1,2)} per second.")
    print(25 * "#")
def send_frame(frame,frame_requests):
  global destination,running
  try:
    frame = cv2.resize(frame,(224,224))
    encoded,buffer = cv2.imencode('.jpg',frame)
    jpg_as_text = base64.b64encode(buffer)
    destination["currentSocket"].send(jpg_as_text)
  except Exception as Error:
    running = False
def main():
 global destination,frame_requests
 interval = 1 / FPS
 while running:
    for img in filenames:
        frame = cv2.imread(img)
        frame_requests += 1
        threading.Thread(target=send_frame,args=(frame,frame_requests)).start()
        time.sleep(interval)
 destination["currentSocket"].close()
if __name__ == "__main__":
  threading.Thread(target=handle_endpoint_responses).start()
  threading.Thread(target=data_rate).start()
  main()

解决方法

不仅是服务器时间，打开图片也需要时间，使用 sleep interval = 1/FPS 也可能导致丢帧，即产生的帧比可能的少（如果离线播放也一样）。对于播放，如果使用睡眠完成，间隔可以更短，并且可以在循环中检查当前时间，如果时间合适 - 发送下一帧，如果不是 - 等待。如果目标是服务器端在实际帧时间显示或处理图像，则延迟也可以是自适应的，并且该时间可以在线性周期之前，以补偿传输延迟。

我认为您必须每次都通过初始握手或作为交易的一部分来同步/测量客户端和服务器的时钟差异，并包括并记录发送/接收的时间事务/日志。

这样你就可以测量传输的一些平均延迟。

另一件可能会提示的事情是最初播放图像而不发送它们。这将显示 cv2.imread(...) 和预处理需要多少时间。

即注释/添加另一个没有目标的函数["currentSocket"].send(jpg_as_text)