在具有文本/对象识别的NodeJS中构建AFK Bot

我想为在线流媒体平台（例如，现在的geforce，shadow等）编程AFK Bot。这个机器人应该例如在游戏崩溃的情况下重新启动游戏，并通过单击鼠标或键盘导航确认管理员权限，或者在程序错误或被踢出大厅时再次登录。

实际的bot已经用NodeJS编程和编写，除了不时移动鼠标或按下键外，什么也不做。

问题是我现在想在屏幕上看到我选择了哪个菜单项，例如当我想再次登录时。

我的第一个想法是阅读屏幕上的文本，并找出我所处的菜单项。为此，https://github.com/tesseract-ocr/tesseract会引起疑问。

这不能解决我的程序知道我选择了哪个菜单项，而只知道我可能位于哪个页面上，而不是我当前选择的菜单项的问题。

有哪些（简单）解决方案可以解决我的问题？有什么想法吗？