空闲 AMQ Artemis 集群上的高 CPU 使用率，与共享存储 HA 的锁有关

如何解决空闲 AMQ Artemis 集群上的高 CPU 使用率，与共享存储 HA 的锁有关

我有 AMQ Artemis 集群，共享存储 HA（主从），2.17.0。

我注意到我的所有空闲集群（仅活动服务器）都使用了 10% 到 20% 的 CPU，除了一个使用了大约 1%（完全正常）的 CPU。我开始调查...

长话短说 - 只有一个集群的 CPU 使用率完全正常。我设法发现的唯一区别是，如果我连接到该普通集群的 主节点并尝试 telnet slave 61616 - 它会显示为已连接。如果我在任何其他集群（具有高 CPU 使用率）中执行相同操作 - 它将显示为已拒绝。

为了更好地了解发生了什么，我在 DEBUG 中启用了 instance/etc/logging.properties 日志。这是主节点发送垃圾邮件的内容：

2021-05-07 13:54:31,857 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Backup is not active,trying original connection configuration now.
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying reconnection attempt 0/1
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying to connect with connectorFactory = org.apache.activemq.artemis.core.remoting.impl.netty$NettyConnectorFactory@6cf71172,connectorConfig=TransportConfiguration(name=slave-connector,factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory) ?trustStorePassword=****&port=61616&keyStorePassword=****&sslEnabled=true&host=slave-com&trustStorePath=/path/to/ssl/truststore-jks&keyStorePath=/path/to/ssl/keystore-jks
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Connector NettyConnector [host=slave.com,port=61616,httpEnabled=false$ httpUpgradeEnabled=false,useServlet=false,servletPath=/messaging/ActiveMQServlet,sslEnabled=true,useNio=true] using native epoll
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client] AMQ211002: Started EPOLL Netty Connector version 4.1.51.Final to slave.com:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Remote destination: slave.com/123.123.123.123:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.spi.core.remoting.ssl.SSLContextFactory] Creating SSL context with configuration
trustStorePassword=****
port=61616
keyStorePassword=****
sslEnabled=true
host=slave.com
trustStorePath=/path/to/ssl/truststore.jks
keyStorePath=/path/to/ssl/keystore.jks
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Added ActiveMQClientChannelHandler to Channel with id = 77c078c2
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Connector towards NettyConnector [host=slave.com,httpEnabled=false,httpUpgradeEnabled=false,useNio=true] failed

这就是奴隶发送垃圾邮件的内容：

2021-05-07 14:06:53,177 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] trying to lock position: 1
2021-05-07 14:06:53,178 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] failed to lock position: 1

如果我尝试从主节点 telnet 到从节点（如果我从从节点到从节点也是如此）：

[root@master]# telnet slave.com 61616
Trying 123.123.123.123...
telnet: connect to address 123.123.123.123: Connection refused

但是，如果我在唯一工作的集群中尝试相同的 telnet，我可以成功地从主服务器“连接”到从服务器......

---

这是我怀疑的：

1. Master 获取 instance/data/journal/server.lock 中的锁
2. 主服务器不断尝试连接到从服务器
3. Slave 无法启动，因为它无法在共享存储上获取相同的 server.lock。
4. Master 使用高 CPU，因为很难连接到 slave，它没有运行。

我做错了什么？

编辑：这是我的 NFS 挂载的样子（取自 mount 命令）：

some_server:/some_dir on /path/to/artemis/instance/data type nfs4 (rw,relatime,sync,vers=4.1,rsize=65536,wsize=65536,namlen=255,acregmin=0,acregmax=0,acdirmin=0,acdirmax=0,soft,noac,proto=tcp,timeo=50,retrans=1,sec=sys,clientaddr=123.123.123.123,local_lock=none,addr=123.123.123.123)

解决方法

原来问题出在 broker.xml 配置中。在 static-connectors 中，我以某种方式决定只列出一个“非当前服务器”（例如，我有 srv0 和 srv1 - 在 srv0 中我只添加了 srv1 的连接器，反之亦然）。

过去是什么（在第一个 master 节点上）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

现在情况（在第一个 master 节点上）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv0-connector</connector-ref>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

列出所有集群节点后，CPU 正常化，并且在活动节点上不仅是 ~1%。该问题与 AMQ Artemis 连接垃圾邮件或文件锁定完全无关。