如何解决Elasticsearch curl 错误 Connection aborted.', RemoteDisconnected('Remote end closed connection without response')
我正在使用请求库连接到 elasticsearch 以获取数据。我有
26 indices,spread across 2 nodes,with 1st node having 16GB RAM / 8 vcpu and the
2nd 8GB RAM / 4 vcpu.
我的所有节点都在 AWS EC2 中。
我总共有大约 200 GB 的数据。我主要使用数据库进行聚合练习。
一个典型的数据记录看起来像这样
SITE_ID DATE HOUR MAID
123 2021-05-05 16 m434
def elasticsearch_curl(uri,json_body='',verb='get'):
headers={'Content-Type': 'application/json',}
try:
resp = requests.get(uri,headers=headers,data=json_body)
try:
resp_text = json.loads(resp.text)
except:
print("Error")
except Exception as error:
print('\nelasticsearch_curl() error:',error)
return resp_text
##变量
tabsite : ['r123','r234'] ##names of indices
siteid : [123,124,125] ##name of sites
for key,value in tabsite.items():
k=key.replace('_','')
if es.indices.exists(index=k):
url="http://localhost:9200/"+str(k)+"/_search"
jb1='{"size":0,"query": {"bool" : {"filter" : [{"terms" : {"site_id": ' + str(siteid) + '}},{"range" : {"date" : \
{"gte": "'+str(st)+'","lte": "'+str(ed)+'"}}}]}},"aggs" : {"group_by" : {"terms": {"field": "site_id","size":100},"aggs" : {"bydate" : {"terms" : \
{"field":"date","size": 10000},"aggs" : {"uv" : {"cardinality": {"field": "maid"}}}}}}}}'
try:
r2=elasticsearch_curl(url,json_body=jb1)
k1=r2.get('aggregations',{}).get('group_by',{}).get('buckets')
print(k1)
except:
pass
上面的代码从 r123 返回了 18GB 的数据,而无法从 r234 中获取到 55GB 的数据。
我收到以下错误:
elasticsearch_curl() error: ('Connection aborted.',Remotedisconnected('Remote end closed connection without response'))
我尝试了以下方法:
我有以下问题:
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。