Question Existe-t-il un système de fichiers sur disque avec mise en cache mémoire dédiée pour Linux? [fermé]


Nous avons deux (ou plus parfois) applications qui se disputent le cache de page du système d'exploitation. En particulier, ElasticSearch est très dépendant du cache de page du système d'exploitation. Au point que des erreurs de cache peuvent créer des pertes de performance ou en réduire la performance dans les cas de faible latence. ES est la seule application à faible temps de latence sur les nœuds Besoins le cache de page du système d'exploitation. Étant donné que l'index entier ne rentre pas dans la RAM, les réchauffeurs servent à amorcer le cache, mais après quelques heures, ces caches sont supprimés par d'autres applications.

Quelques réflexions et idées que j'ai eues:

  • RAMFS (mais l'index ne rentre pas dans la RAM, donc n'y allez pas)
  • TMPFS (mais cela ne persiste pas lors des redémarrages et utilise l'échange)
  • Mise en cache au niveau Lucene / ES (semble simplement ne pas exister, cache de page de système d'exploitation est leur stratégie de cache)
  • Du matériel dédié (cela serait difficile à justifier car la machine dispose de beaucoup de RAM et de CPU, il faut juste en faire un meilleur usage; de ​​plus, nous aurions besoin de beaucoup des noeuds).
  • VMTouch avec verrouillage (aucun moyen de vraiment détecter quand ES va fusionner de nouveaux segments et doit déverrouiller les anciens fichiers et mapper les nouveaux)
  • VM complète (coût de performance et administration / gestion supplémentaire)

Un système de fichiers dédié pouvant constituer un bloc de RAM prédéfini pour la mise en cache serait idéal. Mais je suis ouvert à presque tout, sauf à l'achat de nœuds dédiés en raison d'une limitation de conception dans ES / Lucene.


6
2018-02-05 19:31


origine


Je n'ai pas d'expérience avec ZFS, mais vous devriez peut-être examiner son algorithme de remplacement de page ARC et déterminer s'il pourrait vous apporter un avantage. - HTTP500
ZFS aidera probablement, mais ce cas d'utilisation a vraiment besoin d'une machine virtuelle dédiée pour ElasticSearch avec suffisamment de RAM pour donner des performances acceptables. - Michael Hampton♦
Pourquoi ne pas transférer les applications concurrentes de cet hôte vers un autre? - Matthew Ife
@ MatthewIfe Nous envisageons cela aussi comme une option. Nous bénéficions actuellement du ratio 1: 1 de nos nœuds Hadoop et ES. Permet des mises à jour / reconstructions très rapides de notre index. En tant que tels, nous explorons des options pour les garder situés sur les mêmes machines. - KennyCason
(Je travaille avec @AndrewWhite) - KennyCason


Réponses: