软件系统的数据检索设计
软件系统的数据检索设计
随着业务量加大，数据检索量也会日益增多，为了减轻数据库压力，本系统采用ElasticSearch来实现数据检索功能。
简单来说，Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代)的数据，ElasticSearch的检索流程如下：
数据检索流程图
1) 执行refresh操作将mem buffer中的数据写入到新的segment并写入os cache，然后打开本segment以供search使用，最后再次清空mem buffer。
2) 一个commit point被写入磁盘，这个commit point中标明所有的index segment。
3) filesystem cache(os cache)中缓存的所有的index segment文件被fsync强制刷到磁盘os disk，当index segment被fsync强制刷到磁盘上以后，就会被打开，供查询使用。
translog被清空和删除，创建一个新的translog。
审核编辑 黄宇
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
数据
+关注
关注
8文章
7010浏览量
88972 -
软件系统
+关注
关注
0文章
62浏览量
9502
发布评论请先 登录
相关推荐
检索增强型生成(RAG)系统详解
成流畅且类似人类的文本方面表现出色，但它们有时在事实准确性上存在困难。当准确性非常重要时，这可能是一个巨大的问题。 那么，这个问题的解决方案是什么呢？答案是检索增强型生成（RAG）系统。 RAG集成了像GPT这样的模型的强大功能，并增加了从外
Redis缓存与Memcached的比较
Redis和Memcached都是广泛使用的内存数据存储系统，它们主要用于提高应用程序的性能，通过减少对数据库的直接访问来加速数据检索。以下是对Redis和Memcached的比较，涵
缓存技术在软件开发中的应用
在现代软件开发中，随着数据量的爆炸性增长和用户对响应速度的高要求，缓存技术成为了提升系统性能的重要手段。缓存技术通过将数据存储在离用户更近的位置，减少
PDM产品数据管理系统软件是什么？一文读懂PDM系统软件
在现代制造业和工程领域中，产品数据管理（Product Data Management，简称PDM）系统已成为提升企业生产效率、保证产品质量的关键工具。PDM系统是以软件为基础，专门用
AD软件打开DigIPCBA工作区，希望可以按照文件夹检索
希望在AD软件中打开工作区的时候，工作区内的文件夹能显示，文件可以按照文件夹检索，如果工作区内PCB项目很多，不能区分文件夹，不方便访问
发表于 11-01 11:15
京东APP百亿级商品与车关系数据检索实践
作者：京东零售 张强 导读 本文主要讲解了京东百亿级商品车型适配数据存储结构设计以及怎样实现适配接口的高性能查询。通过京东百亿级数据缓存架构设计实践案例，简单剖析了jimdb的位图(bitmap
RFID技术引领应急物资管理新模式
/S（浏览器/服务器）架构，构建了一个高效率的紧急物资管理平台。基于B/S结构的系统以其迅速的数据检索功能，在应急救援任务中能即时调配库存资源，为紧急物资的有效管控及决策提供坚实后盾。
K8S学习教程三:在PetaExpress KubeSphere 容器部署 Wiki 系统 wiki.js 并启用中文全文检索
K8S学习教程(三):在PetaExpress KubeSphere 容器部署 Wiki 系统 wiki.js 并启用中文全文检索 。
电表自动抄表系统软件
1.电表自动抄表系统软件简述电表自动抄表系统软件，是一种现代化电力工程可视化工具，它利用先进的信息科技，实现远程、实时电能计量数据收集和分析。该系统不仅提升了电力工程公司的运营高效率，
微软应用商店无法下载内容，错误显示“信息检索中”
用户反映只要试图启动微软应用商店并进行应用安装操作时，页面便立即显示“正在从微软应用商店检索信息”的提示，但是此过程可能会长达数小时之久。
态势数据分析系统软件
智慧华盛恒辉态势分析软件系统的功能描述、部署环境、界面使用、技术支持及一些常见问题及其解决办法等。为数据态势分析软件系统的管理人员和使用人员
edr系统软件有什么用 EDR系统与传统杀毒软件有什么区别
能够实时监测和检测终端设备上的恶意活动，包括恶意软件的启动、数据泄露和异常行为等。通过全面分析终端设备的活动记录、网络流量和系统日志等数据，EDR系
工商网监
评论