Clickhouse笔记
概述 端口8123:tcp转发 端口9000:http转发 端口9009:interserverHTTPPort 列式存储:磁盘存储按列存储 多核并行:分区间并行处理数据(查询,合并等) 多种表引擎:常用MergeTree Family,Log Family,Integrations 写入建议:一批大于1000行,或每秒不超过一个写入请求 数据类型 整...
概述 端口8123:tcp转发 端口9000:http转发 端口9009:interserverHTTPPort 列式存储:磁盘存储按列存储 多核并行:分区间并行处理数据(查询,合并等) 多种表引擎:常用MergeTree Family,Log Family,Integrations 写入建议:一批大于1000行,或每秒不超过一个写入请求 数据类型 整...
你会如何做架构设计改造?为什么? 模版:1、复杂来源,2、解决方案,3、评估标准,4、技术实现 参考:https://www.cnblogs.com/edisonchou/p/architecture_design_learning_in_5mins_part3.html
分层模式 每一层有特定的角色和职责;请求逐层向下传递,并逐层向上返回 展示层(View):用户UI页面,请求输入和响应展示 控制层(Control):执行业务逻辑 应用层(Service):控制层和数据层的桥梁 数据层(Dao):操作数据库 场景: 适合小型web服务 优点: 前期开发成本低,可快速完成应用 分层职责分明,可维护性高 缺点: 业务请求...
性能指标 带宽:链路的最大传输速率 延时:一个数据包往返所需的时间延迟 吞吐率:单位时间内成功传输数据大小 PPS:单位时间传输包数量 连接数:TCP连接数 丢包率:所丢失数据包数量占所发送数据组的比率 重传率:重传网络包的比例 带宽 ethtool eth0 | grep Speed 延时 ping 吞吐率/PPS sar -n DEV 1 18:30...
水平扩展,采用集群和分布式 Nginx反向代理,负载均衡 过滤无效请求 redis缓存 数据库优化 消息队列异步处理
作用 解耦、异步、削峰。 模型 队列模型 一对一共享消息 消费者 拉取 消息的模式 主题模型 一对多广播消息 场景 消息顺序问题 在项目中没有遇到需要处理消息顺序的问题 在业务层控制顺序问题,不依赖MQ服务 ...
进程模型 master进程: 接收来自外界信号 向worker进程分发信号 监控worker进程运行状态 worker进程: 连接accept后,读取请求、解析请求、处理请求 独立进程 ,一...
1、PriorityBlockingQueue + Polling PriorityBlockingQueue 为优先队列 生产者随机往队列中发送消息 消费者轮询获取消息并消费 缺点:轮询的时间间隔不好控制,时间间隔太长,任务无法及时处理,间隔太短,消耗CPU PriorityBlockingQueue ...
总体架构 Producer:生成消息,push到Topic Broker:每个节点就是一个Broker,负责创建Topic,并将Topic中消息持久化到磁盘 Topic:同一个Topic可以分布在一个或多个Broker,一个Topic包含一个或多个Partition Partition:存储消息的单元,由Topic创建,分leader partition和follow...
架构体系 k8s的master节点实现了对集群的管理,主要有四个组件: api-server controller-mananger kube-scheduler etcd api-server:提供restful接口,实现整个k8s集群通信 controller_manager:集群的管理控制中心,对集群的资源进行管理 kube-scheduler:实现调度算法...