安全多方计算MPC
2024/12/31 16:00 · 祈雨的笔记
介绍 隐私计算 随着数字化和大数据分析技术的迅猛发展，对多方数据的需求日益增长。例如，在评估个人信用风险时，需要综合考量多种属
spark原理解析
2024/11/01 16:00 · 祈雨的笔记
1. 什么是Spark Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。目前Spark集成了SQL查询，图处理，机器学习，流处理等，在计算引擎中生态比较
kueue执行源码分析
2024/09/05 16:00 · 祈雨的笔记
1. kueue 1.1 概念 <img src="https://img.wak
spark on k8s执行源码分析
2024/07/28 16:00 · 祈雨的笔记
1. submit任务 <
spark-operator源码解析
2024/07/27 16:00 · 祈雨的笔记
1. spark-operator介绍 Apache Spark的Kubernetes Operator旨在使指定和运行Spark应用程序变得像在Kubernetes上
系统压测遇到的缓存击穿问题
2023/03/18 16:00 · 祈雨的笔记
背景 香港业务方计划在4月初做消费券活动，预计在4月有一波大促流量并且远超去年双12的流量水位，因此对香港业务方的核心链路重新做一次新流量水位的压测，保障当前集群能满足预期的流量水位需求。 经过两次实验性压测后，通过公式计算出新流量水位预计下上下游每个
我的世界PC与安卓联机
2022/11/04 16:00 · 祈雨的笔记
0. 背景 想和朋友搭个我的世界，并且PC和手机联机玩，但目前的现状是我的世界客户端分基岩版和Java版。Java版历史悠久，因此Mod支撑丰富，跨平台且能力完善；而基岩版是基于C++编写，性能更好但Mod少。 目前Java版支持的平台有
蚂蚁金服流量投放平台的AIG改造
2022/10/05 16:00 · 祈雨的笔记
1. 概述 对于多租户场景的服务应用，在做系统架构设计时经常离不开的话题就是租户隔离设计，这里的租户隔离不限于实现隔离、数据隔离、资源隔离等。实现隔离通俗的讲就是一套代码实现是否被多个租户共用，还是每个租户一套单独的代码实现；数据隔离就是租户的数据在数
G1大对象致Old区占用率高
2022/04/16 16:00 · 祈雨的笔记
背景 某日凌晨一点多点，值班同事call我说应用线上环境持续告警JVM的老年区空间使用率持续超过95%，于是去监控台查看该应用的JVM监控数据，果然集群下几乎所有的线上节点的老年区使用率突然飙升。挑选了一个节点的监控，如下图： <img src="ht
日志打印导致接口响应率下跌分析
2021/12/15 16:00 · 祈雨的笔记
背景 先前在开发环境对一台测试节点进行压测时，由于参数配置错误导致请求没有业务处理直接报错。随即停止压测后登录测试机器排查日志，以外发现虽然已经没有请求到该节点，但应用依然在打印错误日志，并且看日志时间是在打印几分钟前请求的日志。 当时第一反应是异步打
Groovy加载类导致OOM分析
2021/11/20 16:00 · 祈雨的笔记
现象 项目中需要使用动态规则引擎，因此对热门的Groovy进行了调研。但早先就对Groovy会有OOM的问题有所耳闻，因此调研的时候特地关注了高频率使用Groovy加载类的场景，结果果然与预期一直稳定复现OOM故障。 <a href=
ERROR日志打印导致CPU满载
2021/09/04 16:00 · 祈雨的笔记
描述 开发环境对一台测试节点进行压测时，由于参数配置错误导致请求没有业务处理直接报错。随即停止压测后登录测试机器排查日志，以外发现虽然已经没有请求到该节点，但应用依然在打印错误日志，并且看日志时间是在打印几分钟前请求的日志。 第一反应是异步打印的日志出
记OceanBase死锁超时
2021/08/15 16:00 · 祈雨的笔记
背景 线上环境大促活动期间内容平台偶发数据库连接报错，报错信息为 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure ，初
应用发版期间服务响应超时
2021/07/30 16:00 · 祈雨的笔记
描述 负责的应用正式环境发版期间，下游应用调用服务告警，查看监控发现这个时间段内偶发下游调用查询接口超时，服务耗时波动如下图： <img src="https://img.wakzz.cn/202107/jQMhiPCh4S.png" alt="ima
Ark Serverless初探
2021/06/26 16:00 · 祈雨的笔记
Ark Serverless 前几年流行大中台小前台概念，将业务中通用的基础业务服务例如会员、商品、交易等功能服务收敛统一，将这些通用业务合并成一个中台服务，业务前台通过调用中台提供的统一服务实
系统优化复盘一二三
2021/04/12 16:00 · 祈雨的笔记
背景 2020年下半年的某个周五下午，作为主开发的我请假出去摸鱼了，然后下午四点左右突然的服务器报警不约而至，各个应用大量报错显示网络超时。人在外，只能拜托其他同事帮忙排查问题了，同事排查后发现是Nginx服务器的CPU满载导致的服务不可用，并于半小时后恢复正常。<
The user specified as a definer does not exist
2021/03/19 16:00 · 祈雨的笔记
描述 mysql管理员给调用方创建了一个名为 test 的用户，并授权了指定host，效果如下： <s
Kong网关初探
2021/03/06 16:00 · 祈雨的笔记
安装 Kong开源版不提供dashboard支持，只有Kong企
API网关选型调研
2021/03/05 16:00 · 祈雨的笔记
需求 稳定性、社区活跃 : 一个开源工具的选型，性能是次要的，真正首要的是工具稳定可靠且开源社区持续维护 控制台简单友好 监控</str
CPU火焰图常用工具
2021/02/26 16:00 · 祈雨的笔记
CPU火焰图 关于性能分析 On-CPU火焰图: 基于线程在CPU执行上耗时采样，可以直观地查看线程花费在CPU上的时间分布 Off-CPU火焰图: 基于线程在CPU等待(I/O、锁、中断等原因)上