Di's Blog

Welcome to my little tiny Blog

直觉(Cover)

第一次尝试录音棚录音

“我喜欢你的眼睛你的睫毛你的侧脸,喜欢你嘟着嘴巴说教我吐烟圈。” 喜欢歌词,单曲循环了好多遍,就想试着录一下了。 第一次还是有点紧张。

On premise log and metric collection

私有化部署系统的日志和指标收集方案

前言 在私有化部署的系统中,系统可能会多次进行分布式组件的部署,而在私有化部署的环境中,可能没有完善的日志收集、指标收集和分析的工具,为了能便捷地进行日志、指标的收集和分析,这里提出一个简单的可复制的 ELK 日志、指标收集方案。 背景 在当前的项目中,我们已经使用了 Elasticsearch 作为业务的数据储存,同时利用 ansible、docker、jenkins 组合了一套...

Performance Optimization

性能优化的整体思路和常用工具方法

前言 在工作中发现关于性能优化相关的工作,大部分人都较少涉猎,也缺少相关的经验,所以把我的经验记录下来,抛砖引玉。 需求 性能需求 在一个系统运行的过程中,遇到性能上的需求无法满足是非常常见的。例如: 一个 HTTP 服务器的某个请求响应时间过长。 一个消息队列同时可以发送、储存的消息数量不足。 一个脚本的执行时间过长。 高性能往往可以具体拆解为低延迟和高吞吐量...

Weird bugs - 4

奇怪的 bug 系列 4 -- Linux 网卡混杂模式

前言 这次记录的 bug 是主要是涉及网络知识比较多,排查中主要用到了 tcpdump 以及一些运气。 问题以及排查过程 问题表象 在一台 vmware 部署的 Redhat 系统上安装 docker,使用的是阿里云的镜像源,安装命令如下 yum remove docker \ docker-client \ docker-cl...

Sync Outlook Calendar And Conference Room

将 Outlook 中的日程信息以及会议室信息同步至第三方系统

起因 由于系统A实现上的需求,我们需要将 outlook 中的会议室的使用信息,以及对应每个用户的日程信息同步至内部开发的系统A中。主要需求包括: outlook上的会议室使用情况涉及到不使用系统A的用户,所以outlook上的会议室预约信息会比系统A中的多,我们需要把这些额外的预约信息同步至系统A中,这样系统A中的用户在预约会议室时,可以考虑到其他用户的冲突。 用户已经习惯使...

Leverage Datalake cloud service in ETL

利用 Datalake 服务加速数据分析的迭代流程

起因 在数据采集和分析的流程中,目前有3个痛点不好解决: 数据采集之后是以多个小 json 文件储存在类似 AWS S3 的对象储存中的,当我们要核验数据的特征,例如最大值,数据总数之类的,需要使用 MapReduce 或者 spark 才能实现,而这个操作门槛相对较高。并且由于数据是以多个小文件的形式存在,批处理脚本的执行效率低,每次都需要较长时间才能完成一个简单的数据查询。 ...

Snappy-python is not fully compatible with hadoop-snappy

Snappy 的 python SDK 与 hadoop snappy 不兼容的问题

起因 在我当前项目中,有一部分技术架构涉及到数据在 python 脚本中用 json + snappy 的格式压缩之后储存起来,json 是作为数据序列化的格式,而 snappy 则是作为数据压缩的格式。在下游处理中,spark 任务会读取这部分数据进行处理。这套方案理论上是没有问题的,在我们的调研中,也确认了 python 中上传的数据,在 spark 中可以被正确解读。但是在实际广泛使...

App Store Review Tips

App Store 审核经验总结

初衷 这篇博客主要想记录一下 App Store 中审核遇到的一些问题,以及最终解决的方案,希望对后来者有一定帮助,也是对自己的经验总结。 对于苹果开发者来说,App Store 的审核是一个对整体迭代效率影响极大的一个环节,但是绝大部分情况下,App Store 的审核还是比较客观效率的,所以不必将其视为洪水猛兽。 这里主要讨论下面几个问题: 第三方登录 第三方支付与内购...

Unity Asset Management

Unity 中资源管理的学习总结

需求 在团队进行 Unity 开发的时候,就资源管理的方式出现过许多吐槽,比如 “为什么不直接放进 Resource 里,多方便”,“要是当初放进 Resource 里就不会出这么多 bug 了 ”。当吐槽的次数越来越多,就意味着这个问题是阻碍开发效率的因素,急需解决。 同时,游戏安装包的大小与资源管理的方式直接挂钩,想要缩小安装包,就必须理解资源管理的原理并进行优化。 背景常识 对...

Amoy

厦门环岛路航拍记录

在其他城市航拍练手了这么几次之后,终于有机会给厦门拍一段视频了。 其实关于厦门的航拍视频已经不少,但这次金砖会议之后,厦门又比以往更干净漂亮了。真好。 不知道《航拍中国》什么时候会来厦门取景呢,期待。 音乐: “Sky Full Of Stars” written by Coldplay & Swedish DJ Avicii Performed by: ...