陈迪的博客 | Di' Blog

Posted by Di Chen on January 20, 2020

On premise log and metric collection

私有化部署系统的日志和指标收集方案

前言在私有化部署的系统中，系统可能会多次进行分布式组件的部署，而在私有化部署的环境中，可能没有完善的日志收集、指标收集和分析的工具，为了能便捷地进行日志、指标的收集和分析，这里提出一个简单的可复制的 ELK 日志、指标收集方案。背景在当前的项目中，我们已经使用了 Elasticsearch 作为业务的数据储存，同时利用 ansible、docker、jenkins 组合了一套...

Posted by Di Chen on December 3, 2019

Performance Optimization

性能优化的整体思路和常用工具方法

前言在工作中发现关于性能优化相关的工作，大部分人都较少涉猎，也缺少相关的经验，所以把我的经验记录下来，抛砖引玉。需求性能需求在一个系统运行的过程中，遇到性能上的需求无法满足是非常常见的。例如：一个 HTTP 服务器的某个请求响应时间过长。一个消息队列同时可以发送、储存的消息数量不足。一个脚本的执行时间过长。高性能往往可以具体拆解为低延迟和高吞吐量...

Posted by Di Chen on November 1, 2019

Weird bugs - 4

奇怪的 bug 系列 4 -- Linux 网卡混杂模式

前言这次记录的 bug 是主要是涉及网络知识比较多，排查中主要用到了 tcpdump 以及一些运气。问题以及排查过程问题表象在一台 vmware 部署的 Redhat 系统上安装 docker，使用的是阿里云的镜像源，安装命令如下 yum remove docker \ docker-client \ docker-cl...

Posted by Di Chen on October 7, 2019

Sync Outlook Calendar And Conference Room

将 Outlook 中的日程信息以及会议室信息同步至第三方系统

起因由于系统A实现上的需求，我们需要将 outlook 中的会议室的使用信息，以及对应每个用户的日程信息同步至内部开发的系统A中。主要需求包括： outlook上的会议室使用情况涉及到不使用系统A的用户，所以outlook上的会议室预约信息会比系统A中的多，我们需要把这些额外的预约信息同步至系统A中，这样系统A中的用户在预约会议室时，可以考虑到其他用户的冲突。用户已经习惯使...

Posted by Di Chen on September 8, 2019

Leverage Datalake cloud service in ETL

利用 Datalake 服务加速数据分析的迭代流程

起因在数据采集和分析的流程中，目前有3个痛点不好解决：数据采集之后是以多个小 json 文件储存在类似 AWS S3 的对象储存中的，当我们要核验数据的特征，例如最大值，数据总数之类的，需要使用 MapReduce 或者 spark 才能实现，而这个操作门槛相对较高。并且由于数据是以多个小文件的形式存在，批处理脚本的执行效率低，每次都需要较长时间才能完成一个简单的数据查询。 ...

Posted by Di Chen on January 28, 2019

Snappy-python is not fully compatible with hadoop-snappy

Snappy 的 python SDK 与 hadoop snappy 不兼容的问题

起因在我当前项目中，有一部分技术架构涉及到数据在 python 脚本中用 json + snappy 的格式压缩之后储存起来，json 是作为数据序列化的格式，而 snappy 则是作为数据压缩的格式。在下游处理中，spark 任务会读取这部分数据进行处理。这套方案理论上是没有问题的，在我们的调研中，也确认了 python 中上传的数据，在 spark 中可以被正确解读。但是在实际广泛使...

Posted by Di Chen on November 11, 2018

App Store Review Tips

App Store 审核经验总结

初衷这篇博客主要想记录一下 App Store 中审核遇到的一些问题，以及最终解决的方案，希望对后来者有一定帮助，也是对自己的经验总结。对于苹果开发者来说，App Store 的审核是一个对整体迭代效率影响极大的一个环节，但是绝大部分情况下，App Store 的审核还是比较客观效率的，所以不必将其视为洪水猛兽。这里主要讨论下面几个问题：第三方登录第三方支付与内购...

Posted by Di Chen on April 20, 2018

Unity Asset Management

Unity 中资源管理的学习总结

需求在团队进行 Unity 开发的时候，就资源管理的方式出现过许多吐槽，比如 “为什么不直接放进 Resource 里，多方便”，“要是当初放进 Resource 里就不会出这么多 bug 了 ”。当吐槽的次数越来越多，就意味着这个问题是阻碍开发效率的因素，急需解决。同时，游戏安装包的大小与资源管理的方式直接挂钩，想要缩小安装包，就必须理解资源管理的原理并进行优化。背景常识对...

Posted by Di Chen on December 20, 2017

Amoy

厦门环岛路航拍记录

在其他城市航拍练手了这么几次之后，终于有机会给厦门拍一段视频了。其实关于厦门的航拍视频已经不少，但这次金砖会议之后，厦门又比以往更干净漂亮了。真好。不知道《航拍中国》什么时候会来厦门取景呢，期待。音乐： “Sky Full Of Stars” written by Coldplay & Swedish DJ Avicii Performed by: ...

Posted by Di Chen on October 5, 2017

ABOUT ME

Di's Blog

直觉（Cover）

第一次尝试录音棚录音