分类目录归档：编程语言

2018
01-16

由FTWRL导致的MySQL从库死锁分析及参数深究

最近线上执行备份的从库时出现复制卡死现象，分析以后发现是两个死锁，showfullprocesslist的状态如图1所示，其中，数据库版本是官方5.7.18版本，我们内部做了些许修改，但与此次死锁无关。图一先说一下结论，图一中：162线程是执行innobackup执行的flushtableswithreadlock;144是SQL线程，并行复制中的Coordinator线程；145/146是并行复制的worker线程，145/146worker线程队列中的事务可... 继续阅读 >
2018
01-16

关于真正理解Node.js事件循环你需要了解的一切

Node.js是一个基于事件的平台。这意味着Node中发生的任何事情都是对于事件的响应。传入Node的数据处理要经历一层层嵌套的回调。这一流程相对于开发者被抽象出来，由一个叫做libuv的库处理，就是libuv为我们提供了事件循环机制。事件循环也许是Node中最容易被误解的概念。我为Dynatrace工作，这是一家性能监控服务商。在我们解决事件循环监控这一问题时，我们付出了很多努力去正确理解我们正在监测的部分。这篇文章... 继续阅读 >
2018
01-11

全面Docker化之后，京东弹性数据库的最新实践与突破！

京东弹性数据库不是一个单一的产品，而是京东在对数据库的使用、运维和开发过程中遇到的一系列问题的解决方案，和运维经验的总结升华进而形成的一套产品系列，主要包括三大功能模块：核心功能模块：JED，提供数据查询和写入的自动路由、自动弹性伸缩、自动FailOver、自动负载调度和数据库服务智能自治的功能。实时数据发布与订阅模块：BinLake，完全自助、无状态、自动负载、完全自治、可横向扩展的集群化Binlog... 继续阅读 >
2018
01-10

Erlang/Elixir语法速成

Erlang/Elixir语法速成本文是针对Erlang开发人员的Elixir语法简介，同时也适用于试图了解Erlang的Elixir开发者。本文简要介绍了Elixir/Erlang语法，互操作能力，在线文档和示例代码等最基础的知识。1运行代码1.1Erlang最快速运行代码的方法是启动Erlangshell-erl。本文中大部分代码可以直接粘贴到shell中，Erlang中的命名函数必须包含在模块中，而且必须要在模块编译后才能使用。下面是一个模块... 继续阅读 >
2018
01-10

100行Python代码自动抢火车票！

今年你不妨自己写一段代码来抢回家的火车票，是不是很Cool。先准备好：12306网站用户名和密码chrome浏览器及下载chromedriver下载Python代码，来自网络整理[点击下载]代码用的Python+Splinter开发，Splinter是一个使用Python开发的开源Web应用测试工具，它可以帮你实现自动浏览站点和与其进行交互。Splinter官网http://splinter.readthedocs.io/en/latest/。Splinter执行的时候会... 继续阅读 >
2018
01-10

机器学习算法 Python 实现

机器学习算法Python实现目录机器学习算法Python实现逻辑回归_手写数字识别_OneVsAll六、PCA主成分分析（降维）3、主成分分析PCA与线性回归的区别6、主成分个数的选择（即要降的维度）9、使用scikit-learn库中的PCA实现降维七、异常检测AnomalyDetection1、高斯分布（正态分布）3、评价的好坏，以及的选取... 继续阅读 >
2018
01-03

Android跨进程IPC通信AIDL

简介AIDL:AndroidInterfaceDefinitionLanguage,即Android接口定义语言，用于生成Android不同进程间进行进程通信(IPC)的代码，一般情况下一个进程是无法访问另一个进程的内存的。如果某些情况下仍然需要跨进程访问内存数据，这时候Android系统就要将其对象分解成能够识别的原数据，编写这一组操作的代码是一项繁琐的工作，但是AIDL对底层进行了抽象的封装，简化了跨进程操作。在Android中跨进程操作的方式不止一种，... 继续阅读 >
2018
01-03

Python玩“跳一跳” iOS+Win 硬件实现

感谢来自 wangshub 的跳跃距离算法原项目地址：wangshub/wechat_jump_game知乎专栏：教你用Python来玩微信跳一跳本项目知乎专栏：python玩“跳一跳”iOS+Win版目前已有的iOS跳一跳辅助需要macOS环境下的WebDriverAgentRunner。而现在介绍的方法在Windows环境下通过物理方法实现，不需要macOS也不需要越狱。运行环境&工具Python3.6inWindowsPythonPillow库局域网环境... 继续阅读 >
2018
01-02

OAuth 2.0 理解

OAuth是一个用于定于授权的开放标准，目前已经发展到了2.0的版本。它可以让用户允许第三方应用程序访问该用户存储在某一个网站或者系统上面的资源(比如照片，联系人)而不用提供密码给该第三方应用程序，并且还可以限制权限和有效期。OAuth做到了一下这两点：不需要将用户名和密码提供给第三方应用而是通过令牌让第三方应用访问资源每一个令牌授权一个特定的应用在特定的时段内访问特定的资源应用... 继续阅读 >
2018
01-02

分布式事务的总结与思考

思来想去，个人觉得要理解「分布式事务」，必须先知道什么是“事务（Transaction）”。当然，这里提到的“事务”是在事务型数据库（TransactionalDatabase）知识领域内的。一个事务包含了若干个数据库操作，这些操作通常都会对数据库产生变化。值得一提的是，多个事务之间是互不影响，独立运行的，事务里的各个操作最终都得以持久化。事务一个很重要的特性是："all-or-nothing"。通俗来讲，事务是对数据的... 继续阅读 >
2017
12-28

记一次公司的Android分享会

前言我刚来这个公司的时候，每个周三都会有分享会，主题自定，分享对象尽量是面向大众，一开始觉得不错，但是到后面发现分享的内容不是那么有营养，而且积极性不是很高，都是当做任务进行分享。程序员因为较为腼腆，分享的人较少，大部分都是客户部、分析部或者推广部的分享，久而久之，氛围就比较消极。为了提高咱们程序员发言的积极性，增添技术部的沟通氛围，决定之前的分享形式不变，但是改为月末一次，技术部的分... 继续阅读 >
2017
12-25

新一代数据库技术在双11中的黑科技

摘要：12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大家分享了2017双11背后的黑科技。本文是《新一代数据库技术在双11中的应用》演讲整理，本文主要从数据库上云和弹性调度开始谈起，重点分享了新一代数据库以及其在双11中的应用，包括X-DB、X-KV和ESDB等。12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大... 继续阅读 >
2017
12-25

如何做到单机毫秒完成上亿规模大数据常规统计

虽然现在最火的是AI，但是大数据和计算能力仍然是机器学习/AI算法的重要支撑，我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据，通过消息通道发送到大数据平台进行存储、加工和统计，然后在统计数据之上提供算法挖掘用户偏好行为和画像，为此，我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau(日活)、mau(月活)等指标，这个过程存储占用越少，计算时间越快越好。Fourinon... 继续阅读 >
2017
12-20

我与 Go 语言的这十年

2007年9月20日，关于设计一门全新语言的讨论正式开始，这门全新的语言，就是后来的Go。时至今日，Go语言已经发布到1.9版本，走过了整整十年的历程。在这十年间，Go语言两夺TIOBE年度语言大奖（2009/2016），许多初创公司在早期使用Go进行开发，包括现在的云计算巨头Docker，也由此催生出了Kubernetes这样的项目。在大洋彼岸的中国，GoogleTrends显示Go的异常火爆更让Go语言之父感到震惊。而这一切，跟一... 继续阅读 >
2017
12-20

GraphQL技术栈概览：如何将所有的功能组合起来

Facebook将GraphQL作为开源项目发布已经有两年的时间了。从那时算起，社区就以指数级的速度在增长，现在成千上万的公司在生产环境中使用GraphQL。在2017年10月举行的GraphQL峰会上，我非常荣幸地受邀在第二天演讲。读者可以在YouTube上观看完整的视频，也可以通过阅读本文对演讲有一个大致的了解（演讲的演示文稿可以在SlideShare站点下载——译者注）。首先，我会简要介绍一下GraphQL的现状，然后阐述它未来一段时间... 继续阅读 >
2017
12-15

管理 Node.js 进程从未如此优雅

说到Node.js的进程模型，脑子里第一个闪现的可能是Cluster模块，亦或是Master/Worker进程模型，在长期的使用过程中，我们逐渐发现，这样在应用的开发早晚会有局限性，除了不够优雅之外，每次增减进程或者自定义进程都会产生不可预知的问题。在一些特定的场景下，我们甚至在Master下面加入了一个Agent进程用来运行一些中间件SDK。在这些修修补补的过程中，传统的进程间通信，数据交换都变的困难，甚至Wor... 继续阅读 >
2017
12-13

Python实现数据结构常见算法

本文主要介绍了数据结构中的八大排序算法，利用Python分别将他们进行实现。前言八大排序，三大查找是《数据结构》当中非常基础的知识点，在这里为了复习顺带总结了一下常见的八种排序算法。常见的八大排序算法，他们之间关系如下：排序算法他们的性能比较：性能比较下面，利用Python分别将他们进行实现。直接插入排序算法思想：直接插入排序直接插入排序的核心思想就... 继续阅读 >
2017
12-11

函数式编程中的 “函数们”

函数式编程中函数有三种不同的解读方式，分别为纯函数、高阶函数和一等函数。本文分别对这三者的概念、应用和联系进行详解。纯函数定义：1.相同的输入必定产生相同的输出2.在计算的过程中，不会产生副作用满足上述两个条件，我们就说该函数是纯函数。纯函数也即数学意义上的函数，表达的是数据之间的转换（映射）关系，而非计算步骤的详述。数学函数的定义：函数通常由定义域X、值域Y，以及... 继续阅读 >
2017
12-11

你所不知道的Java之HashCode

之所以写HashCode，是因为平时我们总听到它。但你真的了解hashcode吗？它会在哪里使用？它应该怎样写？相信阅读完本文，能让你看到不一样的hashcode。使用hashcode的目的在于：使用一个对象查找另一个对象。对于使用散列的数据结构，如 HashSet、HashMap、LinkedHashSet、LinkedHashMap ，如果没有很好的覆写键的hashcode()和equals()方法，那么将无法正确的处理键。 请对以下代码中 Person&nb... 继续阅读 >
2017
12-06

Redis 数据类型及应用场景

一、redis特点所有数据存储在内存中，高速读写提供丰富多样的数据类型：string、hash、set、sortedset、bitmap、hyperloglog提供了AOF和RDB两种数据的持久化保存方式，保证了Redis重启后数据不丢失Redis的所有操作都是原子性的，还支持对几个操作合并后的原子性操作，支持事务通常我们都把数据存到关系型数据库中，但为了提升应用的性能，我们应该把访频率高且不会经常变动的数据缓存到内存中。... 继续阅读 >
2017
12-04

（译）TensorFlow 广度和深度学习的教程

TensorFlow在训练深度神经网络方面效果也很好，那么你可能会考虑该如何取舍它的功能了–可是，为什么不选择两者兼得呢？那么，是否可以将两者的优势结合在一个模型中呢？在这篇文章中，我们将会介绍如何使用TF.LearnAPI同时训练一个广度线性模型和一个深度前馈神经网络。这种方法结合了记忆和泛化的优势。它在一般的大规模回归和具有稀疏输入特性的分类问题（例如，分类特征存在一个很大的可能值域）上很有效。如果你... 继续阅读 >
2017
11-30

iOS面试题：阿里-P6一面-参考思路

阿里-p6-一面 1.介绍下内存的几大区域？2.你是如何组件化解耦的？3.runtime如何通过selector找到对应的IMP地址4.runloop内部实现逻辑？5.你理解的多线程？6.GCD执行原理？7.怎么防止别人反编译你的app？8.YYAsyncLayer如何异步绘制？9.优化你是从哪几方面着手？1.介绍下内存的几大区域？1.栈区(stack)由编译器自动分配并释放，存放函数... 继续阅读 >
2017
11-25

Twitter 架构如何支持上亿用户

谈到设计Twitter,我们首先要问一个本质问题：设计Twitter的基本方法论是什么？其实是我们计算机设计最基本的方法：分治法（DivideandConquer）。什么是分治法呢？就是把问题不断的拆解，拆解到你可以解决为止，它的艺术在于，从哪个维度来拆解非常考验我们能力。如果要求一周开发出Twitter，你会怎么做？你的架构是什么样的呢？相信你一定不会给出复杂的架构。前端是各种各样的业务逻辑，后端... 继续阅读 >