分类目录归档：编程语言

2018
05-07

从源码看微信小程序启动过程

一、写作背景接触小程序一年多，真实体验就是小程序开发门槛相对而言确实比较低。不过小程序的开发方式，一直是开发者吐槽的，如习惯了Vue，React开发的开发者经常会吐槽小程序一个Page必须由多个文件组成，组件化支持不完善或者说不能非常愉快的开发组件。在以前小项目中没太大感觉，从加入有赞，参与有赞微商城小程序的开发，是真切的体会到对于大型小程序项目开发的复杂性。有赞从微信小程序内测就开始开发小程... 继续阅读 >
2018
05-07

3分钟了解“关联规则”推荐

“把啤酒放在尿布旁，有助于提升啤酒销售量”是关联规则推荐的经典案例，今天，和大家聊聊“关联规则推荐”，正文不含任何公式，保证PM弄懂。一、概念1.什么是关联规则(AssociationRules)?答：关联规则是数据挖掘中的概念，通过分析数据，找到数据之间的关联。电商中经常用来分析购买物品之间的相关性，例如，“购买尿布的用户，有大概率购买啤酒”，这就是一个关联规则。画外音：如果把买尿布记作A，买啤酒... 继续阅读 >
2018
05-07

机器学习时代的哈希算法，将如何更高效地索引数据

哈希算法一直是索引中最为经典的方法，它们能高效地储存与检索数据。但在去年12月，JeffDean与MIT等研究者将索引视为模型，探索了深度学习模型学习的索引优于传统索引结构的条件。本文首先将介绍什么是索引以及哈希算法，并描述在机器学习与深度学习时代中，如何将索引视为模型学习比哈希算法更高效的表征。2017年12月，谷歌和麻省理工学院的研究人员发表了一篇研究论文TheCaseforLearnedIndexStructures，... 继续阅读 >
2018
05-07

从零开始，了解元学习

元学习是目前机器学习领域一个令人振奋的研究趋势，它解决的是学习如何学习的问题。传统的机器学习研究模式是：获取特定任务的大型数据集，然后用这个数据集从头开始训练模型。很明显，这和人类利用以往经验，仅仅通过少量样本就迅速完成学习的情况相差甚远。因为人类学习了「如何学习」。在这篇文章中，我将从一个非常直观的元学习简介入手，从它最早的起源一直谈到如今的元学习研究现状。然后，我会从头开始... 继续阅读 >
2018
04-28

正则表达式基础知识

ECMAScript3开始支持正则表达式，其语法和Perl语法很类似，一个完整的正则表达式结构如下：varexpression=/pattern/flags;其中，模式（pattern）部分可以是任何简单或复杂的正则表达式，可以包含字符类、限定符、分组、向前查找以及反向引用。每个正则表达式都可带有一或多个标志（flags），用以标明正则表达式的行为，正则表达式支持下列3个标志：g：表示全局（global）模式，即模式将被应用于... 继续阅读 >
2018
04-22

数据科学初学者必知的NumPy基础知识

本文介绍了一些NumPy基础知识，适合数据科学初学者学习掌握。NumPy（NumericalPython）是Python中的一个线性代数库。对每一个数据科学或机器学习Python包而言，这都是一个非常重要的库，SciPy（ScientificPython）、Mat-plotlib（plottinglibrary）、Scikit-learn等都在一定程度上依赖NumPy。对数组执行数学运算和逻辑运算时，NumPy是非常有用的。在用Python对n维数组和矩阵进行运算时，NumPy提供了大... 继续阅读 >
2018
04-22

借鉴开源框架自研日志收集系统

项目背景公司项目需要将分布在多台机器中的日志统一收集管理。笔者先后使用logstash，flume等开源项目。并最终自研一套基于Java语言的日志收集系统Bloodhound。以下从项目关注的角度对开源系统与自研进行分析。1开源日志收集系统特征Logstash和Flume都是很成熟的日志收集平台，结构清晰，插件丰富，文档简明易懂，示例代码非常多。其中Logstash侧重对字段的预处理，Flume侧重不同的网络拓扑中日志的传递，通... 继续阅读 >
2018
04-19

17 个成功案例，让你学会 MVP 最小可行性产品设计

编者按：在竞争日益激烈的世界里，创业公司需要比以往更快地将产品推向市场。最小可行的产品，也就是MVP，是实现这一目标的方法，但你必须能够提供正确的关键功能，这些关键功能需要与众不同且能够给用户创造价值。以便在推向市场之前吸引客户和投资者。RST收集了17个成功的MVP的例子，来展示创业公司在开发MVP的关键功能集时，应该关注什么。文章由36氪编译，希望能够为你带来启发。FacebookFacebook推出的所... 继续阅读 >
2018
04-19

携程图片服务架构

作者简介胡健，携程框架高级研发经理，目前负责多媒体服务的构建和研发工作。近些年携程业务突飞猛进，用户遍及世界各地。公司对用户体验也越来越重视，每一个小的功能改动、页面改版的背后，都有大量的A/B实验提供保障。与此同时，与用户体验息息相关的媒体文件的应用质量也被放到重要位置，如图片加载延时、成功率、清晰度等数据。本文将分享携程图片服务架构，包括服务架构的演变过程，以及在生产上实际遇到的... 继续阅读 >
2018
04-11

Python性能优化的20条招数

优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大，在Python中可以通过选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式，总得来说，一般有分治，分支界限，贪心，动态规划等思想。减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。合理使用copy与de... 继续阅读 >
2018
04-11

常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统里... 继续阅读 >
2018
04-08

微服务中 Dubbo 和 Spring Cloud 架构技术路线对

微服务架构是互联网很热门的话题，是互联网技术发展的必然结果。它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。虽然微服务架构没有公认的技术标准和规范或者草案，但业界已经有一些很有影响力的开源微服务架构框架提供了微服务的关键思路，例如Dubbo和SpringCloud。各大互联网公司也有自研的微服务框架，但其模式都于这二者相差不大。微服务主要的优势如下：1、降低复杂... 继续阅读 >
2018
04-08

［Redis源码阅读］redis持久化

作为web开发的一员，相信大家的面试经历里少不了会遇到这个问题：redis是怎么做持久化的？不急着给出答案，先停下来思考一下，然后再看看下面的介绍。希望看了这边文章后，你能够回答这个问题。为什么需要持久化？由于Redis是一种内存型数据库，即服务器在运行时，系统为其分配了一部分内存存储数据，一旦服务器挂了，或者突然宕机了，那么数据库里面的数据将会丢失，为了使服务器即使突然关机也能保存数据，必须通... 继续阅读 >
2018
04-03

未来Web开发趋势报告

Web开发领域几乎每过几分钟就会出现一个JavaScript开发框架，它们通常都很短命，这种现象非常有意思。要在这些框架中做出选择真的不容易。WebAssembly是过去几个月出现的一个主要的新趋势，它是一个Web标准，定义了一种二进制格式和类似汇编的文本格式，以便在Web页面上执行代码。现在所有的浏览器都支持WebAssembly，我们认为它将会成为一个非常重要的标准。CSS方面出现了CSS网格、CSSHoudini和可变字体，这些也... 继续阅读 >
2018
04-02

善于单挑却难以协作，构建多智能体AI系统为何如此之难？

本文将通过地图寻宝问题为例，向你简要介绍多智能体系统实施时的困难程度及其原因。「研究人工智能三十五年来的主要经验是：困难的问题是易解的，简单的问题是难解的。」Pinker(1994)，《TheLanguageInstinct》我之前觉得编写一个软件智能体来收集图上的宝藏是件简单的小事。但是我完全错了。编写出不愚蠢行动的智能体实际上非常困难。明确定义的多智能体设置「智能体是指任何通过传感器感知环境、通过效应... 继续阅读 >
2018
04-02

Python并发编程之进程

一、理论概念1、定义进程（Process也可以称为重量级进程）是程序的一次执行。在每个进程中都有自己的地址空间、内存、数据栈以及记录运行的辅助数据，它是系统进行资源分配和调度的一个独立单位。2、并行和并发并行：并行是指多个任务同一时间执行；并发：是指在资源有限的情况下，两个任务相互交替着使用资源；3、同步和异常同步是指多个任务在执行时有一个先后的顺序，必须是一个任务执行完... 继续阅读 >
2018
04-02

Golang Websocket 实践

这里先简单介绍一下websocket，确实只是简单介绍一下。1.应用场景有些场景下，比如交易K线，我们需要前端对后端进行轮询来不断获取或者更新资源状态。轮询的问题毫无以为是一种笨重的方式，因为每一次http请求除了本身的资源信息传输外还有三次握手以及四次挥手。替代轮询的一种方案是复用一个http连接，更准确的复用同一个tcp连接。这种方式可以是http长连接，也可以是websocket。2.websocket... 继续阅读 >
2018
03-23

Java 堆内存溢出梗概分析

任何使用过基于Java的企业级后端应用的软件开发者都会遇到过这种低劣、奇怪的报错，这些报错来自于用户或是测试工程师： java.lang.OutOfMemoryError：Javaheapspace。为了弄清楚问题，我们必须返回到算法复杂性的计算机科学基础，尤其是“空间”复杂性。如果我们回忆，每一个应用都有一个最坏情况特征。具体来说，在存储维度方面，超过推荐的存储将会被分配到应用程序上，这是不可预测但尖锐的问题。这导致了堆内... 继续阅读 >
2018
03-23

用Python构建你自己的RSS提示系统

人生苦短，我用Python，Python是非常棒的快速构建应用程序的编程语言。在这篇文章中我们将学习如何使用Python去构建一个RSS提示系统，目标是使用Fedora快乐地学习Python。如果你正在寻找一个完整的RSS提示应用程序，在Fedora中已经准备好了几个包。Fedora和Python——入门知识Python3.6在Fedora中是默认安装的，它包含了Python的很多标准库。标准库提供了一些可以让我们的任务更加简单完成... 继续阅读 >
2018
03-20

提高MySQL性能的7个技巧

译者注：随着尺寸和负载的增长，MySQL的性能会趋于下降。记住这些诀窍，便可保持MySQL的流畅运行。测量应用程序的方法之一是看性能。而性能的指标之一便是用户体验，通俗的说法就是“用户是否需要等待更长的时间才能得到他们想要的东西”。这个指标在不同的应用场合而有所改变。对于移动购物应用，响应时间不能超过几秒钟。对于员工的人力资源页面，可能需要多花几秒钟的时间。有很多关于性能如何影响用户行为... 继续阅读 >
2018
03-19

golang 高并发下 tcp 建连数暴涨的原因分析

 背景：服务需要高频发出GET请求，然后我们封装的是golang的net/http库，因为开源的比如req和gorequsts都是封装的net/http，所以我们还是选用原生（req使用不当也会掉坑里）。我们的场景是多协程从chan中取任务，并发get请求，然后设置超时，设置代理，完了。我们知道net/http是自带了连接池的，能自动回收连接，但是，发现连接暴涨，起了1万个连接。  首先，我们第一版的代码是基于python的... 继续阅读 >
2018
03-19

2022高级编程视频教程获取步骤 HOT

关注微信公众号，Python编程学习圈，回复【学习资料】，即可获取。吐血整理的海量Python资源、教程、电子书、更新的学习资料，让你学习Python从入门到精通，最关键的是！无偿免费分享！资料概览 1、Python必备开发工具（超实用安装包及教程）2、Python电子书籍3、100道Python练习题（检验学习成果）4、零基础教程视频5、经典、难点详细解析6、最新python爬虫神经网络深度学习算法... 继续阅读 >
2018
03-13

用 debugger 学习 golang

常见的工程语言可分为解释型和编译型两种，比如写php的，一般就不怎么在乎debugger之类的东西。为什么？如果真出了问题，我可以临时把出问题的服务机器从线上服务中摘除出来，甚至申请一个较高的权限去修改代码，然后到处去die/echo。虽然有人说这么做不太好，或者一般公司也不给开权限。不过着急的时候，这个肯定是可行的。然而像java/go这种编译型的就比较麻烦了。线上一般只有程序的运行环境而没有编译环境。就算是在... 继续阅读 >
2018
03-12

你想知道的2018年软件开发“10件事”

区块链、NLP、AI驱动的工具、机器学习、无服务器计算和devops创新将在2018年改变开发者的生活。开发人员应该对2018年的机遇感到兴奋，产品和工具围绕着诸如区块链、聊天机器人、无服务器功能和机器学习等技术在现实世界的项目中变得足够成熟。与此同时，许多开发人员会担心，在不影响安全性和性能的前提下，他们将无法更快地交付代码和功能。但这方面也有好消息。对于开发人员来说，2018年的定义是，在抓住转型新... 继续阅读 >