`
mk926
  • 浏览: 10489 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
最近访客 更多访客>>
社区版块
存档分类
最新评论
阅读更多

facebook使用memcached800个服务器来cache28个T的数据

facebook的工程师在调优memcached过程中从TCP移到UDP以减少网络流量(这是个老话题了,可以专门讨论:)),但是却发现UDP在Linux上性能下降的很厉害,原因是多个线程向一个socket传送数据造成锁的竞争。

另外Linux的内核对于网络软中断、IP包队列的处理都存在一些可优化的地方,经过优化后facebook声称他们的memcached可以处理200K/S的UDP请求平均的延迟是173毫秒,最大可以到500k而他们在Stock Linux上只能跑50K

 

Coherence的传输就是使用UDP,有一个专门的线程做网络读写,不存在竞争问题。

根据测试Coherence的进程可以在Stock Linux用足千兆网卡, 也试过10g网卡上传输超过500M/S的数据(当然涉及到Linux内核的这些问题,Coherence也是绕不过的,不过目前来说 Coherence的应用主要是企业应用,不是互联网应用,还不会有这么大的负载量,也不会OS的极限)

1
0
分享到:
评论

相关推荐

    good example of UDP client/server in C on Linux and Unix

    UDP sockets - UDP sockets code udpserver.c - Simple server using a UDP socket. udpclient.c - Simple client using a UDP socket.

    Linux下Socket编程的端口问题 ( Bind(): Address already in use ) PDF版

    Linux Socket Bind() 成功解决socket编程中bind端口绑定的Error:Address already in use 错误。

    Kali Linux Network Scanning Cookbook

    testing environment that can be used to test scanning tools and techniques Understand the ...on TCP and UDP sockets Get an overview of the different desktop environments for Kali Linux such as KDE...

    The_Linux_Networking_Architecture

    Processes on the Data-Link Layer 119 Section 6.3. Managing Layer-3 Protocols 127 Chapter 7. The Serial-Line Internet Protocol (SLIP) 132 Section 7.1. Introduction 132 Section 7.2. Slip ...

    Linux内核:从底层向上分析传输层之UDP协议

    这里看看数据包从IP层是如何交给传输层来处理的,为了方便,这里传输层以UDP协议为例来分析。  从ip_rcv()函数中可以看到  /*  * Pass on the datagram to each protocol that wants it,  * based on the ...

    linux服务器性能监测

    LoadRunner监控Linux安装成功,所以共享出来,备忘. 需要下载3个包,到网上google一个吧:  (1)rsh-0.17-14.i386.rpm  (2)rsh-server-0.17-14.i386.rpm  (3)rpc.rstatd-4.0.1.tar.gz  1.安装rsh,和...

    The.Linux.Networking.Architecture

    Processes on the Data-Link Layer 119 Section 6.3. Managing Layer-3 Protocols 127 Chapter 7. The Serial-Line Internet Protocol (SLIP) 132 Section 7.1. Introduction 132 Section 7.2. Slip ...

    Kali Linux Network Scanning Cookbook - Second Edition [2017]

    Perform comprehensive scans to identify listening on TCP and UDP sockets Get an overview of the different desktop environments for Kali Linux such as KDE, MATE, LXDE, XFC, and so on Use Sparta for ...

    kali-linux-network-scanning-cookbook-2nd.pdf【高清文字版】【带书签】

    Perform comprehensive scans to identify listening on TCP and UDP sockets ? Get started with different Kali desktop environments--KDE, MATE, LXDE, and Xfce ? Use Sparta for information gathering, port...

    基于C语言实现的linux下的TCP和UDP的网络聊天平台源码

    手动更新在线列表:客户端输入 #online C.选择聊天对象:客户端输入 # 目标IP 目标端口(例:# 192.168.14.82 56342) D.广播:(发送一个在线列表中所有用户都能收到的信息):#broadcast msg (例: #broadcast hello!...

    Professional Linux Kernel Architecture.pdf

    ❑ Chapter 12 discusses the networking implementation of the kernel, with a specific focus on IPv4, TCP, UDP, and netfilter. ❑ Chapter 13 introduces how systems calls that are the standard way to ...

    Linux下NIS服务器搭建

    一、 主要步骤: 1、所需软件包: 服务器端软件:ypserv 客户端软件:ypbind 工具软件包:yp-tools ...# chkconfig time-udp on # service xinetd restart 3、在NIS服务器主机中建立NIS域名 4、配置ypserv.conf文件

    linux下关于C的网络编程

    详细说明:这是linux下关于C的编程,其中包含了socket的几种用法的例子,有udp、tcp以及select的...-under linux on the C programming, which includes a socket several examples of usage, udp, tcp and select use.

    c++ socket Library

    About: This is a GPL licensed C++ class library wrapping the berkeley sockets C API, and therefore works ... Testing has been done on Linux and Windows 2000, and to some part on Solaris and Mac OS X.

    linux网络编程-宋敬彬-part1

    第1篇 Linux网络开发基础 第1章 Linux操作系统概述 2 1.1 Linux发展历史 2 1.1.1 Linux的诞生和发展 2 1.1.2 Linux名称的由来 1.2 Linux的发展要素 3 1.2.1 UNIX操作系统 4 1.2.2 Minix操作系统 4 1.2.3 ...

    基于Linux 的防火墙技术研究

    Study of the technology of firewall based on Linux SONG Wen-gong1 Tang Jin2 (1.Central South University, Changsha 510630,China; 2. Central South University, Changsha 410075,China) Abstract:The basic ...

    Wake On Lan网络开机程序(golang 版)

    本程序是通过发送UDP广播,实现网络开机(WOL)的程序,使用 Golang 编写,只编译了Linux AMD64下的版本,其它平台可以自行编译。使用方法:./wakeup -h 11:22:33:44:55:66,唤醒MAC地址为11:22:33:44:55:66的机器。...

    Python基于UDP实现可靠传输RUDP源码+项目说明.tar

    推荐在linux虚拟机下测试,windows下或许会出现未知错误 ## 发送端说明 发送端主要实现以下几点功能: - 读取一个文件并将该文件通过UDP套接字发给指定的接收端 - 如果文件过大,需将文件划分为大小合适的段后再装入...

    libpmc:通过Unix网络使用IEEE 1558管理消息与linuxptp通信的库。 该库提供了linuxptp项目的pmc工具提供的功能

    另外,我们支持linuxptp特定的实现管理TLV。 该库支持三个PTP网络层 UDP over IP版本4 UDP over IP版本6 以太网上的PTP-我们不支持VLAN标签 此外,我们支持使用Unix网络并与linuxptp ptp4l通信 libpmc库 该库使用...

    rsh软件(LoadRunner监控Linux)

    #rstatd sunrpc_udp udp wait root /usr/sbin/rpc.rstatd rstatd 100001 1-3 4、将#去掉 5、:wq保存修改结果 6、命令提示符下输入:refresh –s inetd 重新启动服务。 这样使用loadrunner就可以监视AIX系统的性能...

Global site tag (gtag.js) - Google Analytics