Recent Posts
-
March 07, 2013
c++ 管理一个排好序的vector sorted_vector ordered Vector boost flat_[multi]map set
打算试用一个排好序的vector来做另外一个 “字符串+ value” 的vector的索引， 其实就是字符串作为key，可以通过fnv32 的hash函数计算key，用于key的比较和索引。之所以用排好序的vector而不是map，是出于考虑。我觉得vector内存连续比map那种好，可以对排序的vector 做二分查找，跟map的l查找的时间复杂度是一样的（文档说排序的vector查找要比map快一倍。） 应用中的插入和删除操作很少，这样即使排序的vector的插入和删除性能比map...
-
February 22, 2013
Gcc 和vc中使用 嵌入汇编实现memcpy的例子
//- --------------------linux 内核里面的memcpy汇编----------------static __always_inline void *__memcpy(void *to, const void *from, size_t n){ int d0, d1, d2; asm volatile("rep ; movsl\n\t" "movl %4,%%ecx\n\t" ...
-
February 16, 2013
微博看到一篇比较不错的google工程师优化字符串操作的文章
Automated Locality Optimization Based on theReuse Distance of String Operationshttp://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en/us/pubs/archive/40679.pdfAbstract—String operations such as memcpy, memset an...
-
January 31, 2013
Windbg和ollydbg都可以设置无数个内存访问断点
微博看到有人说c++ 内存被破坏，导致指针数组里面的某个指针值不错。感觉可以通过设置内存访问断点来查找问题。不过说这个指针比较多，不能用这种办法。试试vc2008里面的 数据断点，确实有个数限制，我的电脑只能设置4个，每个4个字节长度的断点。 再多就提示超过硬件限制了。应该是x86里面4个调试寄存器，不能再多了。 （这个寄存器x86 debug register 有DR0…DR7 8个，但好像这有4个能用 http://en.wikipedia.org/wiki/X86_debug_...
-
January 25, 2013
Read write memory barriers起的作用
http://en.wikipedia.org/wiki/MESI_protocolMemory BarriersMESI in its naive, straightforward implementaton exhibits two particular low-performance behaviours; firstly, when writing to an invalid cache line, there is a long delay while the line is f...
-
January 05, 2013
基数估计算法的相关资料
下载LOFTER我的照片书 |基数就是，给一个数组，计算不同的数字的个数就是基数。 下面这些算法当数组非常大的时候，用概率的办法用很小的空间和误差估计大概的基数是多少。 想下面这个文档说的，用1.5kb的空间估算十亿个数字的基数。 淘宝工程师文档提到的一个应用就是统计访问一个链接的独立ip的数目。为每个连接分配一个基数估计需要的空间，然后把不同的ip和cookie之类的通过哈希函数，映射为一个数值。最后就是转换成基数估计问题。得到的基数就是独立ip数目。 Adaptive ...
-
December 12, 2012
Gettimeofday 和 linux vdso
下载LOFTER我的照片书 | 看到微博里面说道gettimeofday的优化问题，如果程序需要调用?? ????gettimeofday 太频繁的话，都是设置定时器，比如一毫秒的，获取到时间保存下来作为cache提供，这样可以减少?? gettimeofday的数量。这个之前就了解了。 还提到 Linux vDSO 的，其实我之前也一直以为是个 系统调用的，但其实由于 Linux vDSO （Virtual Dynamically-lined Shared Objec...
-
November 27, 2012
Windows平台的zeromq在iocp出来之前还是不要用了 默认select性能很差
默认在Windows平台用的select ，性能很差！在事件循环里面调用select之前初始化fd_set的memcpy消耗额外的16%的cpu资源。之前用了zeromq做了个传输log的后端，发现 libzmq.dll 占用的cpu比较多，用性能工具分析发现，原来是select的问题。windows平台的zeromq在iocp出来之前还是不要用了，默认select性能很差 - widebright - widebright的个人空间可以看到这个地方的3个memcpy的占用非常的多。之前一...
-
November 15, 2012
实现日志系统的想法和和日志文件的写磁盘策略
领导叫改造一下现在的log部件，主要用于trace的时候记录调试记录的。 测试了一下，发现这个trace的日志还是很大的，现有的代码，喜欢每个函数进入退出都加trace记录状态。如果这些trace记录全部打开的话，测试了之前做的一愕功能模块，发现每秒可以产生 50万条trace语句，20M的 日志都有可能。 这还只是单进程的，如果多个同时运行还可能更大了。 优化了一下以前代码，应该可以大幅度的提高性能，但相比较trace 全关的时候，性能还是要差20%左右。这个日志怎么保存还是个问题...
-
November 13, 2012
C++ auto_bufer 和 高性能日志库pantheios
Pantheios 的网页说他的库比其他的 日志库要快很多，看这里的http://www.pantheios.org/related_material.html的解释，大概是说，log startment都是使用栈上的内存吧，只是在log被启用的时候，才有最多一个的日志参数的复制。其实就是使用 一个 suto_bufer的辅助类，在栈上留一段空间，比如2048字节。 然后那些 log信息字串都是放到这个 栈上。 只有参数太多，格式化出来的字符串太长的时候才有 suto_bufer 去堆里...