基于Flume的美团日志收集系统(一)架构和设计 – 美团技术团队

【说明】 本文转载自:http://tech.meituan.com/mt-log-system-arch.html

基于Flume的美团日志收集系统(一)架构和设计

dju alex2013-12-09 22:30

美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。

《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。

第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。

第二部分改进和优化,将主要着眼于实际部署和使用过程中遇到的问题,对Flume做的功能修改和优化等。

1 日志收集系统简介

日志收集是大数据的基石。

许多公司的业务平[……]

Read more

发表在 Uncategorized | 标签为 , | 基于Flume的美团日志收集系统(一)架构和设计 – 美团技术团队已关闭评论

Solr 删除数据的几种方式

 

Solr 删除数据的几种方式

分类: Lucene2010-10-20 16:22 6896人阅读 评论(0) 收藏 举报

solrlucene服务器streamxmlquery

有时候需要删除 Solr 中的数据(特别是不重做索引的系统中,在重做索引期间)。删除一些 Solr 无效数据(或不合格数据)。

删除 solr 中的数据有几种方式:

1、先来看 curl 方式:

  1. curl  http://localhost:8080/update –data-binary  “&lt[……]

Read more

发表在 Uncategorized | 标签为 | Solr 删除数据的几种方式已关闭评论

solr+ajax智能拼音详解—solr跨域请求

 

solr+ajax智能拼音详解—solr跨域请求

分类: lucene solr2013-01-22 12:57 3532人阅读 评论(2) 收藏 举报

最近刚做完solr的ajax智能拼音。总结一下。

前端:jQueryAutoComplete插件。插件详见http://download.csdn.net/detail/wangzhaodong001/5018263

后端:solr自带suggest。拼音简写功能

效果图

http://blog.weirong.li/wp-content/uploads/2016/09/c38[……]

Read more

发表在 Uncategorized | 标签为 | solr+ajax智能拼音详解—solr跨域请求已关闭评论

JDK6 javadoc处理注解bug

【声明】本文为AdamsLee原创,转载请注明出自围炉网并保留本文有效链接:JDK6 javadoc处理注解bug, 转载请保留本声明!

在我的 https://github.com/WinRoad-NET/wrdoclet 项目中,一开始一直是在JDK7上开发的。因为公司一直用的是JDK6,最近想完善一下,看看是否能够支持JDK6。却发现一直无法编译通过,绕过了各种兼容问题后,最后还是卡在了下面这个异常:

java.lang.ClassCastException: com.sun.tools.javadoc.ClassDocImpl cannot be cast to com.sun.javadoc.AnnotationTypeDoc
at com.sun.tools.javadoc.Anno[......]

Read more

发表在 Uncategorized | 标签为 , | JDK6 javadoc处理注解bug已关闭评论

通过自定义java doclet定制接口文档

【声明】本文为AdamsLee原创,转载请注明出自围炉网并保留本文有效链接:通过自定义java doclet定制接口文档, 转载请保留本声明!
  1. doclet 简介
    • Doclet 是用 JavaTM编程语言编写的程序,它用 doclet API 指定 Javadoc 工具的输出内容和格式。
    • 缺省情况下,Javadoc 工具用 SunTM 提供的“标准”doclet 来生成 HTML 形式的 API 文档。
    • 然而,用户也可用自己的 doclet 根据个人喜好自定义 Javadoc 输出。用户可以利用 doclet API从头开始编写 doclet,也可以对标准 doclet 进行修改,以适合自己的需要。
  2. 自定义doclet基本步骤

Read more

发表在 Uncategorized | 标签为 , | 通过自定义java doclet定制接口文档已关闭评论

修复迅雷耍流氓植入http://hao.360.cn到浏览器的问题

【声明】本文为AdamsLee原创,转载请注明出自围炉网并保留本文有效链接:修复迅雷耍流氓植入http://hao.360.cn到浏览器的问题, 转载请保留本声明!

问题:

某某人在win8上装了迅雷,却发现打开浏览器时总是默认打开360导航网页,而浏览器的Internet选项设置中主页并没有被修改。

根本原因:

其根本原因其实是浏览器的快捷方式被强制更改了。对于IE,在C:ProgramDataMicrosoftWindowsStart MenuPrograms 找到相应的快捷方式,右键查看快捷方式的属性,在快捷方式->目标中就可以发现端倪。

解决方法:

对于IE,删除快捷方式后重建一个iexplore.exe的快捷方式。对于chrome,直接在Apps界面上Unpin from Start, Unpin from taskbar,重新Pin t[……]

Read more

发表在 Uncategorized | 标签为 | 修复迅雷耍流氓植入http://hao.360.cn到浏览器的问题已关闭评论

使用evernote发布wordpress

【声明】本文为AdamsLee原创,转载请注明出自围炉网并保留本文有效链接:使用evernote发布wordpress, 转载请保留本声明!

evernote 功能相当强大。如果能使用evernote发布blog,那么会非常方便。经过几天研究调试终于成功。

需要使用工具wordpress的插件Sentinote,这里需要感谢作者rheinardkorf

Sentinote代码在Github上 https://github.com/rheinardkorf/sentinote

但在使用过程中发现内容同步时总是报错,经过调试发现是sentinote对中文内容处理有bug(bug原因可参考 http://www.miss77.net/433.html )。同时自己也正好有一些自定义的需求,所以fork了代码&nbsp[……]

Read more

发表在 Uncategorized | 标签为 | 使用evernote发布wordpress已关闭评论

程序缘

【声明】本文为AdamsLee原创,转载请注明出自围炉网并保留本文有效链接:程序缘, 转载请保留本声明!

围炉抠代码,

两行辐射泪,

都云编者痴,

谁解其中味。

发表在 Uncategorized | 程序缘已关闭评论

WordPress原创文章与转载文章显示不同的版权信息 | 倡萌的自留地

【说明】 本文转载自:http://www.cmhello.com/wordpress-copyright.html

WordPress原创文章与转载文章显示不同的版权信息

2010/11/01 WordPress 2,825 12

WordPress原创文章与转载文章显示不同的版权信息,这是倡萌一直想要的功能,因为 倡萌的自留地 有原创和转载的文章,如果转载了文章还显示原创版权信息,实在是不好。今天偶然看到了袖子的文章,才获得了解决的办法:对每篇文章增加一个标记来区别是原创文章还是转载文章,通过增加自定义栏目custom来区别。在Wordpress的文档中找到了获得自定义栏目内容的函数get_post_custom(),利用这个函数来实现原创文章与转载文章显示不同的版权信息。

WordPress原创文章与转载[……]

Read more

发表在 Uncategorized | 标签为 | WordPress原创文章与转载文章显示不同的版权信息 | 倡萌的自留地已关闭评论

php函数str_replace在GBK编码下替换特殊中文符号【】的问题 | 暖冬的快乐之旅

【说明】 本文转载自:http://www.miss77.net/433.html

php函数str_replace在GBK编码下替换特殊中文符号【】的问题

近日,公司的论坛管理员发了一个帖子链接给我,说标题修改以后和实际的显示不一样。我打开之后发现,原始标题为:“手贱洗包浆,洗洗更健康”,但在title显示成了 “手贱洗包浆,洗洗更降”。

于是乎,在本地测试环境下进行了编辑测试未发现异常,服务器上对其它帖子也进行了编辑保存也为发现问题。
看来需要跟踪一下源代码了,发现上面的标题在执行了一下代码之后发生了变化:

1$thread['subject'] = str_replace("[......]

Read more

发表在 Uncategorized | 标签为 | php函数str_replace在GBK编码下替换特殊中文符号【】的问题 | 暖冬的快乐之旅已关闭评论