JerryLiu

环境：CentOS 7.5, CDH 6.3

本文记录在 CentOS 7.5 下完全离线部署 CDH 6.3 的完整过程。之前搭建过 CDH 5.x，每次都会遇到一些问题，这次把 6.x 的搭建过程记录下来。

前面说到，因为兼容之前的旧项目（使用的scribe收集日志，但facebook好像早就停止更新维护），现在的收集架构是scribe+flume，故Flume使用Thrift source.

大体流程：

• python readlog 读取本地日志文件发送到flume(本测试基于原有项目，原有项目是有scribe接收日志存到本地。正式项目flume直接读取本地文件 source改为直接监控日志文件 a1.sources.r1.type = exec, a1.sources.r1.command = tail -F /var/log/secure)

环境：conda python3.7.3

1. 使用 pip 安装 kafka, 导入报错

pip install kafka-python==1.3.1
pip3 uninstall kafka
pip uninstall kafka
pip uninstall kafka-python
conda install -c conda-forge kafka-python==1.3.1

• 今日更新：新加不蒜子页脚统计UV,PV功能,增加文章更新时间功能.

秋风吹尽旧庭柯，黄叶丹枫客里过。一点禅灯半轮月，今宵寒较昨宵多。

受台风安比影响。今天又是大雨。

• 今日更新：新加来必力评论功能，更换icon为gitHub同款章鱼猫，新加About page.