Elasticsearch

开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。

RESTFUL特点包括：

1、每一个URI代表1种资源；

2、客户端使用GET、POST、PUT、DELETE4个表示操作方式的动词对服务端资源进行操作：GET用来获取资源，POST用来新建资源（也可以用于更新资源），PUT用来更新资源，DELETE用来删除资源；

3、通过操作资源的表现形式来操作资源；

4、资源的表现形式是XML或者HTML；

5、客户端与服务端之间的交互在请求之间是无状态的，从客户端到服务端的每个请求都必须包含理解请求所必需的信息。

官方网站：https://www.elastic.co中文社区：https://elasticsearch.cn官方参考文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/setup-configuration-memory.html下载地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/6.x/yum/6.6.0/elasticsearch-6.6.0.rpm 存储nosql非关系型数据库filebeat-6.6.0-x86_64.rpm 从nginx服务日志中读取数据并发送给rediskibana-6.6.0-x86_64.rpm 以图形化方式展示logstash-6.6.0.rpm 负责将redis缓存中的数据收集并提交给elasticsearchredis负责缓存数据库

前提条件

拓扑图如下：

前提环境：jdk-1.8.0

硬件要求：

部署elasticsearch

1. 安装elasticsearch:
   

[root@node-1 ~]# rpm -ivh /media/elk-6.6/elasticsearch-6.6.0.rpm

1. elasticsearch目录和文件
   

/etc/elasticsearch/elasticsearch.yml #配置文件/etc/elasticsearch/jvm.options #java虚拟机/etc/init.d/elasticsearch #服务启动脚本/etc/sysconfig/elasticsearch #elasticsearch服务变量/usr/lib/sysctl.d/elasticsearch.conf #设置elasticsearch用户使用的内存大小/usr/lib/systemd/system/elasticsearch.service #添加系统服务文件/var/log/elasticsearch/elasticsearch.log #日志文件路径

1. 修改配置文件：
   

1. [root@node-1 ~]# vim /etc/elasticsearch/elasticsearch.yml 2. node.name: node-1 #群集中本机节点名 3. path.data: /data/elasticsearch #数据目录 4. path.logs: /var/log/elasticsearch #日志目录 5. bootstrap.memory_lock: true #锁定内存，需要和/etc/elasticsearch/jvm.options关联 6. network.host: 192.168.8.1,127.0.0.1 #监听的ip地址 7. http.port: 9200 #端口号

1. 创建数据目录，并修改权限
   

1. [root@node-1 ~]# mkdir -p /data/elasticsearch 2. [root@node-1 ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

1. 分配锁定内存:
   

实验环境一般默认就是1g，所以就不需要更改。

1. [root@node-1 ~]# vim /etc/elasticsearch/jvm.options 2. -Xms1g #分配最小内存 3. -Xmx1g #分配最大内存,官方推荐为物理内存的一半，但最大为32G

1. 修改锁定内存后，无法重启，解决方法如下
   

1. [root@node-1 ~]# systemctl edit elasticsearch 2. [Service] 3. LimitMEMLOCK=infinity 4. 按键F2保存退出 5. [root@node-1 ~]# systemctl daemon-reload 6. [root@node-1 ~]# systemctl restart elasticsearch 7. 启动后稍等一会，需要启动时间，查看端口打开就完成了。 8. [root@node-1 ~]# netstat -anpt | grep 9200 9. tcp6 0 0 192.168.8.1:9200 :::* LISTEN 105678/java 10. tcp6 0 0 127.0.0.1:9200 :::* LISTEN 105678/java

1. 查看主机
   

• 查看单主机
  

http://192.168.8.1:9200/

• 查看群集健康状态
  

http://192.168.8.1:9200/_cluster/health?pretty

查看整个群集状态信息

http://192.168.8.1:9200/_cluster/state?pretty

1. 下载es-head插件
   

• 插件下载地址
  

https://github.com/mobz/elasticsearch-head

• 下载后，解压，复制crx目录下es-head.crx到桌面改名es-head.crx为es-head.crx.zip。
  
• 解压es-head.crx.zip到es-head.crx目录，把目录es-head.crx，上传到谷歌浏览器更多工具→扩展程序。
  

• 勾选开发者模式→加载已解压的扩展程序→选择刚解压的文件即可。
  

• 打开后修改左上角的IP为本机IP，连接成功即可图形化的显示集群状态，后面配置好集群后就可以查看整个集群的图形化状态。
  

1. 创建索引：vipinfo,类型：users,序号：1，数据部分：...
   

[root@node-1 ~]# curl -XPUT '192.168.8.1:9200/vipinfo/users/1?pretty&pretty' -H 'Content-Type: application/json' -d '{"name": "guofucheng","age": "45","job": "mingxing"}'

选项说明：

XPUT 创建

XDELETE 删除

扩展内容

curl命令是个功能强大的网络工具，可用来模拟客户端请求，抓取网页、网络监控等。

curl常见用法

get请求：curl urlpost请求：curl -d ‘xxx’ -X POST $urlproxy使用：curl -x ‘ http://127.0.0.1:8080’ $url ：指定 HTTP 请求通过 http://127.0.0.1:8080

具体参数

-H： “Content-type: application/json” 添加 HTTP 请求头 curl -H 'Content-type: application/json' $url-G： 把data数据当成get请求的参数发送，用来构造 URL 的查询字符串，与–data-urlencode结合使用-X：指定 HTTP 请求的方法 curl -X POST $url-d： 发送post请求数据，@file表示来自于文件--data-urlencode：发送post请求数据，会对内容进行url编码-u： username:password用户认证-o： 写文件，将服务器的响应保存成文件-v： verbose，打印更详细日志-s, --silent： 关闭一些提示输出，不输出错误和进度信息。-S：只输出错误信息-k：使用SSL时允许不安全的服务器连接-L：跟随跳转链接

XML与YAML

YAML 是一种较为人性化的数据序列化语言，可以配合目前大多数编程语言使用。

YAML的语法比较简洁直观，特点是使用空格来表达层次结构，其最大优势在于数据结构方面的表达，所以 YAML 更多应用于编写配置文件，其文件一般以 .yml 为后缀。

一、 json与xml的相同点

1. json与xml是一种远程数据传输交换格式。

2. json是轻量级的，xml标记电子文件具有结构性的语言。

二、json与xml的不同点

1.xml缺点：xml是远程数据传输，交换格式数据庞大,比较占宽带，解析异常复杂，不易于维护，同时在不同服务器中的解析格式不同，造成大量数据重复。

2. json优点：因为文件格式压缩，格式简单，占宽带小，易于维护

实例比较

XML和JSON都使用结构化方法来标记数据，下面来做一个简单的比较。

1. XML
   

用XML表示中国部分省市数据如下：

1.  2.3.中国4.5.黑龙江6.7.哈尔滨8.大庆9.10.11.12.广东13.14.广州15.深圳16.珠海17.18.19.20.台湾21.22.台北23.高雄24.25.26.27.新疆28.29.乌鲁木齐30.31.32.

1. JSON
   

1. { 2. "name": "中国", 3. "province": [{ 4. "name": "黑龙江", 5. "cities": { 6. "city": ["哈尔滨", "大庆"] 7. } 8. }, { 9. "name": "广东", 10. "cities": { 11. "city": ["广州", "深圳", "珠海"] 12. } 13. }, { 14. "name": "台湾", 15. "cities": { 16. "city": ["台北", "高雄"] 17. } 18. }, { 19. "name": "新疆", 20. "cities": { 21. "city": ["乌鲁木齐"] 22. } 23. }] 24. }