# 让 HayStack + ElasticSearch 支持中文分词

- 环境：
	- ubuntu 16.04
	- elasticsearch 2.4.6
	- django-haystack 2.8.1
	- IK Analysis for Elasticsearch 1.10.6
- 要使用 es 5.X 需要 安装 django-haystack 开发版本。 

---

## 安装

- 安装 elasticsearch 这里就不阐述了 可以参考 [install elasticseach](https://jiaxin.im/tutorials/039042892162.htm)
- 安装 ik analysis for elasticsearch [install ik analysis](https://github.com/medcl/elasticsearch-analysis-ik/tree/v1.10.6)

```.bash
wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v1.10.6.zip
unzip v1.10.6.zip
cd elasticsearch-analysis-ik-1.10.6
mvn clean   # 如果没有 mvn 可以  apt install maven
mvn compile
mvn package
```

- 拷贝并解压 ```release```下的文件: ```#{project_path}/elasticsearch-analysis-ik/target/releases/elasticsearch-analysis-ik-*.zip``` 到你的 ```elasticsearch``` 插件目录。
- 例如: ```plugins/ik``` 重启 ```elasticsearch```


- 安装  Django-haystack

```.bash
pip install django-haystack==2.8.1
```

**以上步骤完成了各种组建的安装**

---

## 接着，给 django-haystack 写个支持 ik 分词的 backend engine

- 创建一个 elasticsearch_ik_backend.py 的文件, 加入一下代码

```.python
from haystack.backends.elasticsearch2_backend import Elasticsearch2SearchBackend
from haystack.backends.elasticsearch2_backend import Elasticsearch2SearchEngine


class IKSearchBackend(Elasticsearch2SearchBackend):
    DEFAULT_ANALYZER = "ik_max_word" # 这里将 es 的 默认 analyzer 设置为 ik_max_word

    def __init__(self, connection_alias, **connection_options):
        super().__init__(connection_alias, **connection_options)

    def build_schema(self, fields):
        content_field_name, mapping = super(IKSearchBackend, self).build_schema(fields)
        for field_name, field_class in fields.items():
            field_mapping = mapping[field_class.index_fieldname]
            if field_mapping["type"] == "string" and field_class.indexed:
                if not hasattr(
                    field_class, "facet_for"
                ) and not field_class.field_type in ("ngram", "edge_ngram"):
                    field_mapping["analyzer"] = getattr(
                        field_class, "analyzer", self.DEFAULT_ANALYZER
                    )
            mapping.update({field_class.index_fieldname: field_mapping})
        return content_field_name, mapping


class IKSearchEngine(Elasticsearch2SearchEngine):
    backend = IKSearchBackend
```

---

## 更新一下 django 的配置文件 settings.py 完成对 es 的中文分词的支持 

```.python
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'path.to.elasticsearch_ik_backend.IKSearchEngine',
        'URL': 'http://es.example.com',
        'INDEX_NAME': 'ik_analysis',
        'BATCH_SIZE': 1000,
    },
```

如何整合 Haystack+ElasticSearch+IK

## **django-haystack** 是 Django 搜索组建的封装 [官方文档](http://django-haystack.readthedocs.io/en/v2.6.0/toc.html# "django-haystack")

### 支持：

- solr

- Elasticsearch

- Xapian

- Whoosh

这里主要介绍 Whoosh。当然，solr， elasticsearch 当然有更好的性能。**因为穷**，只有一台服务器。就凑合下用用吧。

**安装:**
~~~~.shell
pip install django-haystack
pip install whoosh
pip install jieba
~~~~

**配置：**
在 settings.py 添加以下配置
```.python
INSTALLED_APPS += [

    'haystack', #添加 haystack app
]

import os
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
    },
}
```

### 处理数据:
在需要建立索引的 app 下创建一个 search_indexes.py 文件, 添加要建立搜索的 model 和字段。
```.python
from haystack import indexes
from app.models import Project

class ProjectIndex(indexes.SearchIndex, indexes.Indexable):
    text        = indexes.CharField(document=True, use_template=True)
    author      = indexes.CharField(model_attr='author',)
    name        = indexes.CharField(model_attr='name',)
    category    = indexes.CharField(model_attr='category')
    desc        = indexes.CharField(model_attr='desc')
    url         = indexes.CharField(model_attr='get_absolute_url')
    display     = indexes.BooleanField(model_attr='display')
    star        = indexes.IntegerField(model_attr='latest_star')
    watch       = indexes.IntegerField(model_attr='latest_watch')
    fork        = indexes.IntegerField(model_attr='latest_fork')

    name_auto   = indexes.EdgeNgramField(model_attr='name')

    def get_model(self):
        return Project

    def index_queryset(self, using=None):
        return self.get_model().objects.all()
```

然后在 templates 文件夹下创建 search/indexes/app/project_text.txt 
```.html
{{ object.author }}
{{ object.name }}
{{ object.category }}
{{ object.desc }}
```

### 配置 urls.py

```.python
(r'^search/', include('haystack.urls')),
```

### 建索引

```.shell
cd /path/to/myproject/
python manage.py rebuild_index
```

### 最后写一个 search.html**
```.html
{% extends 'base.html' %}

{% block content %}
    <h2>Search</h2>

    <form method="get" action=".">
        <table>
            {{ form.as_table }}
            <tr>
                <td>&nbsp;</td>
                <td>
                    <input type="submit" value="Search">
                </td>
            </tr>
        </table>

        {% if query %}
            <h3>Results</h3>

            {% for result in page.object_list %}
                <p>
                    <a href="{{ result.object.get_absolute_url }}">{{ result.object.title }}</a>
                </p>
            {% empty %}
                <p>No results found.</p>
            {% endfor %}

            {% if page.has_previous or page.has_next %}
                <div>
                    {% if page.has_previous %}<a href="?q={{ query }}&amp;page={{ page.previous_page_number }}">{% endif %}&laquo; Previous{% if page.has_previous %}</a>{% endif %}
                    |
                    {% if page.has_next %}<a href="?q={{ query }}&amp;page={{ page.next_page_number }}">{% endif %}Next &raquo;{% if page.has_next %}</a>{% endif %}
                </div>
            {% endif %}
        {% else %}
            {# Show some example queries to run, maybe query syntax, something else? #}
        {% endif %}
    </form>
{% endblock %}
```

### 大功告成！！

---

#### 系列教程：

- [利用 Django 建站攻略 （一）安装](http://jiaxin.im/blog/li-yong-django-jian-zhan-gong/ "利用 Django 建站攻略 （一）安装")

- [利用 Django 建站攻略 （二）建模](http://jiaxin.im/blog/li-yong-django-jian-zhan-gon-1/ "利用 Django 建站攻略 （二）建模")

- [利用 Django 建站攻略 （三）视图](http://jiaxin.im/blog/li-yong-django-jian-zhan-gon-2/ "利用 Django 建站攻略 （三）视图")

- [利用 Django 建站攻略 （四）搜索](http://jiaxin.im/blog/li-yong-django-jian-zhan-gon-3/ "http://jiaxin.im/blog/li-yong-django-jian-zhan-gon-3/")

如何整合 Haystack+ElasticSearch+IK

利用 Django 建站攻略（四）搜索

GitHub

如何整合 Haystack+ElasticSearch+IK

利用 Django 建站攻略 （四）搜索

GitHub

利用 Django 建站攻略（四）搜索