Простая настройка и запуск Sphinx на debian для полнотекстового поиска на сайте

Стандартный полнотекстовый поиск MySQL не решает многих задач и не настолько производителен, как поиск Sphinx. Привожу простой пример установки и настройки Sphinx в debian для организации поиска на сайтах. Установим версию 2.2.11 из стандартного репозитория: apt install sphinxsearch

Далее заходим /etc/sphinxsearch/sphinx.conf и настраиваем конфиг подобным образом:

#
# Minimal Sphinx configuration sample (clean, simple, functional)
#

source src_test_db
{
	type			= mysql

	sql_host		= localhost
	sql_user		= root
	sql_pass		=
	sql_db			= test_db
	sql_port		= 3306	# optional, default is 3306

	sql_query		= \
		SELECT id, category_id, UNIX_TIMESTAMP(date_created) AS date_created, text \
		FROM questions

	sql_attr_uint		= category_id
	sql_attr_timestamp	= date_created
	sql_field_string    = text
	sql_query_pre = SET CHARACTER_SET_RESULTS=utf8
    sql_query_pre = SET NAMES utf8
}


index index_test_db
{
	source			= src_test_db
	path			= /var/lib/sphinxsearch/data/index_test_db
	morphology      = stem_enru
	html_strip      = 1
	min_word_len    = 2
	min_infix_len   = 1
	index_exact_words = 1
	expand_keywords = 1
	charset_table = 0..9, A..Z->a..z, a..z, (, ), {, }, [, ], $, U+410..U+42F->U+430..U+44F, U+430..U+44F, U+401->U+0435, U+451->U+0435, U+2A, U+2D, U+00AB, U+00D7
}


indexer
{
	mem_limit		= 256M
}


searchd
{
	listen			= 127.0.0.1:9806:mysql41
	log			= /var/lib/sphinxsearch/log/searchd.log
	query_log		= /var/lib/sphinxsearch/log/query.log
	read_timeout		= 5
	max_children		= 30
	pid_file		= /var/run/sphinxsearch/searchd.pid
	seamless_rotate		= 1
	preopen_indexes		= 1
	unlink_old		= 1
	workers			= threads # for RT to work
	binlog_path		= /var/lib/sphinxsearch/data
}

Для первичного запуска хватит, потом желательно добавить стоп слова и прочие настройки на основе лога запросов и их скорости. В общем в этот файл придется заглянуть ещё раз 100500(простая настройка и запуск Sphinx да) Перезапустим службу и проиндексируем все добавленные конфиги:

systemctl restart sphinxsearch
indexer --all --verbose

Индексация/переиндексация БД таблицы объемом 5 млн записей в 2.7 гига занимает чуть больше 2 минут. Скорость отменная. Чтобы поиск заработал необходимо запустить демон с соответствующим конфигом:

/usr/bin/searchd -c /etc/sphinxsearch/sphinx.conf

Теперь мы можем искать по индексу из консоли или из под php. Для поиска из консоли mysql -h0 -P9806 и собственно запрос:

SELECT *, SNIPPET(text, 'test search query') as `snippet`, WEIGHT() AS `w` FROM `index_test_db` WHERE MATCH('test search query') LIMIT 1000

Из под php соединяемся так: $db_index = new mysqli(‘localhost:9806’);  бд выбирать не нужно, сразу можно делать запросы, как в обычной базе. Только запросы делаются не к таблице, а к её индексу. Сервис слушает порт 9806 на локальной lo петле и протоколу SphinxQL. В примерах по данному протоколу обычно указывается порт 9306, но у меня он занят. Также в образцах конфигов данный порт зачем-то открыт для всех желающих извне… Хм… это 100% точно есть хорошо. Например, если в конфиге настроено обновление индексов в реальном времени, то это получается, можно с сервера дяди Васи «обновить» чего-нибудь кому-нибудь тому, кто не вдумчиво скопипастил конфиг? А  таких товарищей 99%, прям бери в гугл бей «9306:mysql41», находи где они постят свои проблемы со sphinx на форумах, определяй их серваки и в путь. Поэтому в конфиге обязательно 127.0.0.1:9806:mysql41 Слушает только локалка!

Для переиндексации необходимо выполнить:

indexer -c /etc/sphinxsearch/sphinx.conf --rotate <source_name>
indexer -c /etc/sphinxsearch/sphinx.conf --rotate --all
# После переиндексации killall searchd и снова запуск демона.
killall searchd
/usr/bin/searchd -c /etc/sphinxsearch/sphinx.conf

Можно поставить данные задачи на крон, обновляя индексацию всех ресурсов и перезапуская демон. Одной командой:

indexer -c /etc/sphinxsearch/sphinx.conf --rotate --all && killall searchd && sleep 1 && /usr/bin/searchd -c /etc/sphinxsearch/sphinx.conf

Но лучше сделать по другому. Демон нужно запускать при каждом перезапуске системы, поэтому создадим соответствующий unit файл, который будет это делать. И теперь наша крон задача на переиндексацию будет выглядеть так:

indexer -c /etc/sphinxsearch/sphinx.conf --rotate --all > /dev/null && systemctl restart runsearchd > /dev/null