Sphinx на Alto CMS / Alto CMS inside - как это устроено и работает / Alto CMS

Sphinx на Alto CMS (comment #923)

ptz2007@gmail.com — Mon, 13 May 2013 02:06:43 +0400

Обновил папку engine и сам плагин — не ищет нифига. Проблема в том, что у меня 2 сайта на LS и один на altocms, для всех трех сайтов создан один sphinx.conf
На сайтах LS все ищет нормально, на alto пока не получается. Вот мой sphinx.conf

source multiSource
{
type=mysql
sql_host=localhost
sql_user=user
sql_pass=pass
sql_db=base_1
sql_port=3306
sql_sock=/var/run/mysqld/mysqld.sock
mysql_connect_flags=32
sql_query_pre=SET NAMES utf8
sql_query_pre=SET SESSION query_cache_type=OFF
}
source multiTopics : multiSource
{
sql_query= \
SELECT t_fast.topic_id, t_fast.topic_title, UNIX_TIMESTAMP(t_fast.topic_date_add) as topic_date_add, \
                tc.topic_text, t_fast.topic_publish \
                FROM prefix_topic as t_fast, prefix_topic_content AS tc \
                WHERE t_fast.topic_id=tc.topic_id AND t_fast.topic_id>=$start AND t_fast.topic_id<=$end

sql_query_range=SELECT MIN(topic_id),MAX(topic_id) FROM prefix_topic
sql_range_step=1000
sql_attr_uint=topic_publish
sql_attr_timestamp=topic_data_add
sql_attr_multi=uint tag from query; SELECT topic_id, topic_tag_id FROM prefix_topic_tag
sql_ranged_throttle=0
}
source multiComments : multiSource
{
sql_query=\
                        SELECT comment_id, comment_text, UNIX_TIMESTAMP(comment_date) as comment_date, comment_delete \
                        FROM prefix_comment \
                       WHERE target_type='topic' AND comment_id>=$start AND comment_id<=$end


sql_query_range=SELECT MIN(comment_id),MAX(comment_id) FROM prefix_comment
sql_range_step=5000
sql_attr_uint=comment_delete
sql_attr_timestamp=comment_date
}
index multitopicsIndex
{
source=multiTopics
path=/var/lib/data/multiTopics
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}
index multicommentsIndex
{
source=multiComments
path=/var/lib/data/multiComments
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}

####################################################################################
source ptzonlineSource
{
type=mysql
sql_host=localhost
sql_user=user
sql_pass=pass
sql_db=base_2
sql_port=3306
sql_sock=/var/run/mysqld/mysqld.sock
mysql_connect_flags=32
sql_query_pre=SET NAMES utf8
sql_query_pre=SET SESSION query_cache_type=OFF
}
source ptzonlineTopics : ptzonlineSource
{
sql_query= \
SELECT t_fast.topic_id, t_fast.topic_title, UNIX_TIMESTAMP(t_fast.topic_date_add) as topic_date_add, \
                tc.topic_text, t_fast.topic_publish \
                FROM prefix_topic as t_fast, prefix_topic_content AS tc \
                WHERE t_fast.topic_id=tc.topic_id AND t_fast.topic_id>=$start AND t_fast.topic_id<=$end

sql_query_range=SELECT MIN(topic_id),MAX(topic_id) FROM prefix_topic
sql_range_step=1000
sql_attr_uint=topic_publish
sql_attr_timestamp=topic_data_add
sql_attr_multi=uint tag from query; SELECT topic_id, topic_tag_id FROM prefix_topic_tag
sql_ranged_throttle=0
}
source ptzonlineComments : ptzonlineSource
{
sql_query=\
                        SELECT comment_id, comment_text, UNIX_TIMESTAMP(comment_date) as comment_date, comment_delete \
                        FROM prefix_comment \
                       WHERE target_type='topic' AND comment_id>=$start AND comment_id<=$end


sql_query_range=SELECT MIN(comment_id),MAX(comment_id) FROM prefix_comment
sql_range_step=5000
sql_attr_uint=comment_delete
sql_attr_timestamp=comment_date
}
index ptzonlinetopicsIndex
{
source=ptzonlineTopics
path=/var/lib/data/ptzonlineTopics
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}
index ptzonlinecommentsIndex
{
source=ptzonlineComments
path=/var/lib/data/ptzonlineComments
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}

########################################################################################

source ptzmediaSource
{
type=mysql
sql_host=localhost
sql_user=user
sql_pass=pass
sql_db=base_3
sql_port=3306
sql_sock=/var/run/mysqld/mysqld.sock
mysql_connect_flags=32
sql_query_pre=SET NAMES utf8
sql_query_pre=SET SESSION query_cache_type=OFF
}
source ptzmediaTopics : ptzmediaSource
{
sql_query= \
SELECT t_fast.topic_id, t_fast.topic_title, UNIX_TIMESTAMP(t_fast.topic_date_add) as topic_date_add, \
                tc.topic_text, t_fast.topic_publish \
                FROM alto_topic as t_fast, alto_topic_content AS tc \
                WHERE t_fast.topic_id=tc.topic_id AND t_fast.topic_id>=$start AND t_fast.topic_id<=$end

sql_query_range=SELECT MIN(topic_id),MAX(topic_id) FROM alto_topic
sql_range_step=1000
sql_attr_uint=topic_publish
sql_attr_timestamp=topic_data_add
sql_attr_multi=uint tag from query; SELECT topic_id, topic_tag_id FROM alto_topic_tag
sql_ranged_throttle=0
}
source ptzmediaComments : ptzmediaSource
{
sql_query=\
                        SELECT comment_id, comment_text, UNIX_TIMESTAMP(comment_date) as comment_date, comment_delete \
                        FROM alto_comment \
                       WHERE target_type='topic' AND comment_id>=$start AND comment_id<=$end


sql_query_range=SELECT MIN(comment_id),MAX(comment_id) FROM alto_comment
sql_range_step=5000
sql_attr_uint=comment_delete
sql_attr_timestamp=comment_date
}
index ptzmediatopicsIndex
{
source=ptzmediaTopics
path=/var/lib/data/ptzmediaTopics
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}
index ptzmediacommentsIndex
{
source=ptzmediaComments
path=/var/lib/data/ptzmediaComments
docinfo=extern
mlock=0
morphology=stem_enru
charset_type=utf-8
html_strip=1
html_remove_elements=style,script,code
}

indexer
{
mem_limit=512M
}searchd
{
listen=127.0.0.1:3312
log=/var/log/sphinx/searchd.log
query_log=/var/log/sphinx/query.log
read_timeout=5
max_children=30
pid_file=/var/log/sphinx/searchd.pid
max_matches=100000
}

Sphinx на Alto CMS (comment #924)

ptz2007@gmail.com — Mon, 13 May 2013 02:14:35 +0400

Для удобства я отделил секции сайтов здесь в конфиге такой линией
################################################################################

Что мне немного непонятно… вот на двух сайтах LS там у меня две разные базы данных, но префикс у них одинаковый prefix_… На сайте с altocms префикс базы alto_

В файлах модулей поиска прописано

для первого сайта

/**
 * Конфиг модуля "search"
 */
$config['entity_prefix']  = 'base_1';
$config['sphinx']['host'] = 'localhost';
//$config['sphinx']['host'] = 'unix:/var/run/sphinx.socket';

$config['sphinx']['port'] = '3312';

return $config;
?>

для второго сайта

/**
 * Конфиг модуля "search"
 */
$config['entity_prefix']  = 'base_2';
$config['sphinx']['host'] = 'localhost';
//$config['sphinx']['host'] = 'unix:/var/run/sphinx.socket';

$config['sphinx']['port'] = '3312';

return $config;
?>

Тут я не знаю, что должно быть в правой части вот этого
$config['entity_prefix'] =
какие префиксы непонятно… сейчас у меня там прописаны 'БД'.

Sphinx на Alto CMS (comment #925)

ptz2007@gmail.com — Mon, 13 May 2013 02:22:23 +0400

Для сайта на alto в конфиге плагина sphinx прописано:

$config['host'] = '127.0.0.1:3312';
$config['db_socket'] = '/var/run/mysqld/mysqld.sock';

$config['prefix'] = Config::Get('db.params.dbname') . '_' . Config::Get('db.table.prefix');

$config['path'] = '/var/lib/sphinxsearch/';

return $config;

Sphinx на Alto CMS (comment #926)

ptz2007@gmail.com — Mon, 13 May 2013 02:40:23 +0400

Зашел по адресу мой сайт на альто/sphinx/config почитал sphinx.conf — тоже многое непонятно… вот у меня префикс таблиц к базе на альто такой alto_ а в вашем конфиге почему то прописаны такие запросы

source ptzmedia_alto_topicsSource : ptzmedia_alto_dbSource
{                                                               
    sql_query = \
        SELECT t.topic_id, t.topic_title, UNIX_TIMESTAMP(t.topic_date_add) as topic_date_add, \
        tc.topic_text, t.topic_publish, b.blog_title, u.user_login \
        FROM prefix_topic t, prefix_topic_content tc, prefix_blog b, prefix_user u \
        WHERE t.topic_id=tc.topic_id AND t.topic_publish=1 \
        AND b.blog_id=t.blog_id AND t.user_id=u.user_id \
        AND t.topic_id>=$start AND t.topic_id<=$end

Должно вроде как быть не prefix_topic t а alto_topic t.
В общем пока поиск не работает, прошу дать наводку куда копать. Наверное все таки в конфиге плагина у меня неправильно настроено. Или я криво установил сам sphinx… я даже точно не понимаю где он у меня находится. Конфиг он использует отсюда /etc/sphinxsearch/sphinx.conf Вся индексируемая хрень складывается в /var/lib/data И еще такой же самый sphinx.conf лежит тут /usr/local/sphinx/etc… Помогите настроить пожалуйста для alto.

Sphinx на Alto CMS (comment #929)

vshemarov@gmail.com — Mon, 13 May 2013 09:13:11 +0400

Во-первых, с префиксом таблиц есть баг, это верно. В SQL-выражениях должно быть «alto_», а не «prefix_», упустил я этот момент при генерации sphix.conf. Сейчас исправил в плагине, но у Вас правильно уже стоит.

Теперь давайте дальше разбираться. Префикс данных Сфинкса, как я вижу у Вас в sphix.conf в третьей секции стоит «ptzmedia», и индексируемая хрень складывается в /var/lib/data. Значит, в /plugins/sphinx/config/config.php должно быть так:

$config['host'] = 'localhost:3312';
$config['db_socket'] = '/var/run/mysqld/mysqld.sock';
$config['prefix'] = 'ptzmedia';
$config['path'] = '/var/lib/data/';

return $config;

И если всю папку engine обновили, то ошибки Сфинкса должны логгироваться. Если поиск не заработает — смотрите в админке в разделе «Ошибки системы», там Сфинкс должен ошибки отложить, которые натолкнут на мысль, куда копать

Sphinx на Alto CMS (comment #944)

ptz2007@gmail.com — Mon, 13 May 2013 13:30:50 +0400

Отлично! Прописал как выше указано, поиск заработал. Посмотрел в админке предыдущие ошибки системы, там написано такое:

PluginSphinx_ModuleSphinx: unknown local index 'ptzmedia_alto_commentsIndex' in search request
query:топик
index:ptzmedia_alto_commentsIndex
filters:comment_delete=(0)

И такое

PluginSphinx_ModuleSphinx: unknown local index 'ptzmedia_alto_topicsIndex' in search request
query:топик
index:ptzmedia_alto_topicsIndex
filters:topic_publish=(1)

Это то что было, очистил лог ошибок, снова запустил поиск на сайте — ошибок нет. Спасибо огромное.

Sphinx на Alto CMS (comment #947)

ptz2007@gmail.com — Mon, 13 May 2013 13:35:53 +0400

C поиском проблему решили, Вадим подскажи пожалуйста делается ли что нибудь для исправления ошибок с темами bootstrap и mono вот там altocms.ru/blog/questions/54.html в конце топика я писал.

Sphinx на Alto CMS (comment #1531)

lex.on@mail.ru — Sun, 19 May 2013 20:01:36 +0400

При тестировании поиска а сайте выдает ошибку

Exception: Class "ModuleSphinx" not found!
See details in error.log

Сфинкс на сервере установлен, конфиг сфинкса на несколько сайтов, один из которых на альто, другие на лс, на лс поиск работает. Выше обсуждалась проблема, но дело в том, что сейчас речь даже не о том что поиск не ведется, а не хватает какого то модуля, для начала хотелось бы эту проблему решить?

Sphinx на Alto CMS (comment #1534)

vshemarov@gmail.com — Sun, 19 May 2013 20:11:15 +0400

Был такой баг, и он исправлен в девелоперской версии (которая на гитхабе сейчас)

Sphinx на Alto CMS (comment #1545)

lex.on@mail.ru — Sun, 19 May 2013 20:47:08 +0400

Мне обновить только плагин или версию движка полностью?

Sphinx на Alto CMS (comment #1551)

vshemarov@gmail.com — Sun, 19 May 2013 20:58:09 +0400

Выше товарищ пишет:

Обновил папку engine и сам плагин...

Скорее всего, этого будет достаточно

Sphinx на Alto CMS (comment #1555)

lex.on@mail.ru — Sun, 19 May 2013 21:20:17 +0400

Обновил папку engine с гитхаба и полетела верстка, кеш чистил, пришось вернуть engine из версии 0.9

Sphinx на Alto CMS (comment #1553)

lex.on@mail.ru — Sun, 19 May 2013 21:04:05 +0400

Подскажите пож, что указывать в строке конфига

$config['prefix'] = Config::Get('db.params.dbname') . '_' . Config::Get('db.table.prefix');

Sphinx на Alto CMS (comment #1554)

vshemarov@gmail.com — Sun, 19 May 2013 21:06:15 +0400

Ничего. Строка специально сформирована так, чтоб в ней ничего менять не пришлось в подавляющем большинстве случаев.

Sphinx на Alto CMS (comment #16039)

ptz2007@gmail.com — Tue, 28 Oct 2014 11:59:58 +0300

Что то на версии 1.0.7 не хочет работать поиск:
Остановил демона, запускаю searchd — выдает:

WARNING: index 'alto_prefix_topicsIndex': preload: failed to open /var/lib/data/data/alto_prefix_data/topicsIndex.sph: No such file or directory; NOT SERVING
precaching index 'alto_prefix_commentsIndex'
WARNING: index 'alto_prefix_commentsIndex': preload: failed to open /var/lib/data/data/alto_prefix_data/commentsIndex.sph: No such file or directory; NOT SERVING

Папки .../data/alto_prefix_data/ дополнительно создал, возможность записи в них есть.

Запускаю индексацию indexer --all --rotate

Выдает такую хрень

indexing index 'alto_prefix_topicsIndex'...
ERROR: index 'alto_prefix_topicsIndex': sql_connect: Can't connect to local MySQL server through socket '' (111) (DSN=mysql://zaox:***@localhost:3306/sovunion).
total 0 docs, 0 bytes
total 0.000 sec, 0 bytes/sec, 0.00 docs/sec
indexing index 'alto_prefix_commentsIndex'...
ERROR: index 'alto_prefix_commentsIndex': sql_connect: Can't connect to local MySQL server through socket '' (111) (DSN=mysql://zaox:***@localhost:3306/sovunion).

Данные для доступа к базе прописаны в секции конфига правильно:
sql_host = localhost
sql_user = мой юзер
sql_pass = мой пароль
sql_db = моя база
sql_port = 3306

В чем может быть проблема друзья?

Sphinx на Alto CMS (comment #16040)

ptz2007@gmail.com — Tue, 28 Oct 2014 12:00:48 +0300

Версия sphinx 2.0.4

Sphinx на Alto CMS (comment #16042)

ptz2007@gmail.com — Tue, 28 Oct 2014 12:04:45 +0300

В журнале ошибок такое:
PluginSphinx_ModuleSphinx: connection to 127.0.0.1:9312 failed (errno=111, msg=в соединении отказано)
query: всех
index:alto_prefix_commentsIndex
filters:comment_delete=(0)

У меня один конфиг сфинкса на несколько сайтов, что удивительно на остальных сайтах на LS все индексируется и поиск работает. Где то я ошибся… но как понять… с секцией конфига сайта на альто что только не делал… и по аналогии с сайтами LS делал — все равно поиск не работает:(

Sphinx на Alto CMS (comment #16085)

reexistent@gmail.com — Wed, 29 Oct 2014 15:12:09 +0300

Не поможет?
stackoverflow.com/questions/14536194/sphinx-restart-search-demon-issue-for-reindexing-delta-indexes

Что этот сфинкс-то дает в итоге? Многие пользователи вообще поиск-то нажимают?

Sphinx на Alto CMS (comment #16101)

ptz2007@gmail.com — Wed, 29 Oct 2014 23:06:42 +0300

Ну на сайте он выдает просто: «Удивительно, но поиск не дал результатов», а в консоли выдает хрень что я писал выше. Пользователей на сайте пока нет и неизвестно когда будут:) Но сфинкс установлен… почему бы не работать ему вместе с другими и на alto… Пока отключил плагин sphinx — обычный поиск работает.

Sphinx на Alto CMS (comment #16152)

vshemarov@gmail.com — Sun, 02 Nov 2014 20:33:01 +0300

connection to 127.0.0.1:9312 failed (errno=111, msg=в соединении отказано)

Думаю, сообщение «в соединении отказано» намекает на проблемы с правами