Ошибка Sphinx при попытке вывода результатов с offset выше допустимого

[someApprentice]

Type: PDOException
Code: 42000
Message: SQLSTATE[42000]: Syntax error or access violation: 1064 offset out of bounds (offset=1000, max_matches=1000)
File: /var/www/phpClub/src/Pagination/SphinxAdapter.php
Line: 61

Также, будет лучше, если сначала будут выводиться посты по актуальности, т.е. сначала новые.

[codedokode]

Там можно при обращении в Sphinx указывать в SQL-запросе max_matches. В документации написано, что оно влияет на потребление памяти, но я не думаю что для 100 x 1000 = 100K постов и малого числа пользователей это как-то сильно повредит (ну, если что, можно будет просто померять потребление экспериментально, сделав поиск по популярному слову).

Пример запроса с популярным словом: https://phpclub.tech/search/?q=php

Насчет порядка постов - я то же самое хотел предложить. И еще, можно подумать над пессимизацией ОП-постов, так как они все одинаковые, и наверно нет смысла вываливать 100 ОП постов, если кто-то ввел слово из них. А можно их хотя бы поместить в конец, а в идеале еще и сгруппировать в один. Или может выкинуть вообще из результатов.

Для определения порядка вывода постов в SQL-варианте используется ORDER BY, и там есть встроенная функция WEIGHT(), которая по-моему вычисляет "релевантность" результата запросу.

[someApprentice]

Для определения порядка вывода постов в SQL-варианте используется ORDER BY, и там есть встроенная функция WEIGHT(), которая по-моему вычисляет "релевантность" результата запросу.

Функция WEIGHT() выводит посты в разноброс.

Может при получении постов с помощью доктрины их перемешивает ($posts = $this->postRepository->findBy(['id' => $ids]), но, в любом случае, проще сориентироваться когда посты идут по порядку.

Поэтому, я придержусь простой сортировке по дате.

[someApprentice]

При большом количестве результатов, выводиться большее количество страниц, чем есть на самом самом деле

https://phpclub.tech/search/?q=php&page=1025

Также, напомню для себя добавить заглушку, если ничего не найдено, с сообщением об этом

[kubk]

@someApprentice может проблема в том, что в пагинаторе используются разные запросы?

• https://github.com/richBlueElephant/phpClub/blob/master/src/Pagination/SphinxAdapter.php#L41
• https://github.com/richBlueElephant/phpClub/blob/master/src/Pagination/SphinxAdapter.php#L57
  Они должны быть одинаковыми, но один запрос должен возвращать count, а второй - результаты поиска.

Может имеет смысл заюзать query builder: https://github.com/FoolCode/SphinxQL-Query-Builder#usage

[kubk]

@codedokode через сфинкс как-то можно делать подсветку результатов? В Elasticsearch достаточно просто добавить в запрос ключ 'highlight': https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-highlighting.html#specify-fragmenter

Не нагуглил как это делать средствами сфинкс.

[codedokode]

@kubk Да, там есть подсвечивальщик.

При использовании SQL это CALL SNIPPETS: http://sphinxsearch.com/docs/latest/sphinxql-call-snippets.html . Он вызывается для одного индекса, потому, если поиск идет по нескольким с разными настройками обработки слов, может понадобиться сделать несколько вызовов.

При использовании API это BuildExcerpts: http://sphinxsearch.com/docs/latest/api-func-buildexcerpts.html

В HTML для подсветки предусмотрен тег <mark>.

[codedokode]

По адаптеру - мне конечно не очень нравится идея выносить SQL-запросы в адаптер пагинации. По моему, лучше бы было, если бы в сервисе поиска были методы получения количества и результатов, и далее они бы как-нибудь передавались в пагинатор (например, через FixedAdapter). То есть по моему, это задача сервиса поиска - искать данные или определять их количество, а не пагинатора. Задача пагинатора только рассчитывать и помогать с выводом номеров страниц.

Также, Сфинкс умеет за один запрос делать поиск и вычислять количество результатов (SHOW META LIKE). Это можно было бы использовать в описанном мной варианте - сделать метод, который возвращает сразу результаты и общее количество, и далее они передаются в пагинатор. Это может выглядеть например, так:

class SearchService 
{
    // вместо NO_LIMIT можно бы использовать \INF, но она не попадает в диапазон int
    public function search(string $query, int $limit = SearchService::NO_LIMIT, int $offset = 0): SearchResult {}
}

// Напоминает SearchAdapter, при желании можно даже реализовать тут его интерфейс
class SearchResult
{
    public function getTotalCount(): int {}
    public function getOffset(): int {} // не обязательно, но может пригодиться при выводе
    public function getLimit(): int {} 
    public function getResults(): array {}
}

class SearchResultItem
{
    public $post; // можно сделать и методами
    public $snippet;
}

Еще один маленький подвох - возможно (хоть и маловероятно), что по каким-то причинам пост есть в индексе, но его нет в базе. Такие посты можно пропускать, хоть они и приведут к уменьшению числа результатов на странице.

[kubk]

@codedokode спасибо за подсвечивальщик.

Касательно пагинации - конечно, наш SphinxAdapter не переиспользуемый. Адаптер должен конвертировать один интерфейс другой и ничего более. Вот тут whiteoctober/Pagerfanta#218 пример получше, но его не вмерджили из-за отсутствия тестов. Ну и он не использует SHOW META LIKE

Напоминает SearchAdapter, при желании можно даже реализовать тут его интерфейс

Нужно его и реализовать, благодаря этому результат можно пагинировать и использовать код библиотеки Pagerfanta для формирования HTML, а не велосипедить. Pagerfanta уже используется для пагинации данных из БД.

Можно ещё заморочится с тем, чтобы SearchService ничего не знал про Pagerfanta - из SearchService возвращаем SearchResult, потом его адаптируем для Pagerfanta, но у нас не библиотека для всеобщего использования и думаю можно сделать по-простому:

use Pagerfanta\Adapter\AdapterInterface;

class SearchService
{
    // возвращаем SearchResult, реализующий AdapterInterface
    public function search(string $query, ...): AdapterInterface
}

Ну и конечно нужно первым делом уточнить у @someApprentice , хочет ли он исправлять это, задача по рефакторингу и не первой важности, как по мне.

[someApprentice]

Кто-нибудь знает как лучше исправить ошибку FATAL: failed to open /var/lib/sphinxsearch/data/src_posts.spl: Permission denied, will not index. Try --rotate option. при выполнении indexer --config config/sphinx.conf --all?
Это же просто отсутсвие прав на данную директорию, для пользовотателя с которого выполняется данная команда. Владелец этой дироктрии - пользователь sphinxsearch, поэтому можно предположить, что все комманды должны выполняться от его имени, и следующие решения мне кажутся не такими уж хорошими:

1. Выпонлять эту комманду через sudo (как я делаю это обычно)
2. Поменять владельца директории
3. Поменять пути в файле конфигруции (которые взяты с премера предлгаемым самим Sphinx'ом)

Может есть способ элегантней?

[codedokode]

@someApprentice если используется общесистемный сфинкс, то наверно придется использовать sudo. Другие варианты - поменять права на папку, дав доступ к ней определенной группе пользователей (например, sphinx-users) или использовать не общесистемный, а выделенный для проекта сфинкс, который запускается от того же пользователя, что и php-сервер.