Bug 27153: Adjust mappings to add title without punctuation
authorNick Clemens <nick@bywatersolutions.com>
Fri, 1 Sep 2023 17:32:35 +0000 (17:32 +0000)
committerTomas Cohen Arazi <tomascohen@theke.io>
Tue, 24 Oct 2023 18:44:34 +0000 (15:44 -0300)
commitf54556041bf0d77e171471668728ddf04fcceefd
treee89078ff5389b86a331c6857a3bb6ba07dc74479
parentf5347f49587ee5406d4a3051117ada4687bf7a79
Bug 27153: Adjust mappings to add title without punctuation

This patch finally adjust the default mappings to add a new field to
the elastic index with the title stripped of punctuation

This method optionally allows the library to place the filtered version in the same
search field, or a new search field. The default mappings will include the filtered version
in a keyword search, but not a targeted search

To test:
1 - Import some affected records via z3950, e.g.:
    Carrie's war
    1,000 Japanese words
2 - Search (using Elasticsearch) for the titles without including punctuation
    Carries war
    1000 Japanese words
3 - No results
4 - Reload mappings and reindex
    perl misc/search_tools/rebuild_elasticsearch.pl -v -r
5 - Search again
6 - Success!
7 - Search title specifically:
    ti:Carries war
8 - No results
9 - Adjust mappings.yaml to add second mapping for 245 to title index:
    - facet: ''
      marc_field: 245abp
      marc_type: marc21
      sort: 1
      suggestible: 1
      filter: punctuation
10 - Reload mappings and reindex
11 - Repeat 7
12 - Success

Signed-off-by: Danielle M Elder <danielle.elder@law.utexas.edu>
Signed-off-by: Martin Renvoize <martin.renvoize@ptfs-europe.com>
Signed-off-by: Tomas Cohen Arazi <tomascohen@theke.io>
admin/searchengine/elasticsearch/mappings.yaml