Bug 6656 : Fix for advanced search not respecting default sort order
[wip/koha-chris_n.git] / README.robots
1 The robots.txt file.
2
3 Search engines, when looking for sites to show in search results, will first
4 look for the file /robots.txt.  If this file is found and has lines that apply
5 to them they will do as instructed.  A very basic robots.txt follow as an
6 example:
7
8 -------------------------------------------
9 # go away
10 User-agent: *
11 Disallow: /
12 -------------------------------------------
13
14 This tells every search engine that cares (User-agent: *) to not index the site
15 (Disallow everything past /).
16
17 Another slightly more intelligent robots.txt file example allows for some bot indexing (good for your site in google, etc), but also stops your Koha from getting thrashing by ignoring URLs that cause heavy search load
18
19 -------------------------------------------
20 # do some indexing, but dont index search URLs
21 User-agent: *
22 Disallow: /cgi-bin/koha/opac-search.pl
23 -------------------------------------------
24
25 If you have installed Koha to /usr/local/koha3 then this file would be placed
26 in the directory /usr/local/koha3/opac/htdocs/.  This should prevent search
27 engines from browsing every biblio record, and every view of each record, on
28 your Koha install periodically.