Sphider - php ������ ��������� �������

������������

  1. ���������
  2. ����� ����������
  3. ���������
  4. ���������� �� ��������� ������
  5. ���������� pdf � doc ������
  6. ���������� ��������������� ��������� ������� � ��������


���������

1. ���������� �����, � ���������� �� �� ������, �������� �
/home/youruser/public_html/sphider (����� ����� ���������� [path_of_sphider]),

2. �� ������� �������� ���� ������ � MySQL ��� Sphider'�.

a) �������� ��������� ������ MySQL (������� ��� ����� �������):

b) � MySQL, �����������:
CREATE DATABASE sphider;

�� ������ ������������ ����� ������ �������� ��� ���� ������ ������ sphider.

c) ����������� exit , ����� ����� �� MySQL.

��� ��������� �������������� ���������� � ���, ��� ������� ���� ������ � ����/�������� ����������� ����������, �������� MySQL.com

3. � ����� settings, �������������� ���� database.php ��������� �������� � $database, $mysql_user, $mysql_password$mysql_host (���� �� �� ������ ������ �������� ��������� $mysql_host �� �� ���������, �������� ��� - 'localhost').

4. �������� http://.../admin/install.php �������� � ����� ��������, ������� ������� ������� � ���� ������, ����������� ��� Sphider'�, ����� ��������.

�������������, ������� ����� ���� ���������� � ������, ��������� tables.sql ����, ������� � sql �����. � ��������� ������, ����������� ��������� �������:
\u sphider
\. [path_of_sphider]/sql/tables.sql

5. � ����� admin, �������������� ���� auth.php, ����� �������� ��� ������������ ��������������, � ������ (�������� �� ��������� - 'admin' � 'admin').

6. �������� http://.../admin/admin.php � �������� � ������� ����� � ���������.

7. http://.../search.php - �������� ������ �� ���������.


����� ����������

Full(������): ���������� ���� �������.
To depth(�������): �������������� ������ �������, ��� �������� ������� ��������, �� ������� "�������" ������ ����� ����� Sphider �� ��������� ��������. ������� �� ��������� 0 ��������, ��� ������ ��������� �������� ����� ����������������, ������� �� ��������� 1, ����������� ��������� �������� � �� �������� �� ������� �������� ������ � ������� ��������.
Reindex(��������������): ������������ ������� �� ���� ���������, ������������� ��������� ���� � �������� ������� ��� ���� ���������������� ������.
Spider can leave domain(���� ����� �������� domain): �� ���������, Sphider ������� �� ��������� ������ domain, ����� ����� ������ �� ����� domain.com, ����������� �� �������� ����� domain2.com, �� ���������������. ������������ ������� �� ���� ����� Sphider ����� ���������� �� ������ �����, ������ � ���� ������ ����� �����������, ����� �� ������� ������ � ������� Must include/must not include (�����������/����������� URL), ����� ���������� �� ����� ������� ������.
Must include/must not include(����������� URL / ����������� URL): �������� �����.


���������

���� �� ������ �������� ��������� �� ��������� Sphider'�, �� ������ ������� ��� ��� ����� ��������� admin, ��� ��������������� ���������� conf.php ���� � ����� settings.

����� �������� ������� ��� �������� ������ �� ������ �����, �������� ��� �������� ������ � ����� templates. ���������� �������� ���� search.css, � ��� ��������� ��������� � ������ ������ (header.htmlfooter.html) ��������������. ����� ������� ����������� ����� ���� ������� ����� �������������� ��������� ����� ������ �������.

������ ����� ������, ������� �� ������ ���������������, ����������� � admin/ext.txt. ������ ����� ����, ������� �� �������������, ����������� � include/common.txt.


���������� �� ��������� ������

��� �������� ��������� url ����� �� ������ ����� ������ php, ��������� ���������:

php spider.php <��������>

   ��� <��������>

-all ����������������� ��� ����� � ���� ������
-u <url> ����� url � ������ �����
-f ������������� ������ ������� (�������������� �������)
-d <�����> ��������� ������� ���������� � <�����>
-l ��������� ����� �������� domain
-r ����������������� ����
-m <������>�����(�) ��� ��������� ������� url ������, ������� ����� �������� � url (���������� \n ��� ����������� ����� ���� ����)
-n <������>�����(�) ��� ��������� ������� url ������, ������� ����� ��������������� (���������� \n ��� ����������� ����� ���� ����)

��������, ��� ���������� http://www.domain.com/test.html � �������� 2, �������
php spider.php -u http://www.domain.com/test.html -d 2

������� ��� �������������� ���� �� URL ������
php spider.php -u http://www.domain.com/test.html -r


���������� pdf � doc ������

Pdf � doc ����� ����� ���� ���������������� ��������� ��� �������������� ������. ��������� � ���������� pdftotextcatdoc � ������� �������������� (����) � conf.php ����� (��������, ��� ��� Windows, �� �� ������ ������������ ����� � ����������� ���� executable). �������������, � admin ������, ��������� ������ pdf � ������� ������� ������� (�������������, ���������� $index_pdf$index_doc �� �������� 1 � conf.php).


���������� ��������������� ��������� ������� � ��������


Robots.txt

����� ���������������� ������ ��������� ������������� ��������� �������� � ����� robots.txt, ���� ���� ������ ��������� � ����� �������� (��� ��������� �������������� ���������� � ���, ��� ��� �������, ��. �����).


����������� / ����������� URL ������

Sphider ������������ ����� �������, � ������� ������� ����� ������� ������ ����������� url ��� ����(��������) ������������ � url, ������� ������ ��� �� ������ ���� ��������� � ����� (��� ����� � ������� Index(������) ������� �� Advanced options(����������� ���������)). ����� url, ��������� � ���� '����������� URL', ����� ���������������. ����� url, ��������� � ���� '����������� URL', ����� ��������� ��� ��������������. ������ url � ������ ������ ���� � ��������� ������. ��������, ����� ��������� ������������� ����� �� ����� �����, �� ������ �������� www.yoursite.com/forum � ���� "����������� URL". ��� ��������, ��� ��� URL, ���������� ��� �������� � ������, ����� ���������������. ������������� ������ � ����� Perl ����� ���������. Every string starting with a '*' in front is considered as a regular expression, so that '*/[a]+/' denotes a string with one or more a's in it.


������������� �������

Sphider �������� �������� �� rel="nofollow" ������� � ���� <a href..>, ��� �������� �������� foo.html � ����� ����� <a href="foo.html" rel="nofollow"> ����� ���������������.


������������� �������� �������

Sphider ������������ �����, ��������� ����� ������� �� ����������. �������� ��� ����� ��������������, ����� ������������� ������������� ����������� ������, ����� ������������ �������� ����� ���������� � ������������ ����� � ����������� ������� (��� ������ �������, ������ ������ ��� ����). ����� ����� �������� ����� <!--sphider_noindex--><!--/sphider_noindex--> ������������� �� ����� ����������������, ������ ������ ����� ����� ������������� �� ������������.


� Sphider
���������
Sphider ����
������������
FAQ
�����
������������
Sphider-ftp

� 2009 ������� ��������� Sphider