Цей сайт найкраще переглядати в сучасному браузері з включеним JavaScript.

питання про файл robots.txt

inf4mi

Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание" - воно зберігається в папці components ???

Дякую!!!

mr.Z

Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.

Dutch

inf4mi написав
Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание" - воно зберігається в папці components ???

Дякую!!!

Нічого не потрібно прописувати.
В index.php вже вписано що потрібно роботу сканувати все що він знайде по лінках.
Єдине, що в цьому файлі ми блокуємо доступ до якоїсь інформації.
Постараюсь на днях дати більше інформації про robots.txt

inf4mi

mr.Z написав
Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.

Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???

Dutch

Всі папки, які вписані у роботі - по своїй суті і виконують роль своєрідного ядра, у якомі міститься вся інформація.
Інформація, яку ви бачите на сайті побудованого на джумлі у такому спрощеному собі та абстрагованому варіанті (не будемо зараз вдаватись в усі тонкощі), викликається через index.php та index2.php, останній виводить тільки контент без оформлення та модулів (використовується для принту чи інших завдань).

Тобто, що можна сказати:
те що все вас цікавить, вже все зроблено. 🙂

Дещо про структуру Joomla:

1. http://help.joomla.org/images/User_manual/user_manual_v1%200%201_10%2021%2006.pdf
2. http://help.joomla.org/content/section/16/153/
3. http://help.joomla.org/content/view/1607/214/
4. http://forum.joomla.org/index.php/board,62.0.html

Про robots.txt:

1. http://robotstxt.org.ru/
2. http://www.google.ru/support/webmasters/bin/answer.py?answer=35237
3. http://webmaster.yandex.ru/faq.xml?id=502499#robotstxt

mr.Z

inf4mi написав
Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???

Всі статті зберігають не в папках, а на SQL-сервері і справді видаються через ті два файли, що описані вище. Тобто, для зчитування роботом контенту достатньо відкрити доступ лише для кореневої папки.

Kris

дякую

Tanatus

Стандартні налаштування файлу robots.txt для Joomla:

Joomla як сайт/блог

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto #форма відправлення листів
Disallow: /*pop= #поп-ап вікна
Disallow: /*lang=ru #мовні версії (якщо треба)
Disallow: /*format= #формати
Disallow: /*print= #друк сторінок
Disallow: /*task=vote #форма голосування
Disallow: /*=watermark #водяні знаки
Disallow: /*=download #посилання на скачування
Disallow: /*user/ #користувачі
Disallow: /404 #помилка 404
Disallow: /index.php? #сторінки з параметрами
Disallow: /*? #посилання із запитаннями
Disallow: /*% #посилання з відсотками
Disallow: /*& #посилання зі знаком &
Disallow: /index2.php #дублі
Disallow: /*tag #хмаринка тегів
Disallow: /*.pdf #файли ПДФ
Disallow: /*.swf #файли Флеш
Disallow: /*=atom #RSS
Disallow: /*=rss #RSS
Allow: /images/ #відкриваємо зображення для індексації
Allow: /index.php?option=com_xmap&sitemap=1&view=xml #відкриваємо карту сайту (посилання змінюєте на власне, якщо відрізняється)
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту
Host: site.com #якщо є або немає www

Для Joomla + VirtueMart

User-agent: *
Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Allow: /components/com_virtuemart/shop_image/category      #доступ до зображень категорій
Allow: /components/com_virtuemart/shop_image/product        #доступ до зображень товарів
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*pop=0               #проблема sh404
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Disallow: /*cart                   #кошик
Disallow: /*feed                   #RSS та atom
Disallow: /404                 #помилка 404
Disallow: /*?                       #посилання з ?
Disallow: /*%                     #посилання з %
Crawl-delay: 5                    #таймаут в 5 секунд
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту

Dutch

Tanatus Сьогодні, я б скорегував би ці правила.

Dutch

Ці правила можна виключити з файлу robots.txt!

Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів

Карта сайту й так індексується, оскільки вона в корені сайту.

Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку

Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять

Disallow: /*feed                   #RSS та atom

Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!

Crawl-delay: 5                    #таймаут в 5 секунд

Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.

Tanatus

http://joomla-ua.org/forum/member727.html написав
Ці правила можна виключити з файлу robots.txt!
Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Карта сайту й так індексується, оскільки вона в корені сайту.
Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять
Disallow: /*feed                   #RSS та atom
Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!
Crawl-delay: 5                    #таймаут в 5 секунд
Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.

Можу погодитись.
Я дав просто загальні формати файлів. А кожен вже підганяє їх під свої потреби.