Перейти к содержимому


Правила форума

Внимание!!! Если не можете скачать, пожалуйста ознакомьтесь с условиями получения доступа с файлам форума. Правила форума


Загрузил

Информация

  • Загружен: 01 май 2012 16:59
  • Последнее обновление: 01 май 2012 19:05
  • Размер: 109,22К
  • Просмотров: 6811
  • Скачан: 226
  • Опубликовал : R.Sergey
  • Опубликовано: 01 мая 2012 - 17:54

Загрузить Парсер товаров для ShopCMS 3.*.*

- - - - -
ShopCMS 3.1.* ShopCMS 3.0.*



[url="http://vsupport.club/topic/197-%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80-%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2-%D0%B4%D0%BB%D1%8F-shopcms/"]Тема поддержки и обсуждения модуля[/url]

[b]Файлы: [/b]
Парсер - [b]Parser.zip[/b]
Шаблон для постера - [b]temp_past.zip[/b]
Шаблон Яндекс.Маркет от 04.08.2011 - [b]market.yandex.ru.zip[/b]
Шаблон brain.com.ua - [b]brain.com.ua.zip[/b]
Шаблон bt.kiev.ua - [b]bt_kiev_ua.zip[/b]
Шаблон skidka.com.ua - [b]skidka.zip[/b]


[img]http://image.vsupport.club/images/5cjqenzvpb.gif[/img]
[b]Описание:[/b]
Для движка ShopCMS версии 3.0.0 и выше

Модуль Парсер товаров для ShopCMS автоматически загружает в каталог товары с других интернет-магазинов или каталогов. Модуль парсит каталоги Яндекс.Маркет и МаркетГид. Используя этот мощный инструмент, вы сэкономите огромное количество времени, уходящее на заполнение магазина товарами.

[b]Основные возможности парсера товаров ShopCMS:[/b]
* парсинг названий, описания, веса и стоимости товаров. Если позволяет дизайн сайта-источника, можно разделять краткое и полное описание. Фильтрация HTML-кода с помощью настраиваемого списка тегов. Обрезание описаний до или после вхождения заданных строк.
* загрузка изображений товара. К каждому товару парсер загружает все его найденные изображения, для каждого автоматически генерируя уменьшенные версии (ограничения на размер фотографий настраиваются).
* парсинг Meta тегов description и keywords.
* режим обновления цены - изменение только стоимости товаров. Также задается коэффициент изменения цены, который можно использовать для ценовой надбавки или перевода курсов валют.
* режим дополнения описаний - добавляет к товарам Вашего каталога отсутствующую информацию, такую как фотографии, описания или вес.
* парсинг через прокси-сервер
* режим парсинга по крону (не нужно держать открытым окно парсера)
* многопоточная загрузка - позволяет значительно ускорить парсинг, особенно при загрузке товаров с несколькими изображениями.
* настраиваемые cookies - позволяют, например, задавать географический регион при парсинге Яндекс.Маркета или авторизоваться на некоторых сайтах

Парсер интегрирован в панель администрирования ShopCMS, работает с использованием AJAX-интерфейса. Во время парсинга нужно держать открытой страницу админки, где в интерактивном режиме отображаются результаты работы:
[img]http://image.vsupport.club/images/mvb4l3zxyo.gif[/img]
Вы можете самостоятельно "нацеливать" парсер на нужный сайт: достаточно загрузить через админпанель соответственный файл настроек и добавить ссылки, с которых парсер начнет обход сайта. При наличиии базовых знаний разметки HTML вы можете сами настроить шаблоны на любой сайт-цель:
[img]http://image.vsupport.club/images/hktmjg9os0.gif[/img]

[b]Основные системные требования к серверу для работы парсера товаров:[/b]
* PHP 5
* Библиотека PHP iconv
* Библиотека PHP GD
* Поддержка функций curl
* Лимит на время выполнения скриптов - не менее 15 секунд

[b]Установка:[/b]
[b]1. В админ-панели: Настройки=>Общие настройки.[/b]
- Поставить галочку "Принудительная очистка кэша"
Сохранить настройки

[b]2. Загрузить файлы (добавить):[/b]
core/includes/admin/sub/modx_parser (папка и ее содержимое)
core/includes/admin/sub/modules_prod_parser.php
core/tpl/admin/prod_parser.tpl.html
data/admin/modx_parser.js
data/admin/jquery.min.js
data/admin/modx_menu.js
data/admin/modx_menu.css
data/admin/modx_menu_ie-fix.css
data/admin/modx_parser_module.js
parser_cron.php

[b]3. Отредактировать файл core/includes/admin/modules.php[/b]
Найти строку:
[CODE]
array("id"=>"yandex", "name"=>"Яндекс.Маркет" )
[/CODE]
Добавить перед ней строку:
[CODE]
array("id"=>"prod_parser", "name"=>"Парсер товаров"),
[/CODE]

[b]4. Отредактировать файл core/tpl/admin/menu.tpl.html[/b]
Найти строку:
[CODE]
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=custord&amp;sub=affiliate">{$smarty.const.STRING_AFFILIATE_PROGRAM}</a></td></tr></table>
[/CODE]
Добавить после нее строку:
[CODE]
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=modules&amp;sub=prod_parser">Парсер</a></td></tr></table>
[/CODE]

[b]5. Задать все права на запись (777 для папок, 666 для файлов):[/b]
core/includes/admin/sub/modx_parser/parser.dat
core/includes/admin/sub/modx_parser/logfile.dat
core/cache
data/big
data/medium
data/small

[b]6. Проверить, открывается ли модуль парсера[/b]

[b]7. В админ-панели: Настройки=>Общие настройки.[/b]
- Снять галочку "Принудительная очистка кэша"
Сохранить настройки

[b]8. ТОЛЬКО если нужна возможность работы через крон:[/b]
- открыть файл [b]parser_cron.php[/b], задать в параметре [b]"MODX_SITE_ROOT" [/b]адрес своего
сайта, на котором установлен парсер
- настроить, если нужно, другие параметры в parser_cron.php
- поставить на крон задание:
[b]*/2 * * * * /usr/bin/php parser_cron.php > core/temp/cron.log[/b]
Уточните путь к [b]php [/b]на своем хостинге - он может отличаться от[b] "/usr/bin/php".[/b]

Вместо[b] parser_cron.php[/b] и [b]core/temp/cron.log[/b] должны быть АБСОЛЮТНЫЕ пути к этим файлам.

[b]Инструкция по использованию модуля:[/b]
В админпанели ShopCMS модуль находится в разделе Модули=>Парсер товаров

[b]Подготовка к работе[/b]
Одновременно можно парсить только один сайт. Перед парсингом нового сайта нужно загрузить настройки шаблонов из файла настроек: внизу модуля парсера есть раздел "Экспорт/Импорт шаблонов" с полем для загрузки файла. В архиве с модулем в папке templates можно найти шаблоны для Яндекс.Маркет и МаркетГид. Далее нужно добавить точки входа - ссылки на разделы целевого сайта, товары из которых нужно парсить. Парсер после запуска зайдет на каждый URL точки входа, и перейдет дальше по всем найденным ссылкам на товары и следующие страницы в постраничной разбивке. К каждой точке входа привязывается одна из категорий Вашего каталога,куда будут добавляться отпарсенные из этой точки входа товары. Можно назначать несколько точек входа на одну и ту же категорию каталога.

[b]Парсинг[/b]
1) нажать кнопку "Открыть окно парсера"
2) в окне парсера снять галочку "Тестовый режим" (иначе товары не будут
добавляться в ваш каталог)
3) нажать кнопку "Начать"
4) не закрывать это окно, пока не закончите парсинг. Если по каким-то причинам окно преждевременно будет закрыто, можно потом продолжить парсинг с последней точки, нажав кнопку "Продолжить" Товары создаются парсером неопубликованными, для их отображения на сайте нужно включить товары через админпанель.

[b]Изображения[/b]
Автоматически генерируются уменьшенные копии изображений товаров (в ShopCMS они называются "Изображение A-C"). Для каждого измерения (ширина/высота) устанавливается максимальное значение в точках (пикселях).

Можно также жестко приводить фотографии к заданному размеру, но при этом лишняя часть фотографий будет обрезаться - для этого в настройке "Уменьшение фотографий" нужно задать режим "Уменьшать и жестко обрезать".

[b]Парсинг по cron[/b]
После настройки всех параметров парсинга, не открывать окно парсера, а поставить галочку "Работа через cron" вверху модуля.
Возле галочки будет отображаться прогресс парсинга. До первого результата возможно придется подождать
1-2 минуты, если парсинг через крон правильно настроен соответственно инструкции.

При парсинге через cron админку держать открытой необязательно.
Если снять галочку "Работа через cron" и снова поставить ее, парсер начнет заново с точек входа. Во время парсинга настройки парсера менять не рекомендуется.







0 посетителей за последние 15 минут

0 пользователей, 0 гостей, 0 анонимных