Перейти к содержимому


Парсер товаров для ShopCMS


  • Вы не можете ответить в тему
Сообщений в теме: 149

#1 noy

    Пользователь

  • Заблокированные
  • PipPip
  • 24 сообщений
Репутация: 0
Начинающий

Отправлено 30 June 2011 - 07:36 PM

Изображение
Описание:
Для движка ShopCMS версии 3.0.0 и выше

Модуль Парсер товаров для ShopCMS автоматически загружает в каталог товары с других интернет-магазинов или каталогов. Модуль парсит каталоги Яндекс.Маркет и МаркетГид. Используя этот мощный инструмент, вы сэкономите огромное количество времени, уходящее на заполнение магазина товарами.

Основные возможности парсера товаров ShopCMS:
* парсинг названий, описания, веса и стоимости товаров. Если позволяет дизайн сайта-источника, можно разделять краткое и полное описание. Фильтрация HTML-кода с помощью настраиваемого списка тегов. Обрезание описаний до или после вхождения заданных строк.
* загрузка изображений товара. К каждому товару парсер загружает все его найденные изображения, для каждого автоматически генерируя уменьшенные версии (ограничения на размер фотографий настраиваются).
* парсинг Meta тегов description и keywords.
* режим обновления цены - изменение только стоимости товаров. Также задается коэффициент изменения цены, который можно использовать для ценовой надбавки или перевода курсов валют.
* режим дополнения описаний - добавляет к товарам Вашего каталога отсутствующую информацию, такую как фотографии, описания или вес.
* парсинг через прокси-сервер
* режим парсинга по крону (не нужно держать открытым окно парсера)
* многопоточная загрузка - позволяет значительно ускорить парсинг, особенно при загрузке товаров с несколькими изображениями.
* настраиваемые cookies - позволяют, например, задавать географический регион при парсинге Яндекс.Маркета или авторизоваться на некоторых сайтах

Парсер интегрирован в панель администрирования ShopCMS, работает с использованием AJAX-интерфейса. Во время парсинга нужно держать открытой страницу админки, где в интерактивном режиме отображаются результаты работы:
Изображение
Вы можете самостоятельно "нацеливать" парсер на нужный сайт: достаточно загрузить через админпанель соответственный файл настроек и добавить ссылки, с которых парсер начнет обход сайта. При наличиии базовых знаний разметки HTML вы можете сами настроить шаблоны на любой сайт-цель:
Изображение

Основные системные требования к серверу для работы парсера товаров:
* PHP 5
* Библиотека PHP iconv
* Библиотека PHP GD
* Поддержка функций curl
* Лимит на время выполнения скриптов - не менее 15 секунд

Установка:
1. В админ-панели: Настройки=>Общие настройки.
- Поставить галочку "Принудительная очистка кэша"
Сохранить настройки

2. Загрузить файлы (добавить):
core/includes/admin/sub/modx_parser (папка и ее содержимое)
core/includes/admin/sub/modules_prod_parser.php
core/tpl/admin/prod_parser.tpl.html
data/admin/modx_parser.js
data/admin/jquery.min.js
data/admin/modx_menu.js
data/admin/modx_menu.css
data/admin/modx_menu_ie-fix.css
data/admin/modx_parser_module.js
parser_cron.php

3. Отредактировать файл core/includes/admin/modules.php
Найти строку:
array("id"=>"yandex", "name"=>"Яндекс.Маркет" )
Добавить перед ней строку:
array("id"=>"prod_parser", "name"=>"Парсер товаров"),

4. Отредактировать файл core/tpl/admin/menu.tpl.html
Найти строку:
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=custord&amp;sub=affiliate">{$smarty.const.STRING_AFFILIATE_PROGRAM}</a></td></tr></table>
Добавить после нее строку:
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=modules&amp;sub=prod_parser">Парсер</a></td></tr></table>

5. Задать все права на запись (777 для папок, 666 для файлов):
core/includes/admin/sub/modx_parser/parser.dat
core/includes/admin/sub/modx_parser/logfile.dat
core/cache
data/big
data/medium
data/small

6. Проверить, открывается ли модуль парсера

7. В админ-панели: Настройки=>Общие настройки.
- Снять галочку "Принудительная очистка кэша"
Сохранить настройки

8. ТОЛЬКО если нужна возможность работы через крон:
- открыть файл parser_cron.php, задать в параметре "MODX_SITE_ROOT" адрес своего
сайта, на котором установлен парсер
- настроить, если нужно, другие параметры в parser_cron.php
- поставить на крон задание:
*/2 * * * * /usr/bin/php parser_cron.php > core/temp/cron.log
Уточните путь к php на своем хостинге - он может отличаться от "/usr/bin/php".

Вместо parser_cron.php и core/temp/cron.log должны быть АБСОЛЮТНЫЕ пути к этим файлам.

Инструкция по использованию модуля:
В админпанели ShopCMS модуль находится в разделе Модули=>Парсер товаров

Подготовка к работе
Одновременно можно парсить только один сайт. Перед парсингом нового сайта нужно загрузить настройки шаблонов из файла настроек: внизу модуля парсера есть раздел "Экспорт/Импорт шаблонов" с полем для загрузки файла. В архиве с модулем в папке templates можно найти шаблоны для Яндекс.Маркет и МаркетГид. Далее нужно добавить точки входа - ссылки на разделы целевого сайта, товары из которых нужно парсить. Парсер после запуска зайдет на каждый URL точки входа, и перейдет дальше по всем найденным ссылкам на товары и следующие страницы в постраничной разбивке. К каждой точке входа привязывается одна из категорий Вашего каталога,куда будут добавляться отпарсенные из этой точки входа товары. Можно назначать несколько точек входа на одну и ту же категорию каталога.

Парсинг
1) нажать кнопку "Открыть окно парсера"
2) в окне парсера снять галочку "Тестовый режим" (иначе товары не будут
добавляться в ваш каталог)
3) нажать кнопку "Начать"
4) не закрывать это окно, пока не закончите парсинг. Если по каким-то причинам окно преждевременно будет закрыто, можно потом продолжить парсинг с последней точки, нажав кнопку "Продолжить" Товары создаются парсером неопубликованными, для их отображения на сайте нужно включить товары через админпанель.

Изображения
Автоматически генерируются уменьшенные копии изображений товаров (в ShopCMS они называются "Изображение A-C"). Для каждого измерения (ширина/высота) устанавливается максимальное значение в точках (пикселях).

Можно также жестко приводить фотографии к заданному размеру, но при этом лишняя часть фотографий будет обрезаться - для этого в настройке "Уменьшение фотографий" нужно задать режим "Уменьшать и жестко обрезать".

Парсинг по cron
После настройки всех параметров парсинга, не открывать окно парсера, а поставить галочку "Работа через cron" вверху модуля.
Возле галочки будет отображаться прогресс парсинга. До первого результата возможно придется подождать
1-2 минуты, если парсинг через крон правильно настроен соответственно инструкции.

При парсинге через cron админку держать открытой необязательно.
Если снять галочку "Работа через cron" и снова поставить ее, парсер начнет заново с точек входа. Во время парсинга настройки парсера менять не рекомендуется.

Скачать парсер товаров для ShopCMS

#2 kande

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 74 сообщений
Репутация: 0
Начинающий

Отправлено 16 July 2011 - 04:06 PM

с установкой то проблем не возникло. просто не могу разобраться как настроить на определенный сайт? первый раз решил попробовать наполнить с помощью парсера и не разберусь ни как. откуда брать шаблон описания до и после и всего остального?

---------- Сообщение объединено ----------

Нет точек входа, невозможно начать парсинг
в чем может быть беда и куда их вписывать эти точки входа?
  • 0

#3 Гость_info_*

  • Гости
Репутация: 0

Отправлено 16 July 2011 - 07:15 PM

kande, Нужно настроить шаблон на последнем скрине смотрите

#4 kande

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 74 сообщений
Репутация: 0
Начинающий

Отправлено 16 July 2011 - 08:52 PM

кто может выложить пример настроек под парсинг shopcms? что то парсит но не так как хотелось бы. ПаМаГиТе плз!!!
  • 0

#5 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 18 July 2011 - 09:14 AM

кто может выложить пример настроек под парсинг shopcms? что то парсит но не так как хотелось бы. ПаМаГиТе плз!!!


покажите для начала свои настройки
  • 0

#6 alhimik

    Пользователь

  • Пользователи
  • PipPip
  • 20 сообщений
Репутация: 0
Начинающий

Отправлено 26 July 2011 - 10:26 AM

чё та не могу понять, всё вроде сделал по инструкции, но у меня в модулях появилась вкладка "Парсер", захожу туда, а там мне предлагается разместить новость!!!!!это как так у меня получилось та?в чем ошибка?
  • 0

#7 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 30 July 2011 - 03:13 PM

Вроде заработало, но шаблон Яндекс-маркета не парсит...
  • 0

#8 Klevin

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений
Репутация: 0
Начинающий

Отправлено 01 August 2011 - 02:27 PM

Парсер

Вот тоже никак не выходит заставить его работать .... может кто то согласится выложить или просто или за вознаграждение файл настроек, да бы разобраться с этим чудом ... :cool:
  • 0

#9 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 01 August 2011 - 03:06 PM

Видимо что-то изменилось в тегах маркета так как он вообще перестал работать.
  • 0

#10 Klevin

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений
Репутация: 0
Начинающий

Отправлено 01 August 2011 - 03:31 PM

Да у меня тоже с установкой все вышло ... а вот файл проекта составить не выходит ... В установке ничего сложного нет. На сайте разработчика есть возможность заказать составление проекта за деньги ... но там в онлайне никого нет.
У кого то вышло заставить его заработать? У меня даже маркетгид не хочет парсить, картинку не выводит, и товаров 0 хоть ты убейся ...
  • 0

#11 dream44

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений
Репутация: 0
Начинающий

Отправлено 01 August 2011 - 06:48 PM

на один сайт напарсил товаров и вот уже как неделю где-то немогу напарсить еще два.что-то надо изменять в настройках парсера.
  • 0

#12 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 01 August 2011 - 08:34 PM

на один сайт напарсил товаров и вот уже как неделю где-то немогу напарсить еще два.что-то надо изменять в настройках парсера.


А с какого сайта парсили? Краткое описание выводилось корректно?
  • 0

#13 dream44

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений
Репутация: 0
Начинающий

Отправлено 01 August 2011 - 08:37 PM

яндекс маркет парсил. все выводилось корректно.
  • 0

#14 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 02 August 2011 - 08:50 AM

На официальном сайте заявлена цена в 7 WMZ за один файл настроек. Желающих уже трое если вместе с Вами. Примерно по 2.35 у.е. Единственное что меня смущает - нужно ли было покупать парсер что бы иметь возможность купить настройки или не важно где ты нарыл модуль...
  • 0

#15 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 02 August 2011 - 09:53 AM

Я пытался научиться, вставлял теги между которыми содержится информация которую нужно спарсить, но реально не работало. Поэтому меня вообще берут сомнения стоит ли игра свеч. Но чем больше людей скинется тем менее будет обидно за потраченные деньги) К тому же рабочий шаблон настроек даст возможность изучать как же правильно его делать самому)
  • 0

#16 Klevin

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений
Репутация: 0
Начинающий

Отправлено 02 August 2011 - 09:57 AM

я думаю что уже по сделанному, можно хоть слегка вникнуть как его настраивать ... там глядишь и разберемся. Ну а допустим с настройками на Яндекс, по аналогу можно будет разобраться и с остальным. Хотя ключевые слова там не настраиваются, я так думаю что там сам парсер надо будет менять, то бишь дописывать ... а это может только изготовитель, быстро и качественно. Так что есть вариант того, что потребуется еще потратиться.
  • 0

#17 Istock3d

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений
Репутация: 1
Начинающий

Отправлено 02 August 2011 - 10:08 AM

Ну давайте попробуем вникнуть и расписать в этой теме что к чему. У кого какие есть наработки на данный момент?
  • 0

#18 gsm-group

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 05 August 2011 - 08:34 PM

Может поможет кому

Для Яши

Прикрепленный файл  parser_20110805222503.rar   770байт   18 Количество загрузок:
  • 0

#19 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 05 August 2011 - 08:40 PM

Для Яши

parser_20110805222503.rar

Это новый шаблон? Просто старый и так парсит кроме главной картинки.
  • 0

#20 gsm-group

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 05 August 2011 - 09:33 PM

Это новый шаблон? Просто старый и так парсит кроме главной картинки.


Не парсит, так как Яша сменил шаблон маркета. В этом файле парсить будет Название , краткое описание, цена. Чуть позже выложу полностью рабочий.

---------- Сообщение объединено ----------

Да, есть косяк у Яши. В коде Цена : 7 060 ( 7060) . Вот как эту гадость побороть?
  • 0