Question

Доброго времени суток.

Есть самописный парсер контента жестко определенных сайтов. Парсит раз единицу времени. Результат заливает в информационный блок. Сейчас это делается через CIBlockElement:Add,Update,Delete.

Элементов для операций бывает достаточно много - десяток тысяч (понятно, что грузится не все махом, а итерационно), но даже в этом случае за такт в 30 сек обновляется не более 20-40 элементов (включая загрузку картинок где необходимо). Чтобы обновить весь каталог (если вдруг такое произошло) требуется порядка 12 часов (при старте парсера раз в 5 минут).

Облазил API функции массового обновления (пакетом) не нашел, в цикле мне кажется очень по напряжно для сервера. Если пару дней обновлять весь каталог, то apache падает, памяти php не хватает и вешает сайт (да, отладить можно/нужно, но не суть этой темы, раньше было хуже - падало раз в час ). Существует ли возможность массового/пакетного обновления?

PS: Понятно, что можно делать запросы напрямую в базу, но есть необходимость сохранить API и нет желания копаться с разделением элемента и его свойств, отслеживанием взаимосвязей при обновлении/удалении и т.д.

PS2: подскажите какой идеальный вариант работы с неограниченной загрузкой данных в блок (CMLImport, XMLFile...)?

Answer 1

Цитата
kollipso@gmail.com пишет: за такт в 30 сек обновляется не более 20-40 элементов (включая загрузку картинок где необходимо)

Чот как-то медленно. Можете показать тот кусок кода, который относится к работе с базой битрикса?

Answer 2

http://dev.1c-bitrix.ru/community/webdev/user/11948/blog/2047/