Вернуться   Арбитраж трафика (CPA сети и не только). Твоя независимость здесь! > Арбитражный форум > Рынок\услуги

Рынок\услуги продаем, покупаем, строго касательно арбитража.

Ответ
 
Опции темы Опции просмотра
Старый 25.11.2018, 21:02   #1
webguru
Познающий
 
Регистрация: 28.10.2015
Сообщений: 50
Репутация: 4
Сказал(а) спасибо: 19
Поблагодарили 4 раз(а) в 4 сообщениях
По умолчанию VK Posts Parser - парсер/граббер постов со стен сообществ/профилей в ВК [ZennoPoster]

VK Posts Parser​


VK Posts Parser - шаблон ZennoPoster для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.

С помощью этого шаблоны можно:
  • Отбирать посты по множеству различных фильтров
  • Собрать подробную информацию о различных параметрах постов (CSV)
  • Выкачивать посты целиком или их отдельные элементы

Кому может пригодиться:
  • SMM-специалистам
  • Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
  • Рекламщикам, маркетологам, аналитикам
  • Дорвейщикам, арбитражникам, сеошникам
  • Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК

Фильтры по которым можно отбирать посты со стен:



Результат работы шаблона

Результат состоит из двух составляющих:
1) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.
2) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках



Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).





Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
views - количество просмотров
images - количество картинок
video_total - общее количество видео в посте
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
video_rutube - количество видео с RuTube
video_coub - количество видео с Coub
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
doc_psd - количество документов PSD (PhotoShop)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;

Важно

Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью. Во-вторых, ВК так и не выкатил API для работы со статьями, хотя уже давно обещали.

Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article

Еще немного про шаблон
  • Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
  • Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
  • Может работать в многопотоке (хотя я рекомендую работать в 1 поток)
  • Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться
  • Каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
  • Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
  • Написан целиком на C#

Дополнительная информация
  • Шаблон привязывается к вашей лицензии ZennoPoster.
  • Шаблон закрыт от редактирования и имеет права только на выполнение.
  • Шаблон будет работать на версиях ZP от 5.10.2.0
  • Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
  • У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!

Стоимость шаблона

$10 или 650 рублей

Апдейты / обновления

Багфиксы и обновления бесплатные.

Контакты

* Email: profitbunker(собака)gmail.com
* Skype: profitbunker ( имя в скайпе webguru )
* Telegram: @profitbunker
* Официальный сайт: http://zennobots.com/product/vk-posts-parser/

p.s Skype практически всегда находятся в невидимом режиме т.ч пишите не обращая внимания на показываемый оффлайн статус.

Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума kote.ws по поводу VK Posts Parser и свой вопрос.

Для тех у кого нет программы ZennoPoster

Если у вас нет программы ZennoPoster и вы не хотите покупать её ради одного шаблона, могу выписать вам шаблон в ZennoBox. Это тот же ZennoPoster, но заточенный на выполнение исключительно купленных вами шаблонов и без возможности разрабатывать собственные шаблоны. ZennoBox обойдется вам в +10$ к стоимости шаблона.

Последний раз редактировалось webguru; 02.12.2018 в 20:55.
webguru вне форума   Ответить с цитированием
Старый 03.12.2018, 21:16   #2
webguru
Познающий
 
Регистрация: 28.10.2015
Сообщений: 50
Репутация: 4
Сказал(а) спасибо: 19
Поблагодарили 4 раз(а) в 4 сообщениях
По умолчанию

Добавлена функция остановки парсинга если в CSV файле результата уже имеются данные об анализируемом посте.
Логика такая: Если данные о посте уже есть в CSV, значит посты с этой стены ранее уже парсились, а значит шаблон спарсил все новые посты и дошел до последнего поста спаршенного в предыдущий парсинг. Данная функция позволяет допарсивать только новые посты. Это особенно актуально если Вы выкачиваете посты, а не просто собираете информацию о них в CSV.

Так же во входные настройки добавлена опция выбора того, что делать с отработанными ссылками (ссылками на стены откуда парсим посты). Раньше после обработки они всегда перемещались в файл finished.txt ... теперь их можно не перемещать, а просто добавлять в конец списка ссылок для парсинга. Это избавляет от необходимости ручного возврата ссылки из finished.txt в список ссылок для парсинга, что позволяет настроить запуск парсера по расписанию и он будет ежедневно докачивать/допарсивать новые посты с указанных стен.

Все кто покупал шаблон могут обновить его здесь: https://cloud.mail.ru/public/HNqe/EiPMmVgWj
webguru вне форума   Ответить с цитированием
Ответ

Метки
zennoposter, вконткте, парсер


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 08:09. Часовой пояс GMT +4.


Есть вопросы или пожелания? Пишите на: support@kote.ws или сюда http://vk.com/id314943682
Мы в Google+

Я принимаю Яндекс.Деньги
Публичный договор-оферта