понедельник, 21 декабря 2009 г.

Yahoo Pipes - сбор и обработка контента

Недавно решил попробовать проект Yahoo Pipes. Я слышал, что он умеет объединять RSS потоки, однако это не простой агрегатор и сделать можно гораздо большее.

Сам проект позиционируется, как средство для сбора и манипуляции веб контента. Для начала необходимо зарегиситрироваться на Yahoo, если там еще нет учетной записи.
После регистрации, зайдя на страницу проекта, для начала можно ознакомиться с готовыми решениями - через меню Browse. Можно выбрать что-либо по тегам, или поискать.
Для примера я поискал новостную ленту и обнаружил, что можно создать проектик, утягивающий полное содержание статей, как например сделано в Lenta.ru - Full. Мне например гораздо удобнее читать новости из своего агрегатора, а я использую Google Reader, чем бесконечно тыкать на ссылку в RSS сообщении, чтобы перейти на сайт для чтения. Еще полный новостной поток можно закачать дома в коммуникатор, чтобы спокойно почитать в дороге.
К слову замечу, что в рунете имеется проект RSS Farm, ограниченный идеей получения полной RSS ленты, однако он к тому же не обладает той изящностью редактирования, которая доступна в Yahoo Pipes.

Возвращаясь к Pipes, можно посмотреть, как устроен этот вытягиватель полных новостей, для этого просто переходим по ссылке View Source.
Первый раз увидев редактор, я приятно удивился, как изящно он реализован: все выглядит симпатично и, в принципе, собрать свой проект может не программист, поскольку все реализовано на графических модулях, в настройках которых только необходимо подставить нужные значения.



На этом примере видно, как просто организовать сбор информации с любых сайтов, ведь здесь вырезается контент статьи. Сайтов-источников может быть несколько и их можно объединить модулем Union... Все гибко настраивается, а полученные результаты могут быть оформлены не только в виде RSS потока, но так же из них можно, например, сделать визуальный плагин для блога (Get As Bage).

Дополнительно, с помощью модуля Filter, можно выделять из общего информационного потока интересующую тематику или наоборот, не допускать в информационный поток ненужные сообщения.

Я еще сам понемногу осваиваю модули, поэтому предоставляю далее читателю самому поиграть с Yahoo Pipes и получить нужную ему информацию. Во всяком случае, проект достаточно интересный и может быть иногда полезен.

Опубликовано: memuars.blogspot.com/2009/12/yahoo-pipes.html

Еще заметки на схожие темы:



blog comments powered by Disqus