Я использовал Yahoo Pipes для некоторых прототипов, но я не желаю использовать его в полном объеме, так как мы не будем контролировать его работоспособность и т. Д.
Есть ли (идеальный вариант с открытым исходным кодом), который можно запустить на моем собственном сервере? Или любое приложение, которое может конвертировать канал в PHP или Ruby?
Вы можете сгенерировать код Python, эквивалентный простому трубу Yahoo с pipe2py: http://github.com/ggaughan/pipe2py
Если сгенерированный эквивалент кода, необходимый для блокировки Yahoo Pipes, не является частью дистрибутива, pipe2py легко расширяется / (Пожалуйста, подумайте о том, чтобы внести какие-либо расширения обратно …)
Как насчет этого? http://pipes.deri.org/
«DERI Pipes: с открытым исходным кодом, расширяемые, встраиваемые веб-данные Mashups
DERI Pipes, вдохновленная Pipes Yahoo, представляет собой движок и графическую среду для общих преобразований веб-данных и Mashup. Поддерживает RDF, XML, Microformats, JSON и двоичные потоки. Используйте его как «веб-трубу» или внедряйте в свои приложения. Работает как команда mashup. Линейный инструмент. Поддерживает SPARQL, XQUERY, несколько языков сценариев. Расширяйте его по мере необходимости. DERI Pipes, в общем, производят как выходные потоки данных (например, XML, RDF, JSON), которые могут использоваться приложениями. Однако при вызове обычным браузером они предоставляют GUI конечного пользователя, чтобы пользователь вводил значения параметров и просматривал результаты (см. Примеры ниже). "
В нашей компании мы давно используем Yahoo Pipes, и мы все еще используем ее для некоторых конкретных и более сложных фидов.
В противном случае мы разрабатываем простое приложение на основе Sinatra для работы как Yahoo Pipes и возвращаем результат как стандартизованный ответ XML / JSON. Создание такого приложения довольно просто, однако я согласен с Паскалем. Между серверами Yahoo и вашим, полагаясь на Yahoo! должен быть более эффективным, чем полагаться на пользовательский сервер.
Единственный недостаток Pipes, с которым мы столкнулись, – это дроссель API. Мы частично решили проблему кэширования ответов на нашей стороне и внедрение механизма пользовательского дросселирования для динамического замедления запросов, когда Pipes возвращает ошибку HTTP.
Может быть, вы должны проверить Apatar – не знаете, каковы ваши требования, но, может быть, это помогает?
Кажется, он спящий, но ради документирования есть WebHookIt , основанный на Node и MongoDB.
Пожалуйста, взгляните на apigee , у них есть визуальный интерфейс, а также XML-скриптовый движок. Он позволяет обрабатывать любые api, xml, json или текст. они имеют
Что касается времени безотказной работы, вы можете кэшировать вывод Yahoo Pipes на своем сервере, если корм проходит AWOL в течение короткого времени (хотя, как сказал PascalMartin, их время безотказной работы, скорее всего, будет лучше, чем ваше).
Маловероятно, что Yahoo внезапно закрывает Yahoo Pipes, но если они это сделают, я уверен, что клоны начнут возникать. В худшем случае сценарий не составит труда написать специальную программу / скрипт, чтобы получить кучу фидов и фильтровать их по вашим критериям.
Существует очень похожий инструмент под названием Quadrigram. Он имеет более 500 операционных модулей, которые вы объединяете вместе для создания процессов обработки данных. Он также имеет 40 комбинированных визуализаций. Это веб-интерфейс и позволяет публиковать интерактивные прототипы в Интернете.