Harvester

From C3D2
Revision as of 09:16, 4 April 2008 by Nomeata (Talk | contribs)

(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)
Jump to: navigation, search


Harvester
Harvester.png
Ein webbasierter RSS- & ATOM-Aggregator
Home: http://blog-harvester.de/
Meta
Sprachen:Ruby, XSLT, SQL, YAML
Plattformen:Unix, PostgreSQL, (MySQL)
Links
Repository
SVN:svn://svn.c3d2.de/harvester/trunk/harvester

Contents

Versionen

Harvester-0.7

  • Umstellen des Template-Codes auf XSLT (done)
    • templates/index.html (done)
    • templates/rss.rdf (done)
    • templates/atom.xml (done)
    • Code-Reduktion durch <xsl:import/>
  • Feeds mit allen Collections (done)
  • Relative Links zu absoluten machen (done)
  • Keine Geisteritems (done)
  • HTML-Entities übersetzen (done)
    • Auch im Jabberbot
  • README neuschreiben
  • Unterstützung für favicons (keine Hackergotchis!)
  • Enclosures Support (Podcasts) (done, r17)
  • Uhrzeiten werden bisher immer in UTC angezeigt
  • In ATOM-Feeds können auch <title/>-Elemente HTML bzw. XHTML enthalten (resolved)
  • Statistik-Chart (done)
  • SQL-Queries entfitzen
  • Microformats (done)
  • Korrektes Layout in kaputten Browsern (done)
  • Jabberbot:
    • Konfiguration über AdHoc-Commands Gajim-kompatibel machen (done)
    • Wirklichen Status beachten, nicht nur online/offline
    • Notification contents als XHTML (done)

Harvester-0.8

  • Objektorientiert ;-)
  • Fetcher:
    • Max. Anzahl Worker-Threads
    • HTTP-Connection reusage mit Keep-Alive
    • Feed parsing mit SAX
  • ETags
  • Tidy HTML
  • Locking and scheduling
  • SQLite support?

Basic Feature Overview

Purpose: Rewrite in different languages and select best implementation

Fetcher

  • HTTPS
  • Limited HTTP Redirection support
  • HTTP Connection reusage
  • HTTP If-Not-Updated-Since support
  • HTTP Keep-Alive usage
  • Parse feeds here
  • Concurrent, better limited

Generator

  • Support XSLT templates
  • XSLT extFunctions

Bugs/Feature-Requests

  • Harvester sollte nie, nie, nie, nie ungültige Feeds ausspucken, selbst wenn kaputte Blogs syndiziert werden. toidinamai 21:49, 2. Aug. 2007 (UTC)
    • tidy könnte eine Lösung sein... --Astro 20:38, 6. Jan. 2008 (UTC)
  • Zumindest die Version auf planet.entropia.de scheint ein Bug im Time-Handling zu haben. Ich schrieb einen Blogeintrag um 1:30 MESZ, also 1:30+0200. Während etwa auf planet.debian.org daraus dann 23:30+0000 wird (was ja stimmt), machte der harvester daraus 23:30+0200... --Nomeata
Speed metal coding 64x64.jpg
Rübÿ Spëëd Mëtäl Cödïng
Coders: Astro | Conny | Sven
Projects: CacaANSICam | Date Determinator | DVB-Scraping | Filmnächte-Scraping | GeeKal | Gruntmaster | Harvester | Hirn | Irb | Jargon-File | Ruby-MediaWiki | Miniwebserver | Momomoto | Pentabarf | Podcast-fetching | Ruby | Ruby-Geekend | Ruby und Ruby on Rails | Sedusa | VDS-Badges | Xmotoctl | Youtube-Scraping
Personal tools
Namespaces

Variants
Actions
Navigation
Tools