(en) Protests events calendar aggregator
We are currently testing a new custom-made aggregator for the protests calendar on Libertaire.net. It is based on the same principle as the concert aggregator for Pirate Punk – events published on more than 25 different sites are now added to the forum’s calendar.
Our new scraper bots have been programmed to scan the web for activist events on various sites such as Demosphere and Mobilizon. The events are then sorted and added to the forum’s protests calendar with a description, images, and an OpenStreet map.
The new system is currently in the test phase and will be rolled out gradually
PHASE 1
The first phase consists in testing the viability of the system with real data. For example, the community should check the relevance of events (some of which are not directly anarchist). It is also necessary to ensure the stability of the system and to correct the bugs.
Among the potential bugs of the test phase, there are duplicates or events that display incorrectly. Of course, there is also the risk that inappropriate events slip through our filters, but there are still several moderation teams that will monitor (those of Demosphere and that of the forum).
PHASE 2
The second phase will consist of connecting InfoLibertaire to the protests calendar. Events will be added on both sites, but the event management system will still be based on the forum. This phase will require the development of a tailor-made calendar by our programmers.
PHASE 3
The final phase of this project will be to link the activist agenda to the newsletter to send a monthly or bi-monthly summary of upcoming demonstrations. If everything works well, it could directly influence the number of people present at the demonstrations given the huge number of subscribers (about 50,000 in total).
EXPLANATIONS ON BOTS FILTERS
How does the automatic event posting work? The title of the announcement found by our bots must contain words like “protest”, “gathering”, “mobilization”, or “demonstration” in order to ensure accuracy. This filter is necessary so as not to flood the forum with hundreds of less relevant announcements.
POTENTIAL ISSUES
To check if our filters are working properly, the system must be tested with real data over a long period of time to train and improve artificial intelligence.
In such a system, perfection does not exist and it is to be expected that events must be moderated a posteriori. In the end, what matters is the success rate and if only 1% of the published events have to be deleted afterward, we can say that the advantages outweigh the disadvantages. According to our tests, the success rate is over 99% at the moment.
In case there are too many inappropriate events that slip through the filters, there is also the possibility of moderating, so the events must be manually approved by the moderators. As this kind of concept does not exist anywhere else we do not know exactly what to expect. So if you spot a problem, please report it to the technical team, it will help us improve the artificial intelligence of the system.
(fr) Aggrégateur décentralisé de manifs
Nouveau sur le forum: basé sur le même principe que l’aggrégateur de concerts pour Pirate Punk, les manifs publiés sur plus de 25 sites différents sont maintenant relayés sur le forum.
De nouveaux robots ont été programmés pour scruter le web à la recherche d’événements militants sur différents sites comme Demosphere et Mobilizon. Les événements sont ensuite triés et ajoutés dans l’agenda militant du forum avec une description, des images, et une carte OpenStreet.
Le nouveau système est présentement en phase de test et la suite sera déployée progressivement
PHASE 1
La première phase consiste à tester la viabilité du système avec des données réelles. Par exemple, la communauté doit vérifier la pertinence des événements (dont certains ne sont pas directement anarchistes). Il faut aussi s’assurer de la stabilité du système et corriger les bugs.
Parmi les bugs potentiels de la phase de test, il y a les doublons ou les événements qui s’affichent mal. Évidement il y a aussi le risque que des événements non-appropriés se glissent au travers de nos flitres, mais il y a quand même plusieurs équipes de modération qui surveilleront (celles de Demosphere et celle du forum).
PHASE 2
La deuxième phase consistera à relier InfoLibertaire à l’agenda militant. Les événements seront donc affichés sur les 2 sites, mais le système de gestion d’événements sera toujours basé sur le forum. Cette phase nécessitera le développement d’un calendrier sur mesure par nos programmeur.e.s.
PHASE 3
La phase finale de ce projet sera de relier l’agenda militant à la newsletter pour envoyer un résumé mensuel ou bi-mensuel des manifs à venir. Si tout fonctionne bien, ça pourrait influencer directement le nombre de personnes présentes aux manifs vu la quantité énorme d’abonnés (environ 50,000 au total).
EXPLICATIONS SUR LES FILTRES DES ROBOTS
Comment fonctionne le tri des événements ? Le titre doit contenir des mots comme “manif”, “rassemblement”, “mobilisation”, “cortège” afin de s’assurer de la précision. Ce filtre est nécessaire afin de ne pas innonder le forum de centaines d’annonces moins pertinentes.
Exemple d’événements exclus du relayage : rencontres, réunions, présentations, conférences, débats, permanences, assemblées, sports, soirées, apéros, repas, cantines, festivals, ateliers, expositions, vernissages, projections, formations, fêtes, inaugurations, porte-ouverte, lectures, librairies
(ces événements peuvent quand même être publiés manuellement par les membres au cas-par-cas)
PROBLÈMES POTENTIELS
Pour vérifier si nos filtres fonctionnent correctement, il faut tester le système avec des données réelles sur une longue période pour entrainer et améliorer l’intelligence artificielle. Par exemple, au départ on incluait les événements qui contiennent le terme “marche” comme adjectif de “manif”, mais Ninaa nous a fait remarqué qu’une erreur s’est glissée et les filtres ont été ajustés en conséquence.
Dans un tel système la perfection n’existe pas et il faut s’attendre à ce que des événements doivent être modérés à posteriori. Au final ce qui importe est le taux de succès et si seulement 1% des événements publiés doivent être supprimés à posteriori, on pourra dire que les avantages surpassent les inconvénients. Selon nos tests le taux de succès est supérieur à 99% pour le moment.
Dans le cas où il y aurait trop d’événements inappropriés qui se glissent au travers des filtres, il y a aussi la possibilité de modérer à priori, c’est-à-dire que les événements doivent être approuvés manuellement par les modérateurs. Comme ce genre de concept n’exite pas nulle part ailleurs on ne sait pas exactement à quoi s’attendre. Donc si vous repérez un problème, merci de le signaler à l’équipe technique, ça nous aidera à améliorer l’intelligence artificielle du système.
Liens
Annonce et discussion
https://www.libertaire.net/discussion/aggregateur-decentralise-de-manifs.32607/
Agenda Militant
https://www.libertaire.net/%C3%A9v%C3%A9nements/agenda
Forum Manifestations et Événements Militants
https://www.libertaire.net/forums/agenda-militant-manifestations-et-evenements.46/