Knowledge Collaborative Portal Review 8 June 2004

Information Systems and Telecommunication Division Knowledge Collaborative Portal Review8 June 2004

General IT landscape Functional Presentation - XML Referential Albert – search engine Sympa – mass mailing Static and “Chef d’Orchestre”; KO redirection Portal Development Environment Physical Architecture “Menu”

General IT Landscape • Complex network and application architecture • “low level” physical infrastructure (cabling, active elements); • IP network architecture (addressing, routing, DNS, DHCP, etc.); • Servers & Systems (Windows, Unix, Linux); • File, Web, Application, Database, etc. • Connectivity (Internet, WAN, misc.); • Security (Firewall, Proxy, DMZ) authentication, Antivirus, IDS; • Performance, optimization (Packetshaper, Cache, CoS, Redundancy/Loadbalancing, IP compression, etc.);

General IT Landscape • Main (ongoing) projects • Active Directory / LDAP • Storage: SAN, NAS, BackUp, Disaster Recovery • Information Life Cycle Management • On-line/near-line/off-line ; Archiving • E-mail, web, documents, SAP, etc. • Server Consolidation • File servers • Web servers • Application servers

Functional presentation • Needs • Cross cutting • Multilinguism • Easy access to the huge amount of data UNESCO publishes online

Functional presentation • Actions for the portal • Standardization • Definition of a functional architecture • Pooling of resources • Search engine • Mailing-lists • Definition of a physical architecture

Functional architecture : past activities • Work has been going on for more than 2 years • Installation of Simplify, Albert, etc. • Design of a functional architecture • Work on the data (XML repository) • Work on the presentation • The first bricks can now be used

Search engine Other Sites Content Management Static Presentation Profiling News DiscussionForum Multimedia Mailing Connectors CategorizationIndexation Thesaurus Metadata repository XML Members directory LDAP Functionnal Architecture Consultation Internet

Functional architecture : main directions • Quality of data • Editors rarely qualify the content they type • Automatic processing requires qualifiers (meta data) • Presentation of data • Definition of themes • Multi channel presentation (web, mailing lists, etc.) • Profiling

Portal data • Eventually each document published on the Internet will be referenced in the XML repository • Described by an identity card • Qualified by keywords • Work progress • The identity card is defined • The XML Repository is set up • The Repository is feed by Simplify • A connector architecture has been designed to feed the repository

Portal data : data quality • Importance of good qualification • Without it data cannot be processed • Work progress • Automatic qualification • Qualification statistics • Simplify contributors help • Identity card editing

Portal presentation • Present data to better attain target publics • No duplication : only links and summaries • Multiple channels : HTML, mail, RSS, etc.

Portal presentation : themes • How does it work ? • Definition of themes : set of keywords to describe a topic • Exemple : theme AIDS in Africa is described by ‘AIDS’ and ‘Africa’ • The Repository extracts matching data • An editor selects the documents he wants to present • A portal page is automatically created in Simplify • Eventually, other channels will be added : mailing, RSS, etc.

Portal presentation : demonstration • Online demonstation

Moteur de recherche 1/2 • Avril 2004 DIT avait installé sur un nouveau serveur les bases de la maquette Albert: le moteur de recherche, l’indexation de flux de données hétérogènes: CMS, WEB, UNESDOC.. PB techniques de BD, Thésaurus trop « riche », contenus interne et externe mélangés -> résultats confus. • Recadrage du projet avec les secteurs (approche concensuelle) • http://portal.unesco.org/search/wg • Groupes de travail: Enquête, Pages promo.,Test qualité, indexation contrôlé, stratégie, affichage contextuel des résultats. • ->Lancement reporté d’Albert courrant septembre 2004

Moteur Albert 2/2 • Réutilisation de l’API simplify->RefXML pour Albert. Maîtrise des données injectées: • Meta data Simplify (type, keywords, auteur,….) • Indexation tous les 15mn des Kos simplify(CMS). • Indexation des sites WEB en fonction du contenu • Elaboration de descripteur de site DIT-BFC • Définition des metadonnées à injecter. • Réécriture de la partie affichage des résultats. • Assistance technique.

Mass-Mailling –SYMPA v3- • 71 listes10 > 1000 abonnés.15 > 100 abonnés22 > 10 abonnés.24 <10 abonnés. • 800 à 4000 emails par semaine envoyés en mai. • Facilité d’utilisation • Moins bien adapté pour les groupes de discussion que UBB. • Bonne tenu en charge. • Version 4 à tester:Soap interfaceCAS SingOn system

FireWall Public Public Frontal Frontal Simplify2 Simplify1 Simplify3 Simplify4 Privé Privé BD BD BD BD s_cis_intras_wwap s_edu s_unesco s_waters_clts_shs….. Architecture Simplify actuelle Recommendations Tomoye: -4 instances / serveurs <50 000 Kos -Déploiement des applications sur plusieurs serveurs

Architecture WEB HA FireWall Webmaster HA Gateway Unique Frontal Simplify2 Simplify1 Simplify3 Simplify4 BD BD BD BD ServersWWW HA ServersWWW Base de données Master Base de données Slave ServersWWW Architecture Simplify Haute disponibilité (HA) Sécurité Facilité d’accès FireWall Accélérateur Public Public Frontal Frontal Privé Privé

Liste des serveurs • Portal0 Actuel Front + quelques instances Simplify • Srvportal01 – Albert Installé • Srvportal02 – Mysql master • Srvportal03 – Mysql esclave • Srvportal04 – Serveur d’application – XmlRef • Srvportal05 – Serveur Simplify • Srvportal06 – Seveur Simplify+application Web • Srvportal07 – Serveur Simplify • Clustering Front • Srvfront01 – Serveur Frontal01 • Srvfront02 – Serveur Frontal02 • 2 autres serveurs pour la HauteDispo

Static site • Problem • Simplify servers were slow because overloaded • Response time for visitors too long • Contribution rendered difficult • Solution • Simplify sites are quasi-static • Create a static (HTML) site from Simplify • Optimal response time for visitors • Simplify sites are being transformed into static

Static site • Limitations • Reactivity • Template modification • Solution : chef d’orchestre/conductor application • Schedules static transformation • Immediate generation of topics • Generation of topics after a template has changed • Deletion of topics

Static site : “nice” URL • URL problem • Simplify URLs are complex and obfuscated • http://portal.unesco.org/en/ev.php-URL_ID=15006&URL_DO=DO_TOPIC&URL_SECTION=201.html • “nice URL” feature • www.unesco.org/culture maps to a Simplify URL

Static site : “nice” URL • How does it work ? • Create a new topic of “alias/redirection” type • For each language, map a nice URL to a static Simplify URL

Administration des applications portails • Permettre l’accès centralisé aux serveurs: • Un seul point d’entrée • une seule authentification • Sécurise l’accès via HTTPS, SFTP, SSH. Webmaster Gateway Unique

Mutualisation des développements • Les développements PHP, PERL, JAVA, XML… et les documentations sont hébergés sur un serveur (repository) Concurrent Version Systèm: • Le + utilisé dans l’OpenSource, le + connu. • Programmation collaborative via internet. • La programmation des modules du portail peuvent être faite à partir de partout dans le monde et peuvent être partagé. • Par son ouverture, permet un meilleur contrôle des développements. • Mise à disposition des sources et packages.

L’expériences CMS Multilingue • Etude sur des CMS multilingue « open source » en java, php, python. • L’option retenu a été OpenCMS. • BackOffice évolué, bonne réputation. • Frameworks « lourd » à mettre en œuvre. • Notion d’object (KO) manquante -> Développement spécifique -> trop cher. • Nouvelle proposition avec « Infoglue ». Arrêt de l’étude à cause du manque de visibilité et de financement

End • Thank you for your attention

Knowledge Collaborative Portal Review 8 June 2004