Crawler et indexer son site Typo3 automatiquement
21/04/09
1. Vous devez télécharger l’extension « Site Crawler » ici :
http://typo3.org/extensions/repository/view/crawler/current/
2. Activez l’indexation du site en typoscript :
config.index_enable = 1 config.index_externals = 1
3. Désactivez l’indexation à la volée :
4. Configuration « TsConfig » à placer sur la page racine du site:
#set up a crawl for users that arent logged in
tx_crawler.crawlerCfg.paramSets.monsite =
tx_crawler.crawlerCfg.paramSets.monsite {
cHash = 1
procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler
baseUrl = http://mon_url/
}
# for tt_news
# _PID:40 is the sysfolder with the news records
# pidsOnly = 20 is the page with the news singeview.
tx_crawler.crawlerCfg.paramSets {
tt_news = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:40]
tt_news.procInstrFilter = tx_indexedsearch_reindex
tt_news.cHash = 1
tt_news.pidsOnly = 20
tt_news.baseUrl = http://mon_url/
}
tx_crawler.crawlerCfg.paramSets {
newscal = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:203]
newscal.procInstrFilter = tx_indexedsearch_reindex
newscal.cHash = 1
newscal.pidsOnly = 204
newscal.baseUrl = http://mon_url/
}
5. Créez l’utilisateur backend sans groupe ni droits (user=_cli_crawler & mdp=_cli_crawler)
6. Mettre en place un script SH qui lance l’indexation en 2 temps:
- Mise en queue
- Crawl du site
typo3/cli_dispatch.phpsh crawler_im 2 -d 99 -proc tx_indexedsearch_reindex -n 200 -o queue typo3/cli_dispatch.phpsh crawler
Les paramètres de la fonction de mise en queue sont les suivants :
2 : ID de la page racine de l'indexation -d 99: Profondeur de récursivité -proc tx_indexedsearch_reindex: force la réindexation -n 200: nombre d'url par minute à traiter -o queue: construit la queue
Attention : Par défaut, la commande crawler ne parcourt que 100 urls, vous devez modifier ce paramètre dans l’extension manager ou alors lancer plusieurs fois la commande (par paquet de 100) :
Pour des compléments d’informations sur la TsConfig (utilisateurs authentifiés etc…) rendez-vous ici:
http://wiki.typo3.org/index.php/Ext_crawler
Article(s) sur le même sujet :
Aucun trackback pour l'instant
SolrAdmin et mes extensions TYPO3
13 janvier 2012 - 17 h 19 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Quasiment 1 mois que je n’ai pas blogué… Dur dur en ce moment, mais c’est souvent bon signe Bref, je profite de ce billet pour vous présenter une de mes dernières extensions afin d’avoir des retours dessus (bien que j’en ai déjà eu). Pour confirmer mon implication sur Apache Solr (nous l’utilisons quotidiennement et sommes [...]
TYPO3 4.5 et backport des fonctionnalités
13 décembre 2011 - 10 h 24 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Comme vous le savez, la version 4.5 de TYPO3 sera supportée jusqu’à mi-2014. Entre temps, de nombreuses versions auront vu le jour : 4.8, 4.9, 4.10, 4.11 et peut-être 4.12. La « core team » à toujours été un peu réfractaire à l’idée de backporter des fonctionnalités des versions supérieures (par exemple des nouveautés de la 4.6 sur la 4.5). Mais on [...]
T3UNI11 : toutes les vidéos de l’Université d’été TYPO3 2011
2 novembre 2011 - 9 h 43 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Quelques mois après l’université d’été, les vidéos sont mises à disposition. Vous pourrez toutes les découvrir ici: http://typo3-fr.org/communaute-typo3/evenements/t3uni11-l-universite-d-ete-typo3-2011-407.html Vous pourrez donc suivre notre conférence sur les moteurs de recherche: http://typo3-fr.org/communaute-typo3/evenements/t3uni11-l-universite-d-ete-typo3-2011/typo3-et-les-moteurs-de-recherche-417.html Enfin, voici la nouvelle chaîne YouTube de TYPO3.fr : http://www.youtube.com/user/TYPO3Fr Partager : Tweet Article(s) sur le même sujet : Université d’été TYPO3 dans 2 jours [...]
Sortie de TYPO3 4.6
25 octobre 2011 - 15 h 00 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Après des dates de livraison toujours respectées, la version 4.6 de TYPO3 voit le jour aujourd’hui. Comme chaque version majeure, c’est un grand jour qui se voit ponctuer par des « Release Party » un peu partout dans le monde (mais pas en France snif…). Cette version post 4.5 LTS apporte beaucoup d’améliorations, essentiellement d’ordre technique. Je [...]
Rappel : le TUG Nantes #3
14 octobre 2011 - 9 h 34 min
Tags: TYPO3
Posté dans TYPO3 | 2 commentaires
Mise à jour de TYPO3 4.3.13,4.4.10 et 4.5.5
16 août 2011 - 13 h 51 min
Tags: TYPO3
Posté dans TYPO3 | 1 commentaire
Suite à des bugs de régressions, une série de mise à jour est sortie aujourd’hui. Les 3 dernières branches sont concernées. Le passage à la 4.5.5 est conseillé. Comme d’habitude cliquez en dessous pour voir les spécifications de ces mises à jour. TYPO3 4.3.13 TYPO3 4.4.5 TYPO3 4.5.5 Vous pourrez consulter la roadmap des nouvelles [...]
Mise à jour de TYPO3 4.3.12,4.4.9 et 4.5.4
27 juillet 2011 - 15 h 04 min
Tags: TYPO3
Posté dans TYPO3 | 1 commentaire
Suite à des bugs et à des failles de sécurité relevées par la team, une série de mise à jour est sortie aujourd’hui. Les 3 dernières branches sont concernées. Le passage à la 4.5.4 est fortement conseillé. Comme d’habitude cliquez en dessous pour voir les spécifications de ces mises à jour. TYPO3 4.3.12 TYPO3 4.4.9 [...]
Nouveau serveur de traduction TYPO3
26 juillet 2011 - 19 h 41 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Comme vous le savez surement, TYPO3 abandonne peu à peu le format locallang.xml pour la gestion des traductions pour le format XLIFF. Le nouveau serveur de traduction se basant sur ce format est donc disponible à l’adresse : http://translation.typo3.org/. Ce serveur Pootle présente donc toutes les langues disponibles sur TYPO3. Sachez que la connexion s’effectue à l’aide d’un SSO entre [...]
Avancement de TYPO3 4.6 et nouvelles de la communauté
18 juillet 2011 - 10 h 37 min
Tags: TYPO3
Posté dans TYPO3 | Aucun commentaire
Comme cela fait longtemps que j’ai écrit un billet, je me suis dit qu’un petit billet récapitulatif de l’actualité serait pas mal. Première chose, TYPO3 4.6 alpha3 est sorti le 12 juillet dernier. Pas grand-chose en termes de nouveautés, mise à part le support du XLIFF qui est annoncé. Nous quitterons donc le bon vieu locallang.xml au profit [...]
Université d’été TYPO3 : c’est terminé
8 juillet 2011 - 8 h 37 min
Tags: TYPO3
Posté dans TYPO3 | 1 commentaire
Bon ok, je suis un peu en retard mais j’attendais la news officielle pour poster. L’université d’été est donc terminée et elle m’a permis de rencontrer pour la première fois la communauté Française de TYPO3. On remerciera une fois de plus toute les personnes qui se sont occupées de l’organisation mais surtout Cyril Wolfangel et l’université Polytech [...]
21 avril 2009 - 14 h 44 min
Thank you for the nice review of setting up crawler with indexed_search. I’m hoping your procInstrFilter settings fix my realurl recognition issue.