Moteur de sites dédié à la finance

[yule]

Bonjour,

Toujours dans mon dada des moteurs de sites, je viens de mettre en ligne un nouveau moteur, celui-ci est réservé uniquement aux sites ayant un rapport avec la finance

http://www.picorne.com

Votre avis m'intéresse positif ou négatif, l'essentiel est qu'il soit constructif :wink:

Après je prendrais volontiers votre avis sur un autre point, j'avoue que je n'arrive pas à me décider pour la pertinence des résultats, il faut savoir que j'actualise tous les 48h00 la version html (texte uniquement) de la page soumise, le titre et la description restent la même, de plus, la version texte que j'update tous les 48h00 n'est pas affiché dans les résultats pour éviter le duplicat content... mais utilisé uniquement pour la recherche..

Donc si je devais donner un poids à mes requêtes pour avoir la meilleure pertinence... êtes vous d'accord si dans l'ordre je donne plus de poids d'abord au

1 Titre du site
2 Description du site
3 Mots-clefs du site
4 url du site
5 Texte html de la page soumise

D'avance un grand merci pour votre participation
Cordialement
Yule

PS: ah oui, la bd est bien maigre en sites, donc c'est normal s'il y a peu de résultats... pour rappel faîtes des recherches du coté de la finance et la bourse..

Ps: Page explicative pour les plus curieux : http://www.picorne.com/aide.php

 

[finstreet]

"4 url du site"

Donc ebay n'apparaitrait jamais si on tape enchère ?

 

[yule]

Re,

Euh j'ai pas compris l'exemple.. désolé

Le terme "enchère" n'est pas dans l'url du site ebay ? Donc le terme enchère serait certainement dans le titre et la description ou dans mon exemple, il y a plus de valeur dans le titre et la description. A contrario, si le terme recherché est uniquement dans l'url et pas sur le titre et la description.. il est clair que le site en question ne sortira pas en premier, encore moins si ce même terme se trouve dans le titre ou description d'autres sites... ce qui me semble normale ?

Même si ma base est bien légère, essayez un exemple directement sur le site afin d'être plus parlant (que des termes finances)

A+
Yule

 

[finstreet]

l'exemple est très clair... l'url ne devrait en aucun cas être un critère.

Précise que ce n'est pas des termes Finances qu'il faut taper mais uniquement des termes Forex. On gagnera du temps.

 

[yule]

Ok, parceque le forex c'est pas la finance ?, ni les banques, la bourse ou les options binaires...

Je précise finance car certain pense être sur un moteur sans thème spécifique...

 

[zeb]

l'exemple est très clair... l'url ne devrait en aucun cas être un critère.

ça c'est expliqué dans http://www.picorne.com/aide.php et dans le premier message. Après c'est au choix du dev de prendre en compte ce qu'il souhaite et dans l'ordre qu'il souhaite au niveau de sa requête fulltext. Bref si il décide de la prendre en compte c'est son choix point barre.
Pour avoir une logique similaire sur un formulaire de recherche je ne voie pas trop ce qui permet de dire tel critère doit ou ne doit pas figurer a tel endroit. C'est SON choix et celui de pas mal de SEO au passage qui ne se privent pas d'appuyer sur la triplette du bourrin h1 url title. Et je ne parle même pas des utilisateurs qui n'ont pas encore découvert les marque pages et qui utilisent les moteur pour trouver justement une url.

@Yule : Sinon pour avoir fait un essaie rapide je me suis dit qu'un peu d'humour serait sympa (il est vrai que l'humour est peut être pas le critère dans ce milieu aussi ) genre tu cherche un mot décalé genre "fric" qui ne renverra rien de parlant et tu glisse un petit message humoristique dans les résultats pour détendre l’atmosphère.

As tu d'autres annuaires / moteurs dédiés a d'autre domaines ? j'aurais aimé connaître ceux ci pour jeter un œil et peut être plus si affinité.

 

[finstreet]

Ok, parceque le forex c'est pas la finance ?, ni les banques, la bourse ou les options binaires...

Je précise finance car certain pense être sur un moteur sans thème spécifique...

lol y'a que des sites de Forex ou presque. Y'a même pas Boursorama ou ABCBourse. En lieu et place d'un moteur de recherche, ca fait liens d'affiliations pour sites sur le Forex

Bref si il décide de la prendre en compte c'est son choix point barre.

êtes vous d'accord si dans l'ordre je donne plus de poids d'abord au

Ah je n'avais pas compris. Il demandait un avis mais en réalité n'en voulait pas. Calmos un peu Zeb. C'est aussi mon droit que de trouver stupide d'utiliser l'url, à savoir la marque.

 

[zeb]

êtes vous d'accord si dans l'ordre je donne plus de poids d'abord au
1 Titre du site
2 Description du site ...

l'url ne devrait en aucun cas être un critère.

t'est hors sujet

 

[yule]

Hello,

@Zep
Oula ! L'humour est mon quotidien mais on se fait tellement descendre dans ce milieu que je me méfie... c'est malheureux car dans l'esprit de certaines personnes, un nouveau site doit être soit égal ou supérieur aux grosses entreprises existantes, sinon pas la peine d'en discuter.. Restons la tête sur les épaules et faisons-nous plaisir chacun à notre niveau ;-) Oui j'ai eu d'autres moteurs, j'en ai donné un, à une connaissance, mais plus trop à jour il me semble : http://www.vigoos.com et l'autre que j'avais était sur un .ch ou je l'ai recommencer à 0 pour en faire un nouveau http://www.kolaoo.com


@Finstreet
je suis autodidacte dans la prog, ce n'est donc pas moi qui va donner des cours ou autres.. je partage ce que je fais en toute simplicité, je demande juste l'avis des gens s'il le souhaite et un avis constructif "désolé peut-être que tu te comprends en ligne dans tes réponses, mais pas moi" A mon avis tu n'as pas du comprendre exactement ce qu'est "moteur de sites". Pourtant j'ai précisé dans mon premier message "je viens de mettre en ligne" et "ma bd est encore bien maigre"… Donc si Boursorama ou ABCBourse ne sont pas présent c'est qu'il n'ont pas encore ajouté leurs sites…(je ne peux le faire pour eux..) donc le sarcasme à 2 sous pour le forex, affiliation mouais un peu facile… comme je le dis plus haut, j'ai de l'humour ;-)

Ce moteur n'est pas là pour réinventer la roue, c'est un plaisir en dehors de mon job, je veux détrôner personne ni en vivre, à + de 40 balais, on se fait tout simplement plaisir avec les moyens du bord… Il y a des gens comme moi qui réalisent de temps à autres des sites pour le plaisir, sans penser business et croire que les millions vont tomber tout seul..

A+
Yule

PS: Du coup en parlant de moteur des sites, je me rends compte d'une chose et c'est peut-être pour cette raison qu'on connait pas exactement ce que c'est ... il semblerait que je sois le seul à en faire !!!! 8O Argh.. seul dans mon monde..rire

 

[finstreet]

êtes vous d'accord si dans l'ordre je donne plus de poids d'abord au
1 Titre du site
2 Description du site ...

l'url ne devrait en aucun cas être un critère.

t'est hors sujet

Ahhhhhhhhh donc c toi qui décide ce qui est ou non hors sujet.

Votre avis m'intéresse positif ou négatif, l'essentiel est qu'il soit constructif

On doit te prévenir quand on répond ? un recommandé suffit ? Zeb redescend un peu là.

 

[Leonick]

Donc si Boursorama ou ABCBourse ne sont pas présent c'est qu'il n'ont pas encore ajouté leurs sites…(je ne peux le faire pour eux..)

donc en clair, c'est un annuaire avec une recherche dans l'url, le title et la description de la fiche de chaque site dans ton annuaire ? :wink:

 

[yule]

Pourquoi appeler ça un annuaire ? Quel est le principe d'un annuaire et quel rapport avec mon projet ? Encore une fois, il ne s'agit ni d'un annuaire ni d'un moteur de recherche comme google ou bing… c'est véritablement entre les deux ! ;-) C'est un moteur de sites !

Sur un moteur de recherche, Boursorama ou ABCBourse s'ajoute tout seul ou il doivent être présent sur d'autres sites pour être indexés… A mon avis rien ne se fait tout seul à proprement dit..

De plus, la recherche se fait également sur toute la partie html de la page soumise, j'ai un bot qui récupère les informations toutes les 48h00 pour les mettre à jour et les utiliser dans les résultats d'une recherche.

A+

 

[patapon87]

Je suis désolé mais je ne comprends toujours pas ce qu'est un moteur de site....

 

[Leonick]

facebook est en train de chuter, j'ai donc fais une recherche "action facebook" pour trouver des sites qui en parlent et sur les 3 premiers résultats donnés par ton moteur, je n'ai rien trouvé qui en parlait :cry:

 

[lecouti]

A la limite, peu importe le nom. Si j'ai bien compris ton fonctionnement, les sites liés à la finance s'inscrivent comme pour un annuaire. Ensuite une fonction recherche permet à partir d'une requête de les retrouver comme dans un moteur et dans un ordre qui dépend des critères que tu as mis en place. Le problème c'est de savoir à quoi il servira. De plus, il faut veiller aux catégories. Exemple: sur requête crédit j'ai 6 sites qui s'affichent dont 3 sur le...forex

 

[yule]

Re,

Dur dur vous êtes... ou il y a passablement de mauvaise foi... Vous allez trop vite en besogne !!

En gros mon site dès sa sortie devrait être comme google avec 60 millions de résultats déjà précuit et prêt à être servi..

Comme il vient d'être mis en ligne le week-end dernier, j'ai eu le temps d'envoyer des millions de mails pour inviter les webmasters à ajouter leurs sites pour autant que la finance y soit traité... Molo molo !!!! Le webmaster doit ajouter son site..
Demandez à un nouveau né de marcher et de coder votre site..juste pour voir hahahaha !! Je crois que certain devrait décrocher du net.. plus assez de recul..

@Leonik, soit tu fais exprès ou soit c'est vendredi et tu en peux rien... Un moteur de sites n'est pas un moteur de recherche ou de news... et laisse le temps aux webmasters d'ajouter leurs sites pour avoir plus de résultat

@ Lecouti, oui tu es celui qui à le mieux compris sur les derniers messages de ce post ;-) sauf pour les catégories... Il n'y a pas de catégories, plus il y aura de sites inscrits et plus les résultats seront pertinent, comme déjà expliqué, la bd est maigre, c'est avec le temps qu'il s'améliorera et que les résultats seront bien plus pertinent. Pour la raison d'être du site, elle simple pour moi, google ou bing ne sont pas pertinent sur des courts termes au contraires des longs termes ou ils cartonnent ;-), ce que j'essaye de faire et dans un thème spécifique, c'est de proposer de la pertinence sur des courts termes dans la finance (mais il faut bien sur plus de sites dans la bd..je le redis avec qu'on me repose la question rire)


Malgré tout on s'échappe de ma demande initiale sur la pertinence...
Bon week-end à vous
Yule

 

[Leonick]

Malgré tout on s'échappe de ma demande initiale sur la pertinence...

ben justement, non : je cherche des infos sur les actions facebook, je m'attend donc à trouver un minimum de pertinence dans les réponses

@Leonik, soit tu fais exprès ou soit c'est vendredi et tu en peux rien... Un moteur de sites n'est pas un moteur de recherche ou de news... et laisse le temps aux webmasters d'ajouter leurs sites pour avoir plus de résultat

la mise sur le marché date de mai dernier et dont on entend quand même parler depuis facilement 1 an
donc soit tu n'as pas eu le temps de crawler suffisamment de sites, mais dans ce cas, pourquoi venir le présenter ici ? soit le moteur est mal développé :?

 

[lecouti]

En fait, Leonick il ne crawl pas les sites comme les moteurs. Les webmasters inscrivent leur site, ce qui prend forcément du temps.

 

[yule]

En fait, Leonick il ne crawl pas les sites comme les moteurs. Les webmasters inscrivent leur site, ce qui prend forcément du temps.

Exact, et je ne crawls que la page soumise du site... (pas l'entier du site soumis, le but n'est pas de refaire un google...)

A+

 

[patapon87]

Malgré tout on s'échappe de ma demande initiale sur la pertinence...

Je ne vois pas comment tu pourras classer les sites : il est assez simple de pouvoir se positionner sur le nom que l'on désire et tu devrais avoir 15 sites qui auront le même scrore pour un mot clé concurrentiel

 

[yule]

Je suis désolé mais je ne comprends toujours pas ce qu'est un moteur de site....

Explication sommaire du moteur de sites avec wikipédia (je dis sommaire car je sens que je vais me faire râper dessus rire..)

Moteur de recherche (google, bing, etc..)
crawl le web et est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes

Annuaire
Un annuaire web est un site web proposant une liste classée de sites Web.
Le classement se fait typiquement dans une arborescence de catégories, censée couvrir tout ou partie des centres d'intérêt des visiteurs. Chaque catégorie contient :
 des sous-catégories concernant des aspects plus pointus d'un sujet donné ;
 des hyperliens vers les sites agrémentés d'une description.

Métamoteurs
On désigne par multi-moteurs (ou plus rarement, « super moteur »9) une page web proposant un ou plusieurs formulaires permettant d'interroger plusieurs moteurs de recherche.

Moteurs de sites (Kolaoo, picorne…)
Fait en partie ce que propose un annuaire et ce que propose un moteur de recherche avec son indexation, crawl. C’est un doux mélange entre un annuaire et un moteur de recherche pour favoriser les recherches sur des termes courts sur une parties des informations fixes des sites soumis et des informations crawler tous les 48h00

A+

 

[yule]

Malgré tout on s'échappe de ma demande initiale sur la pertinence...

Je ne vois pas comment tu pourras classer les sites : il est assez simple de pouvoir se positionner sur le nom que l'on désire et tu devrais avoir 15 sites qui auront le même scrore pour un mot clé concurrentiel

Non justement, le terme recherché est multiplié comme suit

Titre = 2.25
Description = 1.25
Mots-clefs = 1.05
url (url) = 1.50
Texte html = 1.10

Il n'y aura pratiquement jamais la même valeur pour les différents sites concernés, d'ou ma requête sur votre avis et sur le poids à donner selon les critères ;-)
A+
Steve

 

[Leonick]

Explication sommaire du moteur de sites avec wikipédia (je dis sommaire car je sens que je vais me faire râper dessus rire..)
Moteur de recherche (google, bing, etc..)
crawl le web et est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes

donc concrètement

je ne crawls que la page soumise du site... (pas l'entier du site soumis, le but n'est pas de refaire un google...

veut bien dire que tu n'es pas un (vrai) moteur de recherches

Moteurs de sites (Kolaoo, picorne…)
Fait en partie ce que propose un annuaire et ce que propose un moteur de recherche avec son indexation, crawl. C’est un doux mélange entre un annuaire et un moteur de recherche pour favoriser les recherches sur des termes courts sur une parties des informations fixes des sites soumis et des informations crawler tous les 48h00

même pas, vu que tu dis ne crawler des informations que de la page soumise
il y a de quoi faire plus performant que gg dans des niches restreintes, mais pour l'instant, gg reste encore largement plus pertinent :wink:

 

[yule]

veut bien dire que tu n'es pas un (vrai) moteur de recherches

Justement ! Je n'ai jamais dit être un moteur de recherches mais un moteur de sites ! c'est toi qui t'obstine avec les résultats trouvés en comparaison avec des moteurs de recherches

il y a de quoi faire plus performant que gg dans des niches restreintes, mais pour l'instant, gg reste encore largement plus pertinent :wink:

Je te l'accorde et j'ai une autre manière de penser, je ne cherche pas à détrôner google, c'est une alternative qui peut plaire ou ne pas plaire pour un thème spécifique, mon idée est bien mon statique qu'un annuaire et et peut-être trop loin des moteurs de recherches, après on peut débattre sur la nécessité d'exister ou pas et il y aurait 100 millions de sites en moins dans la base de google.. En résumé je n'invente rien, je propose et j'avance en conséquence, c'est pas un site pro qu'on se l'accorde et je ne vends pas la chose ainsi.. C'est pour cette raison que je demande un peu de recul ;-) Il y en a qui créent pour faire du buzz et des $$ et d'autres pour le plaisir et sans plus, il faut savoir ce qu'on juge ;-)
A+
Steve

 

[zeb]

Ouep j'avais bien compris le concept de ton site a la base. Il y a toutefois un truc qui risque de coincer justement avec l'effet "FB" don parle Leonick car la home des sites inscrits (et qui est crawlé toutes les 48H pour servir de "source de recherche" via ton moteur interne) ne contient pas forcement tout ce qui pourrait "définir" ou "représenter" le site inscrit.
Ne serait il pas possible de proposer entre une et 10 url représentatives (peut importe le nombre mais plusieurs) afin que ton robots puisse au moins avoir en base un échantillon "large" de ce que propose les sites inscrits ?

Sinon a titre perso ton ordre de priorité me semble cohérent, pour ce qui est des coefs que tu applique il est difficile d'évaluer leur pertinence, une recherche avancé pourrait peut être proposer une interface où on a le choix des coefs et de leur valeur ....

Ton idée est en tous cas intéressante, pour avoir un site (éditorial) qui comprend un annuaire noyé dedans (c'est donc un thématique), j'avais pour projet d'incorporer les sites inscrits à la recherche interne, c'est d'ailleurs pour cela que je te demandais si tu avais d'autre thèmes. Envisage tu de développer un module qui pourrait être incorporé dans un site tiers ? ou partagerai tu ta technologie ?

 

[Leonick]

Justement ! Je n'ai jamais dit être un moteur de recherches mais un moteur de sites ! c'est toi qui t'obstine avec les résultats trouvés en comparaison avec des moteurs de recherches

oui, mais franchement, ce qui a fait le succès de gg, c'est quoi ? c'est d'envoyer l'internaute directement sur la page qui l'intéresse et pas sur la page d'accueil du site ou d'une catégorie. Imagine si pour toutes les recherches ayant trait au positionnement on était envoyé sur la page https://www.webrankinfo.com/forum/ :roll:

 

[zeb]

Imagine si pour toutes les recherches ayant trait au positionnement on était envoyé sur la page https://www.webrankinfo.com/forum/ :roll:

Olivier serait deux fois plus riche :lol: :wink:

 

[lecouti]

oui, mais franchement, ce qui a fait le succès de gg, c'est quoi ? c'est d'envoyer l'internaute directement sur la page qui l'intéresse et pas sur la page d'accueil du site ou d'une catégorie. Imagine si pour toutes les recherches ayant trait au positionnement on était envoyé sur la page

C'est vrai que ton système gagnerait en pertinence si tu permettait aux webmasters d'inscrire une page profonde (ou plusieurs).

 

[Leonick]

Imagine si pour toutes les recherches ayant trait au positionnement on était envoyé sur la page https://www.webrankinfo.com/forum/ :roll:

Olivier serait deux fois plus riche :lol: :wink:

pas vraiment, car ne voyant pas directement dans la page ce qu'ils recherchent, les internautes partiraient immédiatement (moi le premier)

 

[zeb]

lol oui mais qu'est ce qu'il prendrait au CPM ... "positionnement" c'est limite kamasutra ça devrait cartonner

 

[Leonick]

même pas, car souvent, si tu ne trouves pas, presque immédiatement, dans la page d'arrivée, ce que tu cherchais, tu repars dans les serp, alors que si tu trouves, tu vas peut-être suivre les liens des sujets connexes (et donc voir plus de pages)

 

[yule]

HEllo,

Passablement de bonne idées dans vos derniers messages ! Effectivement il y a beaucoup à faire et pleins de soluces peuvent y être adaptées.. après faut avoir le temps et les connaissances.. ca c'est autre chose ;-)

POur le fait de crawler plus en profondeur ou au moins une page en plus me plaît, simplement le crawl est lourd en ressource, faut que je regarde cette partie et que j'analyse ce que je peux faire.. par contre crawler par défaut x pages seraient plus "casse-gueule" car je ne suis pas certain que toutes les pages d'un sites soumis concerne que la finance.

Après il y aurait aussi le fait d'indexer les flux rss pour les utiliser dans la recherche, pour le moment, je ne fais qu'afficher 5 items... eh bon tu es presque obliger de crawler régulièrement voir toutes les 10min pour un flux... argh...

Enfin il y a de quoi faire, tu peux même faire une grosse alternative entre les gros moteurs et les bons annuaires.. mais la c'est plus un truc de pro..
A+
Yule

 

[zeb]

le crawl est lourd en ressource

Il faudrait des détails sur la techno que tu utilise pour cela car si crawler plus de page représente un souci en l'état, il faut déjà se dire qu'un annuaire bien garni présentera le même souci (plus tard) même si il ne prend en compte qu'une page. Mais il y a tjs des solutions ...
Dans le cas présent il me semble que penser "cluster" serait pas forcement idiot

seraient plus "casse-gueule" car je ne suis pas certain que toutes les pages d'un sites soumis concerne que la finance.

Tout comme un annuaire pur la modération est de mise pour éviter ce genre de déboires dit toi bien qu'en plus une page "banane" dans "finance" ne sortira surement pas donc l'impact recherche devrait être limité tout en sachant que l'impact ressource lui n'est pas a négliger ce que la modération devrait résoudre.

fait d'indexer les flux rss ... crawler régulièrement voir toutes les 10min pour un flux... argh...

L'idée des flux est bonne mais je pense que chercher a coller a une réalité et norme googlienne en cherchant le temps réel est une erreur. Un internaute comprendra facilement qu'il n'a de la nouveauté que toutes les 24H si en retour il a la qualité et le ciblage thématique. De plus, en repensant a la techno de crawl, si les crawl sont justement espacés (étalés) sur un cycle de 48 heures, il y a de la nouveauté en permanence même si c'est pas top synchro avec la réalité de publication. Au pire Quid d'un système "ping" pour palier a ce souci (en cas de techno distribuée notament)

grosse alternative entre les gros moteurs et les bons annuaires

C'est ce qui fait l'originalité a mon avis de ton idée, et c'est en ce sens que distribuer cette technologie pour la mettre a disposition de sites tiers peut être un plus car tu propose réellement une recherche sur un réseau thématisé tout en offrant un service de référencement a côté donc une vraie visibilité.

Je répond a ton mp plus tard, je suis de mariage dans qques heures, mais je trouve ton système ++. Il n'a rien de très "nouveau" pour moi si ce n'est le concept de constituer une base de données via les crawls car j'utilise déjà ce style de script de recherche sur mon propre CMS (fulltext voir like ou regexp sur mot dans l'ordre en fonction des données qui sortent) mais je pense que cela peut être une idée a creuser car outre le fait que c'est pas non plus très courant, ça a le mérite d'offrir un service qui peut ouvrir une forme de marché novateur tant sous l'angle SEO que recherche.

 

[Leonick]

le gros problème c'est de faire une recherche sur des données non structurées et, surtout, sur du code html. Là, les connaissances dans le traitement des langues naturelles seront une nécessité.
après, mettre une pondération sur le ndd et l'url risque de faire passer à la trappe nombre de sites pour lesquels aucun seo n'a eu à travailler mais pour lesquels le contenu peut être super intéressant.
par contre, je pense qu'il pourrait être bien que tu affectes un coefficient de pondération sur la "qualité d'expertise" que tu accordes au contenu de tel ou tel site

 

[finstreet]

le gros problème c'est de faire une recherche sur des données non structurées

le gros gros problème c'est de ne faire des recherches que sur des sites qui s'inscrivent sur des annuaires Un peu comme si tu faisais un site sur les comédiens où seuls les inconnus s'inscriraient faute d'être connus. Ca... limite.

Ca coute quoi de rajouter une centaine de sites Finance ? 1h de taf et encore

 

[yule]

@zeb et Leonik

Bien cool tout ça, mais pour moi vous êtes loin de ma planète "connaissance prog etc.." rire, je reste sur des connaissances de base, ça l'air bien intéressant mais bien au-dessus de mes compétences.. (comme déjà dit, rien est pro, j'ai juste plaisir à mon niveau avec mes connaissances..)

le gros problème c'est de faire une recherche sur des données non structurées

le gros gros problème c'est de ne faire des recherches que sur des sites qui s'inscrivent sur des annuaires Un peu comme si tu faisais un site sur les comédiens où seuls les inconnus s'inscriraient faute d'être connus. Ca... limite.

Ca coute quoi de rajouter une centaine de sites Finance ? 1h de taf et encore

Alors pour une heure voir 2... pas de soucis pour moi.. Néanmoins, il me semblait qu'on ne peut pas ajouter des sites à l'insu des webmasters ? Je me trompe ou c'est un non dit ??
Selon toi, je pourrais ajouter des sites dans ma base sans l'accord des titulaires des sites ? C'est bien ce que tu me dit ci-dessus ?

A+

 

[Leonick]

les ajouter, ça ne devrait pas poser de problème, mais les crawler, là, c'est une autre histoire...

 

[finstreet]

Alors pour une heure voir 2... pas de soucis pour moi.. Néanmoins, il me semblait qu'on ne peut pas ajouter des sites à l'insu des webmasters ? Je me trompe ou c'est un non dit ??

Entre rajouter un lien d'un site finance sur un site porno et rajouter un lien d'un site finance sur un annuaire de finance, y'a un monde. Ca sera plus pertinent.

 

[yule]

Hello

Ok j'en prends note mais ajouter un site lié à la finance et ne pas pouvoir les crawler ne me sert pas à grand chose...

A+
Yule

 

[finstreet]

Hello

Ok j'en prends note mais ajouter un site lié à la finance et ne pas pouvoir les crawler ne me sert pas à grand chose...

A+
Yule

Mais bien sur que tu peux le crawler. Il faut juste laisser la procédure pour expliquer aux sites comment ne pas être crawlés.

 

[patapon87]

les ajouter, ça ne devrait pas poser de problème, mais les crawler, là, c'est une autre histoire...

Il est interdit de crawler un site (ou une page) ???

 

[Leonick]

les ajouter, ça ne devrait pas poser de problème, mais les crawler, là, c'est une autre histoire...

Il est interdit de crawler un site (ou une page) ???

tu dois suivre la directive donnée par robots.txt et moi, par exemple, j'interdit tout sauf une dizaine de gros moteurs francophones.
sans compter qu'un site, c'est une base de données et qu'à ce titre il est protégé et que son exploration automatisée est interdite sans autorisation

 

[finstreet]

Oui donc on est loin de l'interdiction systématique... mais par contre, étudier le robots.txt est effectivement plus que conseillé

 

[patapon87]

Dernier HS sur le sujet mais ça m'a interpellé :
Je n'étudie pas la source de tout un site, juste un script qui se connecte à une page de deux site une fois par jour, le robot.txt est

User-Agent: *
Allow: /

et

User-agent: *
Disallow:

Suis-je dans l'illégalité ? (pour le coup aucun problème avec la notion de base de donnée)

 

[yule]

Hello,

Finalement , le généraliste se porte mieux qu'un site dédié à une rubrique spécifique, donc avec les années je m'avoue vaincu sur mon écart, qui n'essaye rien n'a rien.... Picorne est dead... mais pas moi et ni mon projet initial ;-)

Çà faisait un petit moment que je n'étais venu... j'ai pris plaisir à lire vos articles sur le thème de ce forum et j'en conclu que le flou est toujours d'actualités sur ces satanés annuaires et moteurs :mrgreen: Duplicate, sans intérêt, pourquoi pas si c'est bien fait etc... Google et son dicta est toujours là, qu'on le veuille ou pas, on y passe du moment dessus.. une addiction ? une habitude ? Pas facile de l'avouer... N'empêche que c'est beau de voir des nouveaux projets, de se faire plaisir, de mettre en ligne une feuille blanche et s'éclater en y donnant vie, ça peut plaire, déplaire mais le but est de prendre plaisir dans ce qu'on fait, être utile parfois et surtout partager son plaisir.

Bonne bonne et à mon prochain passage
Yule