Bonjour à tous, j'espère que ma question correspond bien à la bonne catégorie 
Alors voilà, j'ai développé récemment un méta moteur (http://www.megadownload.fr) en m'inspirant de deux moteurs de recherche http://rapidlibrary.com et http://4megaupload.com qui sont 2 moteurs pour des célèbres hébergeurs de fichiers.
Techniquement, j'ai pu me débrouiller à peu près, et je ne suis pas mécontent du résultat. Mais reste une énigme, qui me turlupine depuis peu. C'est la question de l'alimentation de la base. Ces 2 moteurs voient leur base grandir chaque jour à une vitesse folle. Et j'ai beau réfléchir, je ne vois pas vraiment comment ils font.
Quelqu'un aurait-il une idée sur le comment de la chose?
Merci.

Alors voilà, j'ai développé récemment un méta moteur (http://www.megadownload.fr) en m'inspirant de deux moteurs de recherche http://rapidlibrary.com et http://4megaupload.com qui sont 2 moteurs pour des célèbres hébergeurs de fichiers.
Techniquement, j'ai pu me débrouiller à peu près, et je ne suis pas mécontent du résultat. Mais reste une énigme, qui me turlupine depuis peu. C'est la question de l'alimentation de la base. Ces 2 moteurs voient leur base grandir chaque jour à une vitesse folle. Et j'ai beau réfléchir, je ne vois pas vraiment comment ils font.
Quelqu'un aurait-il une idée sur le comment de la chose?
Merci.