Scraper

Notre petit périple au pays du Blackhat nous a conduit à  voir comment créer un lien avec un site populaire au moyen d’une injection d’URL. Je vous ai également parlé de ces spammeurs de liens qui gagnent beaucoup d’argent grâce à  des techniques de programmation sophistiquées. Et finalement, je vous ai fait une petite démonstration sur l’art de spammer subtilement Google. A ce jour, je n’ai d’ailleurs toujours pas été blacklisté chez eux sur le mot clé que je visais: spammeur. Comme c’est étrange, on nous aurait menti ou alors je travaille peut être chez Google ?

Après ces petites histoires qui nous ont tous bien amusé, je m’attaque à  un autre sujet qui se situe toujours dans la mouvance Blackhat: le scraping. Pour cela, je me ferai aider par un assistant dont on entend beaucoup parler en ce moment:
Sébastien Chabal, le fameux joueur de rugby qui fait le désespoir des coiffeurs.

Le scraper est celui (la personne ou le programme) qui fait le scraping. Je vais expliquer en quoi cela consiste un peu plus tard.
Dans mes autres articles, je me suis focalisé sur la manière de populariser mes sites. Néanmoins, lorsque je crée 1000 sites, si je n’ai pas trop de problèmes à  les faire connaà®tre, j’ai tout de même un souci de taille: où vais-je donc trouver tout le contenu ?
Car pour être rentable, je dois créer des dizaines, voir même des centaines de pages par site. En clair, il me faut des millions de pages à  faire digérer par Google.

Je pourrai engager un indien qui m’écrirait des dizaines d’articles pour quelques dollars, mais cela demande du temps: chercher, poster, négocier, payer, uploader, etc. Bref, cela finirait par me coà»ter un peu cher et mon ROI ne serait certainement pas atteint.

Finalement, comme je m’y connais un peu en programmation, j’ai décidé de faire travailler un peu ma machine, c’est tellement plus simple et surtout moins fatiguant.
En cherchant un peu, je me suis rendu compte de deux choses.

Tout d’abord, tous les jours, des milliers de personnes blogguent des petites bafouilles sur leur vie, leur petites misères et leur passion. Dans ce gigantesque amas d’écrits de plus ou moins bonne facture, je dispose d’un énorme vivier de contenu extrêmement dynamique que je vais récupérer pour mon propre intérêt.

Ensuite, tous les moteurs de recherche ont leur rubrique d’actualités qui contient également une montagne d’écrits qui m’intéressent (On dira plutôt qui intéresse notre ami Google). Maintenant, on pourrait se demander pourquoi ne pas prendre tout simplement des résultats conventionnels de requêtes que l’on mettra en forme.
Non, car les blogs et les actualités évoluent plus rapidement que les bêtes SERPS et risque de beaucoup plus intéresser Google, toujours avide de nouvelles informations et prêt à  surgir à  chaque mise à  jour de mon site.

Donc, pour résumer, moi le scraper, je vais aller piquer du contenu chez les bloggeurs et dans les rubriques d’actualité. Je vais ensuite tout remettre en forme et ajouter des Adsense ou des liens d’affiliation dans les pages ainsi générées. C’est cela le scraping: voler les informations des autres pour construire son propre site.

En guise de démonstration, je vous ai concocté rapidement une petite page scrapée sur notre chevelu national: l’inénarrable Sébastien Chabal.

J’ai commencé par mettre une petite photo sympa, histoire d’amadouer mes « victimes ». Ce sera d’ailleurs la seule partie statique, tout le reste étant généré à  la volée. Ensuite, on trouve un bloc texte, plus ou moins incompréhensible dans lequel on retrouve Sébastien. Ces machins là  viennent de mon scraping sur les blogs. Je n’ai pas trop retravaillé le texte, d’où les caractères cabalistiques et puis les quelques textes étrangers qui se sont immiscés, mais peu importe ce qui compte, c’est de donner à  manger à  Google. La page se termine sur des nouvelles scrapées sur Yahoo.

Voilà , pas mal, non ? En fait, c’est nul à  crever, mais c’est juste une démonstration pour que toi, mon troll préféré, comprennent comment s’y prend le scraper; mais sache qu’il n’y a que quelques lignes de codes vite programmées entre deux bières.

Il y a beaucoup de façon d’améliorer la bête. Tout d’abord, je peux récupérer une base de données contenant des expressions toute faites, dotées d’une sémantique irréprochable. Ensuite, j’y insère mon mot clé, vous savez le joueur de rugby qui casse des mâchoires. Eventuellement, je fais quelques retouches en utilisant des synonymes. Je fais une extraction sur une dizaine d’expressions. Le sens n’aura certainement ni queue ni tête (hum, vous pouvez être parfois très surpris du résultat), mais Google n’y verra rien du tout. Après, je peux insérer une petite vidéo toujours récupérée sur Google, histoire de cosmétiser la page.

Et finalement, j’insère sur la page quelques liens comme suit:
sebastien-chabal-rugby-02.php, sebastien-chabal-coupe-monde-03.php, chabal-sebastien-joueur-04.php qui à  chaque fois vont être une page différente dont le contenu sera scrapé comme pour la première page. La seule différence notable est que pour l’index, je scrape seulement sur le mot clé primaire, ici « chabal », et que plus je m’enfonce dans le site, et plus je serai précis: je cherche à  me positionner sur « sebastien chabal », puis sur « sebastien chabal rugby », etc. Au total si la niche est suffisamment riche, alors je peux espérer créer facilement des milliers de pages à  la volée.

Pour terminer, on va encore me soulever la question de l’éthique, de la morale, des droits d’auteurs, du contenu dupliqué, etc.

Sur le fond, il n’y a franchement rien de moral, c’est clair: on fait de l’argent grâce au travail des autres. Je ne m’étendrai pas sur le sujet, le scraper a ses principes, ses objectifs et les moyens qu’il met en oeuvre pour y arriver. La technologie permet certes d’engranger rapidement des bénéfices conséquents, mais à  long terme, je doute de la viabilité de ce qui ne sera jamais construit sur un business model cohérent.

Maintenant, comme le disait assez justement Sam: il n’y a rien de personnel dans tout cela.

Spammeur

Dans l’hypothèse où je serai un spammeur cherchant à  bien me positionner sur Google, j’aurai à  ma disposition plusieurs possibilités. Je vous propose ici une petite démonstration.

Tout d’abord, je pourrai me contenter de faire comme un spammeur de liens, à  savoir, générer des tonnes et des tonnes de liens vers mon site. Mais à  la longue, il y a beaucoup de chances que je me fasse éjecter de Google, et perdre ainsi tous le bénéfice lié à  mon activité de spammeur. 10000 nouveaux liens par jour, c’est bien, mais impossible de ne pas se faire repérer.

Une autre alternative plus discrète, qui demande moins de travail est de bourrer ma page du mot clé qui m’intéresse. Mais ce n’est pas non plus sans risque. Il faut faire preuve de subtilité.

Pour ce faire, je commence par utiliser un générateur qui me crée un petit texte tout simple comme celui-ci par exemple:

Spammeur

« Bienvenu sur ce site de spammeur. Ceci est du spam généré par un logiciel. Le but de ce texte est de vous montrer que je suis un spammeur. Ce texte ne contient que du spam. Mon site de spammeur va surement être banni par Google. J’ai copié ce spam partout sur mon site. Mes pages sont remplies de propos de spammeur. Vous ne pouvez pas imaginer à  quel point je spam. »

L’inconvénient de ce genre de texte, c’est qu’il est, somme toute, assez facile à  détecter par Google.

On peut essayer de modifier la façon dont il est présenté, grâce à  nos entêtes favorites (ou presque):

Entête 1

Ce site de spammeur ne parle que du spam

Entête 2

Les spammeurs ne devraient pas exister, pas plus que le spam

Ce qui est intéressant ici, c’est que l’on a amélioré la présentation en scindant les propos du spammeur en paragraphes, ce qui casse l’aspect automatique du texte et le rend beaucoup plus humain, donc mieux perceptible pas notre ami Google.

Après, je peux noyer mon mot clé dans des pseudos commentaires.

Commentaires (5)

Charles:
Tu n’es qu’un spammeur

Kathy:
Mais puisque je vous dis que vous n’êtes qu’un spammeur

Elizabeth:
Spam ou spammeur, telle est la question

André:
Franchement, je ne savais pas que tu étais un spammeur.

Philippe:
J’ai vu ton site de spammeur, franchement, il est bien.

Honnêtement, ce n’est pas de ma faute, si mes lecteurs sont eux même des spammeurs; j’ai donc peu de chance d’être banni.

Et finalement, j’essaye de faire passer mes élucubrations de spammeur dans une liste:

– Malgré ce que vous pensez, je ne suis pas un spammeur.
– Ici, je casse la liste pour ne pas me faire repérer.
– Spammeur, spam, spammer, spammeurs.
– Texte crée par un spammeur.
– Et voilà , une autre cassure.

La conclusion de cette petite démonstration vous sera prochainement communiquée.

Lundi 14 avril, 14:30 – Nous sommes quelques mois plus tard et je suis désormais 3ème.
Lundi 13 aoà»t 2007, 20:18 – Au cas où vous l’auriez pas remarqué, je cherchais à  me positionner sur le mot-clé « spammeur« .
Samedi 11 aoà»t 2007, 10:34 – 5ème sur Google. Mission réussie: je reste sur la première page des SERPS, et Google ne m’a même pas viré.
Mardi 10 juillet 2007, 11:15 – Mes premiers résultats: 7ème sur Google. Ce n’est pas mal, au vue de la rude concurrence.
Samedi 7 juillet 2007, 11:00 – La page a été indexée par Google.
Jeudi 5 juillet 2007, 18:12 – Le snippet du site, l’extrait de la page affiché en descriptif du résultat de recherche, vient d’être modifié par Google. C’est rapide, il n’a fallu que trois heures.

Injection d’URL

Ce qui est amusant effrayant avec Google, c’est qu’il a le chic de vous dévoiler un certain nombre de failles présentes sur les sites web; failles que certains vont, bien sà»r, s’empresser d’utiliser.
L’objet de mon article concerne l’injection d’URL, une technique blackhat utilisée pour obtenir des liens monodirectionnels depuis des sites présentant une certaine erreur de programmation.

La technique est toute simple: sur un certain nombre de sites, on trouve souvent un petit formulaire de recherche d’information. Lorsqu’une requête n’aboutit pas alors le script affiche un message d’erreur, avec parfois le contenu de la recherche.
C’est ce type de requête qui présente certains dangers et qui peuvent être exploités.

Il suffit de faire une recherche en insérant du code HTML et de voir ce qui s’y passe. Parfois, le code est interprété et donc affiché. Il suffit donc d’insérer dans le formulaire un bout de code HTML et d’observer le résultat. Si le script est bien fait, alors tout ce qui est HTML sera soit effacé, soit purement ignoré. En revanche, si le script n’est pas bien fait, alors le code HTML sera interprété !
Ce qui nous laissera l’opportunité de créer un lien monodirectionnel depuis ce site vers l’URL de notre choix.

Illustration: comme à  l’accoutumé, Google est notre meilleur ami, et nous cherchons des sites qui, potentiellement, pourraient présenter ce type de faille. Nous recherchons un site utilisant un script « search.php » dans l’URL avec comme résultats « results found for ».

Notez que l’on peut également utiliser « search.asp », « recherche.php », etc.

Le site trouvé, nous essayons d’insérer du code HTML dans la requête. Celui-ci par exemple:

<a href= »https://www.pagasa.net »>Pagasa</a>

Si cela ne fonctionne pas, alors il faut chercher un autre site; si cela marche, vous venez de trouver un script non sécurisé. Vous pouvez alors récupérer l’URL résultante et l’utiliser comme lien entrant vers le site de votre choix.

Maintenant, certains sites populaires présentent ce type de faille. L’impact d’un lien en provenance d’un tel site peut s’avérer redoutable d’un point de vue SEO. Et voici un exemple de ce qu’il est possible de faire grâce à  une injection d’URL.

Pour terminer, je dois dire que je ne suis pas un adepte du blackhat; ces techniques présentent certes un intérêt à  court terme mais ne durent jamais longtemps. Elles ont néanmoins l’avantage de mettre en évidences certaines problématiques de sécurité.