Our reading robot
If you see TheCrewTalkBot in your server logs, it is us. Every morning, it reads the public job listings of airlines, airports, ground handlers, aerospace manufacturers and suppliers, and business aviation operators, so that our readers can find them and apply at the source.
What it does
- It identifies itself with the user agent
TheCrewTalkBot/1.0 (+https://thecrewtalk.com/bot). - It reads your robots.txt before anything else, once per run, and follows it, including
Crawl-delay. A path you disallow is never read. - It waits at least 1.5 seconds between two requests to the same website, and reads each job page once, then again only when the page changes or after two weeks, never every day.
- It only reads public pages and the public endpoints of recruitment platforms. It never logs in, never fills a form and never applies on anyone's behalf.
- Every job we publish names your company, shows the date we read it and links to your original posting, where people apply. A job that closes on your side leaves our site at the next run.
How to stop it
Add this to your robots.txt and the next run will skip your site entirely:
User-agent: TheCrewTalkBot
Disallow: /
You can also write to contact@thecrewtalk.com to remove one job, all your jobs, or your profile in our directory. We act on it within two working days.
En français
Si vous voyez TheCrewTalkBot dans les journaux de votre serveur, c'est nous. Chaque matin, il lit les annonces publiques des compagnies aériennes, des aéroports, des sociétés d'assistance au sol, des constructeurs et équipementiers, et des opérateurs d'aviation d'affaires pour que nos lecteurs les trouvent et postulent à la source. Il lit votre robots.txt avant toute chose et s'y tient, attend au moins 1.5 secondes entre deux lectures d'un même site, ne se connecte jamais à rien et ne postule pour personne. Chaque annonce publiée chez nous nomme votre société, donne la date de relevé et renvoie à votre annonce d'origine ; une annonce fermée chez vous sort de notre site au relevé suivant.
Pour l'arrêter : User-agent: TheCrewTalkBot puis Disallow: / dans votre robots.txt, ou un message à contact@thecrewtalk.com pour retirer une annonce, toutes vos annonces ou votre fiche. Nous le faisons sous deux jours ouvrés.