Outils of-scraper désormais avec prise en charge DRM

graytin6

Lurker
Inscrit
1 Avr 2023
Messages
21
Réactions
0
ofscraper
ofscaper est un fork de onlyfans-scraper avec des fonctionnalités et corrections supplémentaires.
Beaucoup de ces changements concernent la gestion des fichiers. Par exemple avec les modifications apportées tu peux contrôler quels types de fichiers sont téléchargés, et avoir plus de contrôle sur la destination finale de ces fichiers. On a aussi ajouté le support des fichiers de métadonnées.
Pour ceux qui utilisent actuellement le script de digitalcriminals. On utilise la même structure user_data.db. Donc ces fichiers sont totalement compatibles. À condition d'utiliser un réglage correct pour les métadonnées dans ton config.json. Ton user_data.db peut être utilisé pour sauter les fichiers déjà téléchargés.
Exécution
Code:
ofscraper
Te permet non seulement de scraper du contenu, mais aussi de liker/unliker en masse
Ça te permet aussi de gérer la majeure partie du programme. Par exemple changer de profil, changer les paramètres de config, ou réinitialiser le fichier d'auth
Pour les utilisateurs à l'aise avec la ligne de commande, on offre la possibilité de renforcer l'automatisation et de sauter tous les menus
Par exemple une commande que j'utilise
Code:
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Qui est censée scraper uniquement tout le contenu du mur et le contenu payant. Uniquement pour les comptes payants actifs, avec le renouvellement désactivé
Il y a aussi un daemon disponible
Code:
--daemon {minutes}
Changements
Beaucoup des changements se trouvent sur changes.md
Ceux que je préfère sont cependant
- scraper les messages, et le contenu payant de modèles spécifiques
- filtrer par type de compte, statut d'abonnement, et statut de renouvellement
- recherche floue lors de la sélection du modèle
- possibilité de sélectionner un type spécifique de posts à télécharger
- support du daemon en arrière-plan
L'idée est d'avoir un programme très simple. Pour l'instant le plan est de ne supporter que onlyfans, vu qu'il existe d'autres scripts qui peuvent supporter fansly par exemple.
Liens
Repo
Pypi
 
J'ai rapidement essayé ce script, et il fonctionne super bien. Par contre j'ai rencontré quatre petits bugs :
D'abord j'ai eu run failed with exception: 'text' pour un seul profil, résultant en aucun téléchargement du tout. Je n'ai cependant pas pu reproduire ça sur d'autres profils.
Code:
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Le deuxième bug c'est que le script, pour une raison quelconque, saute un seul fichier lors du scraping. Essayer avec et sans --dupe ne change rien. Cependant, relancer le scrape 1 ou 2 fois de plus sur le même profil semble corriger ça et le fichier mystérieusement sauté est téléchargé. Je ne sais pas trop de quel fichier il s'agit, malheureusement.
Le troisième bug c'est que le script ne télécharge parfois aucun contenu archivé d'un profil. --dupe ne change rien, ni le fait de sélectionner uniquement le contenu archivé. :SadgeCry:
Code:
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Et enfin, le quatrième bug c'est que les avatars sont téléchargés sans extension de fichier. Pas important pour moi, mais je me suis dit que ça valait le coup de le partager au cas où quelqu'un en aurait besoin. 👍
À part ces quatre petits bugs, le script fonctionne absolument parfaitement et est super facile à utiliser. Merci du partage ! :MLADY:👍
 
Merci pour les mots gentils, et aussi les rapports de bugs sont très utiles
 
J'ai reçu beaucoup d'aide pour améliorer ce script, comme dans le post cité
Avec la sortie de la 1.82
Je me suis dit que j'allais venir voir ici si certains bugs avaient été réglés
Avec ça, j'ai pu corriger plein de problèmes des versions précédentes et mettre en place des moyens d'améliorer le script.
1. L'erreur de texte peut vouloir dire que le fichier de config n'est pas correct, ou que la réponse d'onlyfans n'a pas la valeur attendue. Comme ça n'arrive qu'avec un modèle spécifique, c'est probablement le second cas. J'ai remanié le script pour mieux gérer tous les différents types de réponses que renvoie onlyfans. J'ai reçu des rapports d'erreurs similaires, mais la plupart semblent avoir disparu avec les mises à jour suivantes.
2. Les téléchargements échoués viennent très probablement du côté d'onlyfans, parfois ils envoient juste une mauvaise réponse. Les versions précédentes étaient censées réessayer la requête, mais ce n'était pas bien implémenté. Avec la nouvelle version j'ai corrigé ça. Donc maintenant chaque téléchargement sera tenté 5 fois, avec une pause entre les tentatives. J'espère que ça réduira grandement ou éliminera les téléchargements sautés.
3. Là je ne suis pas sûr. Il y a de bonnes chances que ce soit réglé avec tous les changements apportés au script.
4. J'ai implémenté un correctif pour ça dans la 1.82
 
J'ai retiré la 1.82 à cause d'un bug que j'avais introduit dans cette version
la dernière version est la 1.87
 
Bonne nouvelle
ofscraper 1.95 supporte maintenant le contenu DRM
 
Merci, hornyone ! Je ne m'étais jamais mis à digitalcriminal et je téléchargeais le contenu à la main... J'ai testé ton script et ça m'a vraiment simplifié la vie.
 
J'ai ajouté une fonctionnalité bêta
C'est un moyen de visualiser rapidement les infos de la db, avec les infos récupérées via l'api
Ça fait partie de la prochaine release 2.2
Il y aura probablement un moyen de télécharger les posts individuels débloqués de cette façon, en plus de pouvoir le faire directement en ligne de commande
dp-Y8eWwsgY.png
 
Je ne sais pas si je fais quelque chose de travers ou s'il y a un moyen de faire ça, mais le scraping des messages DRM n'ajoute pas la qualité au nom du fichier (ex. _source). J'ai pas encore essayé avec les posts vu que j'utilise l'outil que pour les messages jusqu'à présent.
 
Seulement certains fichiers ont _source ajouté
Ça dépend de l'url que renvoie l'api
 
Je ne crois pas que ce soit vrai. Parce que j'ai utilisé le scraper de sim0n00ps pour les mêmes messages et il a renvoyé avec _source ajouté, alors que le tien non, pour les mêmes fichiers.
 
Ouais, j'utilisais jusqu'ici ce que disait l'url d'origine
J'ai jeté un œil rapide à son code et il ajoute ça au nom du fichier
folder + path + "/" + filename + "_source.mp4"
Certains fichiers l'ont dans l'url, mais c'est pas constant
Je vais probablement faire un truc similaire pour éviter la confusion
 
J'utilise ofscraper 2.4.5 sur macOS. Il a bien téléchargé tout ce qu'il y avait dans mes achats... sauf que la vidéo DRM n'est pas correctement téléchargée. Elle télécharge la vidéo DRM, mais elle ne peut pas être ouverte. QuickTime de macOS (le logiciel utilisé pour lire les mp4 sur macOS) dit : "The file isn't compatible with QuickTime Player.". J'ai aussi essayé d'uploader ce fichier sur gofile pour voir s'il se lirait là-bas, et non plus.
J'utilise ça pour mp4decrypt : https://formulae.brew.sh/formula/bento4
Et j'ai aussi pointé ma config vers l'exécutable ffmpeg (j'utilise déjà ffmpeg régulièrement)
En inspectant les métadonnées de la vidéo DRM téléchargée qui ne s'ouvre pas... j'ai remarqué que la différence entre elle et les autres vidéos non-DRM, c'est que celle en DRM n'a aucune info sur les dimensions, le codec, etc. Il lui manque ces métadonnées, ce qui pourrait expliquer pourquoi elle est cassée chez moi. Des idées ?
 
Aussi, comment je fais pour retenter les téléchargements de contenu déjà téléchargé ? J'ai remarqué que quand je relance sur les messages d'un modèle, ça ne télécharge pas ceux que j'ai déjà téléchargés avant ?
 
Le problème vient de l'extension
Certains lecteurs vidéo arrivent à contourner ça.
D'après le discord, vlc en fait partie
mais renommer les fichiers en .mkv ou
retélécharger avec --dupe réglera le problème
https://github.com/datawhores/OF-Scraper/issues/85
tu peux lancer
ofscraper --dupe
Ça va sauter la vérification des doublons et retélécharger tous les fichiers
 
Je suis vraiment désolé.
tu peux m'expliquer ça comme à un enfant de 5 ans, comment utiliser ça ?
 
J'ai retéléchargé le fichier DRM, ça a marché et tout fonctionne. Merci pour ton travail !
 
Salut, j'ai téléchargé une vidéo DRM payante (message) et j'aimerais la retélécharger, comment faire ? Le fichier est marqué comme téléchargé dans la DB.
 
Retour
Haut