[RPG-MAKER.FR] Oniromancie: tout l'univers de RPG Maker en français

import requests, re, click, sys, json, os
 
def nicejson (txt):
        ntxt = ""
        deep = 0
        in_ = False
        for l in txt:
                ntxt += l
                if l == '"':
                        in_ = not in_
                if l == "{":
                        deep += 1
                        ntxt += "\n" + "\t" * deep
                elif l == "}":
                        deep -= 1
                elif l == "," and not in_:
                        ntxt += "\n" + "\t" * deep
 
        return ntxt
 
def l_subject (url, p=1):
        if p > 1:
                txt = requests.get (url + "&deb=" + str(p)).text
        else:
                txt = requests.get (url).text
 
        lsubject = []
        for t in re.finditer ("<a href=\"(index\.php\?page=forum&id=[0-9]*)\">([^<])*</a>", txt):
                _url = t.group(0).split('"')[1]
                name = t.group(0).split(">")[1].split("<")[0]
                lsubject.append ((_url, name))
 
        if len (lsubject) > 0:
                return lsubject + l_subject (url, p+1)
        else:
                return lsubject
 
def l_messages (url):
 
        ltxt = [""]
        i = 1
        while not "Aucun commentaire n'a été posté pour le moment." in ltxt[-1]:
                ltxt.append (requests.get (url + "&deb=" + str(i)).text)
                i += 1
 
        lmessage = []
        for txt in ltxt:
                for t in re.finditer ("<A HREF=\"(index\.php\?page=membre&id=[0-9]*)\">([^<])*</A>", txt):
                        name = t.group(0).split(">")[1].split("<")[0]
                        lmessage.append (name)
        return (lmessage)
 
cat = {
"Présentations" : "http://www.rpg-maker.fr/index.php?page=forum&forum=1",
"Jeux Terminés" : "http://www.rpg-maker.fr/index.php?page=forum&forum=36",
"Projets Avancés" : "http://www.rpg-maker.fr/index.php?page=forum&forum=24",
"Nouveaux Projets" : "http://www.rpg-maker.fr/index.php?page=forum&forum=5",
"Généralités" : "http://www.rpg-maker.fr/index.php?page=forum&forum=4",
"Vos créations" : "http://www.rpg-maker.fr/index.php?page=forum&forum=8",
"Entraide" : "http://www.rpg-maker.fr/index.php?page=forum&forum=6",
"Script":"http://www.rpg-maker.fr/index.php?page=forum&forum=1004",
"Concours":"http://www.rpg-maker.fr/index.php?page=forum&forum=18",
"Culture Général":"http://www.rpg-maker.fr/index.php?page=forum&forum=7",
"Jeux commerciaux":"http://www.rpg-maker.fr/index.php?page=forum&forum=9",
"Jeux amateurs":"http://www.rpg-maker.fr/index.php?page=forum&forum=21",
"La taverne":"http://www.rpg-maker.fr/index.php?page=forum&forum=2",
"Débats":"http://www.rpg-maker.fr/index.php?page=forum&forum=19",
"Boîte à idées":"http://www.rpg-maker.fr/index.php?page=forum&forum=3",
"Archives":"http://www.rpg-maker.fr/index.php?page=forum&forum=32"
}
 
data = {}
for Name in cat:
        try:
                open(Name)
                continue
        except:
                pass
 
        print(Name)
        data[Name] = {}
 
        print("On recherche tous les sujets...")
        lsubject = l_subject(cat[Name])
 
        l = len(lsubject)
        data[Name]["Nombre de sujets"] = l
 
        lmessage = []
        print("On compte le nombre de messages dans tous les sujets...")
        with click.progressbar(lsubject, file=sys.stderr, show_percent=True, show_pos=True, width=70, bar_template='<%(bar)s> %(info)s', fill_char='—', empty_char=' ') as bar:
                for url, _ in bar:
                        lmessage += l_messages ("http://www.rpg-maker.fr/" + url)
                        #print(int (10000 * i / l)/100, "%")
        
        print("On compte le ratio de message par membre")
 
        l = len (lmessage)
        data[Name]["Nombre de messages"] = l
        data[Name]["Pourcentage de messages par membre"] = []
 
        msg_by_member = {}
        with click.progressbar(range(l), file=sys.stderr, show_percent=True, show_pos=True, width=70, bar_template='<%(bar)s> %(info)s', fill_char='—', empty_char=' ') as bar:
                for i in bar:
                        name = lmessage[i]
                        if not name in msg_by_member:
                                msg_by_member[name] = 0
                        msg_by_member[name] += 1
 
        for name in msg_by_member:
                data[Name]["Pourcentage de messages par membre"].append (
                        {"Nom":name, "Pourcentage":int( 10000*msg_by_member[name]/l)/100})
                
        data[Name]["Pourcentage de messages par membre"].sort (key=lambda x:x["Pourcentage"], reverse=True)
 
        open (Name, "w").write (nicejson(json.dumps (data[Name])))
 
data = {"Liste des topics":[k for k in cat.keys()]}
for name in cat:
        data[name] = json.loads (open (name).read())
        os.remove (name)
 
open ("Stat Oniro.json", "w").write (nicejson (json.dumps (data)))