Laden Sie das Dataset jeder öffentlich zugänglichen Reddit-Kommentar


Redditor "Stuck_in_the_Matrix" hat einen Torrent gepostet von was er behauptet, ein Dataset jeder öffentlich zugänglichen Kommentar auf Reddit.

Das ist 1,7 Milliarden Kommentare insgesamt, mit Daten über den Autor, Subreddit, positionieren Sie in der Kommentar-Struktur und Punktzahl für jeden Beitrag zu kommentieren. "Dieses Dataset über 1 Terabyte unkomprimiert, so wäre dies am besten für größere Forschungsprojekte", schrieb Redditor und Dataset Compiler "Stuck_in_the_Matrix."

Bis zum 4. Juli hatten die Redditor zuerst veröffentlicht über das Dataset auf Subreddit R/Datasets (natürlich) am 3. Juli, und mit etwas Hilfe von anderen Benutzern einen Torrent eingerichtet. Ein kleiner Datensatz, bestehend aus nur einen Monat im Wert von Kommentaren, gibt es auch als Torrent.

Was können Sie mit all diese Daten? "Gib mir 5 gute Datenanalysten und finden wir den Heiligen Gral der Karma!", sagte Benutzer "Kill-Init."

Reddit Benutzer "Mattrepl", die sich als Doktorand beim maschinellen Lernen und Gemeinschaft Dynamik identifiziert, vorgeschlagen, dass das Dataset verwendet werden könnten, um den Fluss von Online-Unterhaltungen oder die Verbreitung von Internet-Meme zu entwickeln – ein Thema, dass Soziologen in den letzten Jahren zunehmende Aufmerksamkeit geschenkt haben. Es könnte auch verwendet werden, um vorherzusagen, welche Subreddits oder Kommentar-Threads, die, denen ein Benutzer beteiligen kann, die dazu beitragen könnten bessere Empfehlungssysteme zu entwickeln.

All diese Daten ist durch Reddit API zur Verfügung, aber nach anderen redditoren in R/Datasets, sammeln sie alle hätte eine erschreckend langwierige Aufgabe. "Ich habe mit Reddit API einige gespielt und Crawler um Daten vom Benutzer, Sub, Thread geschrieben haben." Aber es wird unerschwinglich, alle Daten zu bekommen, wenn Sie müssen kontinuierlich Anfragen für relativ kleine Datenmengen und dann setze sie zusammen,"Benutzer"rePAN6517"in einem Kommentar schrieb.

Und andere sind offen skeptisch des Datasets. Ein Kommentator, "Lost_file", behauptet, "Reddit hat eine Richtlinie für die Menge der Anfragen können Sie pro Sekunde. Dieses Dataset hätte mindestens ein Jahr zu kompilieren. Etwas ist faul."

Ab dem Zeitpunkt der Veröffentlichung noch nicht "Stuck_in_the_Matrix" auf diese Fragen geantwortet.

[Reddit]

Kontaktieren Sie den Autor unter [email protected] oder folgen Sie ihr auf Twitter.

Oberes Bild: gettyimages.

Etikett: Social Media, Reddit, Datenschutz
Verwandte Artikel

Kaufen Sie das Video: CHANEL Make-up Weihnachtskollektion 2013

In diesem Monat CHANEL Beauty und Make-up-video-Tutorial, Lisa Eldridge schafft einen wunderschönen Blick, warmen und reichen für diese Saison mit dem neu 2013 Weihnachtskollektion Make-up, Nuit Infinie de CHANEL. Dieses anspruchsvolle und sexy Make-...

Jessica "Krank hungern Sie das Babygewicht" Alba: jede Schwangere Womans Vorbild

Schwangere Frauen Aufmerksamkeit: Sie suchen nach Wunderlösungen, wie das Baby nach der Geburt abnehmen. Vergessen Sie, was Sie über die Kalorien gehört, dass Sie stillen verbrennen werden. Egal, was Sie lesen über richtige Ernährung und regelmäßige Beweg...

Überprüfen Sie den Verlauf jeder NYC-Adresse durch den 311 Beschwerde-Rekord

Chrome-Erweiterungen kann so viel mehr als Menschen mit kleinen Händen Präsidentschaftskandidaten verwandeln. Nehmen Sie diese geniale Chrome-Erweiterung, die öffentlichen 311 Daten verwendet, um die oft erschreckend ganze Geschichte auf jede Eigenschaft...

Die Umfragen genannt Wahlen im vergangenen Jahr falsch. Werden sie das Referendum richtig?

Trotz der großen Unterschiede in ihren Vorhersagen richtig diesmal die Meinungsforscher es mehr als oft nicht. Und sie sind ein zuverlässiger Gradmesser als Buchmacher Wie die Ergebnisse der Referenden in fließen, die Meinungsforscher so nervös wie der Au...

7 verrückte Dinge TV-Shows haben, wenn sie das Geld ausging

Fernsehen: Es ist Warm, glühend besten Freund, der Sie Geschichten erzählt, hält Sie Unternehmen und (genau wie Ihre realen beste Freunde) langsam tötet dich. Auch wie echte Freundinnen, manchmal TV ist ein wenig niedrig auf Bargeld und hat einige unwürdi...

Lesen Sie das erste Kapitel des neuen Roman von Neal, Seveneves

Der folgende Auszug ist Kapitel eins von Neals neuen Romans, Seveneves. Stephenson ist auch der Autor der Romane Cryptonomicon Snow Crash, , und Anathem. Der Mond sprengten, ohne Vorwarnung und ohne ersichtlichen Grund. Es war, nur einen Tag weniger als v...

Holen Sie das Beste aus Ihrem Chromebook, selbst wenn er Offline ist

Einige Leute hätten Sie glauben, dass ohne Internet-Verbindung, Ihre schicke neue Chromebook nur geringfügig weniger nützlich als das Feld es in kam, aber das stimmt einfach nicht. Sie können möglicherweise kein MacBook Leistung übereinstimmen, aber diese...

Michael Hector: "Es ist Chelsea, Sie wissen, dass sie im Grunde jeder Spieler kaufen können, was, den Sie wollen"

Der Verteidiger gewann, die ein Vertrag mit seinem Knabenalter Klub auf Transfer Deadline Day Reading FA Cup laufen Hoffnung ist, ein Highlight für ihn auch in dieser Saison werden Ein Familientreffen auf den letzten Tag des Monats August ereignislos verg...

Haben Sie das Mom-versprechen dabei?

Schriftsteller, Freund und ganzen Badass Elizabeth Flora Ross von The Writer wiederbelebt ist auf einer Mission, eine Mission an Respekt innerhalb der Blogosphäre. Während wir alle Opfer von Online-Mobbing habe, beschlossen Elizabeth, Maßnahmen zu er...

Gewusst wie: verwenden Sie das Getriebe passen mit Ihrem Galaxy S5

Die Samsung Getriebe Fit ist ein Gerät, das scheint eine Smartwatch und ein Fitness-Tracker zu sein, und obwohl Sie es mit mehreren Samsung Geräten koppeln können, sagt das Unternehmen das optimale Erlebnis ist es mit dem Galaxy S5-Telefon zu benutze...

Unternehmer, erhalten Sie mit dem Programm: öffentliche stillen ist Legal überall! (Na ja, außer Idaho.)

Sie hören, dass amerikanische Unternehmer?  TRETEN FRAUEN AUS IHREN EINRICHTUNGEN FÜR DAS ÖFFENTLICHE STILLEN ZU STOPPEN.  Wir bei Babble hören Geschichten jeden Tag von Frauen wird gesagt, im Badezimmer verstecken oder nach draußen gehen, wenn sie s...

Dieser Power-Bank wird speichern Sie, wenn Sie vergessen haben, laden Sie Ihre Apple Watch

Apples Smartwatch soll eine Akkulaufzeit von 18 Stunden haben – und während dieser ist ein Tag voller Aktivität, Träger vergessen Sie die Sache über Nacht aufladen. So beginnt das Rennen bringen uns Gadgets für laden unterwegs, wie dieser Anwärter von nie...

4 Gruppen verlieren Sie das Vertrauen In während der Arbeit für einen guten Zweck

Notunterkünfte für misshandelte Frauen tun erstaunliche Dinge. Ich weiß, weil ich für eine in Kalifornien während des Studiums freiwillig und für ein weiteres in Texas nach Graduiertenschule arbeitete. Aber die dreijährige Erfahrung ich bekam in dieser We...

30 lächerlich gaben, dass Sie wahrscheinlich nicht jeder dieser Urlaubssaison geben sollte

Es ist Ferienzeit, und Chancen stehen, dass Sie Geschenke mit jemandem austauschen, der keine Ahnung hat was Sie bekommen. Das Schlimmste daran ist, dass Sie später Aufregung über die schreckliche Gegenwart vorzutäuschen. Nun, sind hier einige der schlimm...