EasySnoop
Benchmarks
Samstag, 17. Juli 2010 von frontalier
hi @ all,
BENCHMARKS
Ich habe drei initiale Benchmarks für EasySnoop auf meinen 3 Systemen erstellt. Dabei wurde ein One-Click-Scan für das System-Laufwerk durchgeführt, mit und ohne Vorschau. Speziell bei den Funden lassen sich so auch gut Veränderungen tracken.
VERSION: 0.9.22 / DATUM: 17.7.2010
WIN XP / Penitum 3,0 Ghz, 1 GB DDR2 RAM / c: 24 GB belegt
DATEIEN: 188.162 / ORDNER: 15.354
DAUER: 18 Minuten / OHNE VORSCHAU: 10 Minuten
FUNDE < 100% Wahrscheinlichkeit: 1650 [entspricht <1%] / 100% Wahrscheinlichkeit: 19
Viele Icons und Kürzel in System-Dateien
WIN 7 64 Bit / QuadCore, 6 GB DDR3 RAM / C: 100 GB belegt
DATEIEN: 262.150 / ORDNER: 33.895
DAUER: 24 Minuten / OHNE VORSCHAU : 20 Minuten
FUNDE < 100% Wahrscheinlichkeit: 2510 [entspricht [>1%] / 100% Wahrscheinlichkeit: 27
Viele Icons und Kürzel in System-Dateien
WIN 7 Starter / Atom 1,6, 1 GB DDR2 RAM / c: 20 GB belegt - noch nicht viel installiert
DATEIEN: 54.923 / ORDNER: 11.223
DAUER: 13 Minuten / OHNE VORSCHAU: 13 Minuten
FUNDE < 100% Wahrscheinlichkeit: 86 [[entspricht >0.1%] / 100% Wahrscheinlichkeit: keine
Funde alle unbedenklich, in "Programme" oder "Windows"
Ergebnis:
1) Die Vorschau wirkt sich auf älteren Systemen markant auf die Dauer des Scans aus, und natürlich im Kombination mit der Zahl der Funde
2) 1% Funde auf der System-Partition sind deutlich zu viel
ERKENNUNGSRATE
Ich habe mir die Kritik zu Herzen genommen, und werde die Erkennungs-Systematik überarbeiten. Die Updates in den nächsten Wochen werden entsprechende Verbesserung herbeiführen, zusammen mit der Intelli-Search und der Überarbeitung der Suchwort-Datenbank.
Eine bitte an alle, die sich bereits die Mühe gemacht haben EasySnoop bei sich laufen zu lassen: wenn ein Update verfügbar ist, welches die Erkennung verbessert hat, wäre es toll wenn Ihr EasySnoop updatet und den Scan bei Euch zum Vergleich wiederholt. Das wäre dann eine große Hilfe!
Ich denke, alles rein technische lasse ich hier, die themen-übergreifende Diskussion findet dann in den Kommentaren bzw. im Thread Projekte statt.
Da ich keine Mail zum Thema KI Erkennung der Bilder bekommen habe, gehe ich davon aus dass es hier auch nichts relevantes zum Umsetzen gibt.
Bis zum Update!
BENCHMARKS
Ich habe drei initiale Benchmarks für EasySnoop auf meinen 3 Systemen erstellt. Dabei wurde ein One-Click-Scan für das System-Laufwerk durchgeführt, mit und ohne Vorschau. Speziell bei den Funden lassen sich so auch gut Veränderungen tracken.
VERSION: 0.9.22 / DATUM: 17.7.2010
WIN XP / Penitum 3,0 Ghz, 1 GB DDR2 RAM / c: 24 GB belegt
DATEIEN: 188.162 / ORDNER: 15.354
DAUER: 18 Minuten / OHNE VORSCHAU: 10 Minuten
FUNDE < 100% Wahrscheinlichkeit: 1650 [entspricht <1%] / 100% Wahrscheinlichkeit: 19
Viele Icons und Kürzel in System-Dateien
WIN 7 64 Bit / QuadCore, 6 GB DDR3 RAM / C: 100 GB belegt
DATEIEN: 262.150 / ORDNER: 33.895
DAUER: 24 Minuten / OHNE VORSCHAU : 20 Minuten
FUNDE < 100% Wahrscheinlichkeit: 2510 [entspricht [>1%] / 100% Wahrscheinlichkeit: 27
Viele Icons und Kürzel in System-Dateien
WIN 7 Starter / Atom 1,6, 1 GB DDR2 RAM / c: 20 GB belegt - noch nicht viel installiert
DATEIEN: 54.923 / ORDNER: 11.223
DAUER: 13 Minuten / OHNE VORSCHAU: 13 Minuten
FUNDE < 100% Wahrscheinlichkeit: 86 [[entspricht >0.1%] / 100% Wahrscheinlichkeit: keine
Funde alle unbedenklich, in "Programme" oder "Windows"
Ergebnis:
1) Die Vorschau wirkt sich auf älteren Systemen markant auf die Dauer des Scans aus, und natürlich im Kombination mit der Zahl der Funde
2) 1% Funde auf der System-Partition sind deutlich zu viel
ERKENNUNGSRATE
Ich habe mir die Kritik zu Herzen genommen, und werde die Erkennungs-Systematik überarbeiten. Die Updates in den nächsten Wochen werden entsprechende Verbesserung herbeiführen, zusammen mit der Intelli-Search und der Überarbeitung der Suchwort-Datenbank.
Eine bitte an alle, die sich bereits die Mühe gemacht haben EasySnoop bei sich laufen zu lassen: wenn ein Update verfügbar ist, welches die Erkennung verbessert hat, wäre es toll wenn Ihr EasySnoop updatet und den Scan bei Euch zum Vergleich wiederholt. Das wäre dann eine große Hilfe!
Ich denke, alles rein technische lasse ich hier, die themen-übergreifende Diskussion findet dann in den Kommentaren bzw. im Thread Projekte statt.
Da ich keine Mail zum Thema KI Erkennung der Bilder bekommen habe, gehe ich davon aus dass es hier auch nichts relevantes zum Umsetzen gibt.
Bis zum Update!
Kommentare 1-7
Dienstag, 13. Juli 2010 von frontalier
Erstmal vielen Dank an alle für das schnelle und umfangreiche Feedback - klasse.
Auf einige Punkte möchte ich unbedingt eingehen:
Zitat:
Die Hash-Variante ist auf jeden Fall eine spannende Variante und steht auch in der Roadmap meiner Homepage für eine spätere version drin. Allerdings gibt es zwei Dinge zu bedenken:
1) Es ist wesentlich aufwändiger und umfangreicher komplette Dateien zu listen/recherchieren, als nur deren relevanten Suchwörter. Hier reicht es eben nicht, ein neues Suchwort zu finden, sondern zu jedem Suchwort muss mann dann alle Dateien katalogisieren.
2) Wenn Dateien nicht bekannt sind, werden sie nicht gefunden. Das würde zum Beispiel auch private erstellte Datein betreffen, die offiziell nimenad kennen KANN.
Eine Hybrid-Lösung wäre wahrscheinlich optimal.
Zitat:
Archiv-Inhalte zu prüfen ist eine sehr gute Idee, hätte ich auch selbst dran denken können > das kommt gleich mit in die Roadmap!
Zitat:
Davon habe ich noch keine Kentniss. Da ich aber schon für den Pokerbot intensive Bildanalysen geschrieben habe, und dank FFMPEG alle Frames eines Videos zur Verfügung stehen, würde ich zu dem Thema gerne mehr wissen. Vielleicht wäre das dann auch ein Option für später.
Wie gesagt - dies ist die erste Beta, und ich wollte erstmal eine runde Version haben, die mit den wesentlichen Features läuft wie gedacht. Erweiterung wie oben benannt sind auf jeden Fall fest eingeplant.
Zitat:
Da muss ich heftigst widersprechen. Es werden lediglich ein paar Ergebnisse aus rechtlichen Gründen ausgefiltert, darum kümmert sich Google selbst aber nicht. Sowohl kommerzielle Seiten mit entsprechenden Domains, als auch Wald- und Wiesen Portale sind problemlos mit dem richtigen Suchwort zu finden. Beweisen kann ich es hier nicht, aber das habe ich genauso intensiv recherchiert, wie die Suchwörter selbst. Dazu bald mehr auf der Homepage, die Anzeigen gegen Google sind in Vorbereitung, und dann können auch die Namen gennant werden. Ausserdem wird es bald auch eine App geben, welche genau diese Seiten für jeden sichtbar macht.
Zitat:
Websperren finde ich aus zwei Gründen ziemlich Banane:
1) lassen sich immer umgehen, sind nicht sicher
2) was nützen Websperren gegen Filesharing, Newsgroup, Chats mit Dateitausch, und alle anderen Medien die Kinder z.B. in Ihrer Freizeit tauschen können?
Tatsächlich ist es weniger dafür gedacht, das sich ein Anwender selber kontrolliert, sondern dass Eltern den Rechner Ihrer Kinder prüfen können.
Zitat:
Wenn man die Dateien aus dem Netz saugt, haben sie oft genau die Dateinamen, anhand derer sie man erkenn kann. Wenn sich jemand die Mühe macht, diese umzubenenn, hilft nur noch die geplante Intelli-Search. Wenn jemand Dateien verstecken will, dann ist EasySnoop eh machtlos [Externe Medien, Verschlüsselungsprogramme]. Wobei EasySnoop später Verschlüsselungsprogs, bzw. deren Container, auch finden können soll.
Viele machen sich wahrscheinlich nicht groß die Mühe, weil sie eh davon ausgehen, dass Ihre Eltern keinen Plan haben und ein UNter-Unter-Unterordner Versteck genug ist.
Hnm, weiss gar nicht wo was von anderen Inhalten als Pornographie stand: illegal bezog sich auf illegale Pornographie, vielleicht habe ich mich da ungünstig ausgedrückt. Killerspiele fand ich erstmal nicht so wichtig, solche Sachen sind dann auch eher was für die Roadmap.
Zitat:
Die Größe entsteht vor allen Dingen durch FFMPEG - daruf wollte ich nicht verzichten und es auch nicht optional machen. Ich denke bei den heutigen Bandbreiten ist das zu Vertreten.
Zitat:
Um die Fehlfunde einzudämmen gibt es zwei Ansätze:
1) Durch die Addition der Wahrscheinlichkeit, wie Pummelie richtig schhreibt, werden diese Dateien grün [nicht-quarantäne] dargestellt, weil nur ein Wort mit geringer Wahrscheinlichkeit vorkommt. Finden muss er die Worte, da kommt man nicht dran vorbei. Man kann nur die Abbildung der Ergebnisse optimieren.
2) Es gibt im Expertenmodus die Möglichkeit, die Such-Genauigkeit in drei Stufen einzustellen. Im Fall von "massesimulator.zip" hätte er auf der maximalen Stufe den Fund komplett ignoriert!
Die kurzen Suchworte wie "vim" sind ein Problem, hier muss ich auch die Suchwort Datenbank noch weiter optimieren. Er prüft aber immer, ob ein Buchstabe vor/hinter dem Suchwort steht und stuft im Standard Modus die Wahrscheinlichkeit runter. Das hilft aber bei "123_vim_!!!.exe" natürlich nichts.
Soweit erstmal, danke für die Anregungen!
P.S: "Man kann heutzutage übrigens schon durch KI feststellen lassen, ob es sich bei einem Video um Pornographie handelt." - Wenn jemand hierzu mehr weiss, vielleicht Links hat, gerne per PN.
Auf einige Punkte möchte ich unbedingt eingehen:
Zitat:
Wieso wird überhaupt nach Wörtern im Dateinamen gesucht? Wäre es nicht viel effektiver, jede Datei die untersucht wird zu hashen, und mit hashes in einer Datenbank abzugleichen in der die hashes (möglichst vieler) bisher bekannter pornographischen Dateien stehen?
Die Hash-Variante ist auf jeden Fall eine spannende Variante und steht auch in der Roadmap meiner Homepage für eine spätere version drin. Allerdings gibt es zwei Dinge zu bedenken:
1) Es ist wesentlich aufwändiger und umfangreicher komplette Dateien zu listen/recherchieren, als nur deren relevanten Suchwörter. Hier reicht es eben nicht, ein neues Suchwort zu finden, sondern zu jedem Suchwort muss mann dann alle Dateien katalogisieren.
2) Wenn Dateien nicht bekannt sind, werden sie nicht gefunden. Das würde zum Beispiel auch private erstellte Datein betreffen, die offiziell nimenad kennen KANN.
Eine Hybrid-Lösung wäre wahrscheinlich optimal.
Zitat:
Und was ist z.B. wenn die Dateien nicht einfach so auf der Platte liegen, sondern in .zip oder .rar?
Archiv-Inhalte zu prüfen ist eine sehr gute Idee, hätte ich auch selbst dran denken können > das kommt gleich mit in die Roadmap!
Zitat:
Man kann heutzutage übrigens schon durch KI feststellen lassen, ob es sich bei einem Video um Pornographie handelt.
Davon habe ich noch keine Kentniss. Da ich aber schon für den Pokerbot intensive Bildanalysen geschrieben habe, und dank FFMPEG alle Frames eines Videos zur Verfügung stehen, würde ich zu dem Thema gerne mehr wissen. Vielleicht wäre das dann auch ein Option für später.
Wie gesagt - dies ist die erste Beta, und ich wollte erstmal eine runde Version haben, die mit den wesentlichen Features läuft wie gedacht. Erweiterung wie oben benannt sind auf jeden Fall fest eingeplant.
Zitat:
Und Google macht diese Seiten nicht leicht zugängig.
Da muss ich heftigst widersprechen. Es werden lediglich ein paar Ergebnisse aus rechtlichen Gründen ausgefiltert, darum kümmert sich Google selbst aber nicht. Sowohl kommerzielle Seiten mit entsprechenden Domains, als auch Wald- und Wiesen Portale sind problemlos mit dem richtigen Suchwort zu finden. Beweisen kann ich es hier nicht, aber das habe ich genauso intensiv recherchiert, wie die Suchwörter selbst. Dazu bald mehr auf der Homepage, die Anzeigen gegen Google sind in Vorbereitung, und dann können auch die Namen gennant werden. Ausserdem wird es bald auch eine App geben, welche genau diese Seiten für jeden sichtbar macht.
Zitat:
Eine Sperre von bestimmten Websites finde ich da sicherer. Außerdem: Wenn diese Dateien auf dem PC sind, dann sicherlich mit Absicht. Und dann wurden diese wahrscheinlich schon längst gesehen von dem Nutzer (ob mit Absicht oder nicht sei mal dahingestellt).
Websperren finde ich aus zwei Gründen ziemlich Banane:
1) lassen sich immer umgehen, sind nicht sicher
2) was nützen Websperren gegen Filesharing, Newsgroup, Chats mit Dateitausch, und alle anderen Medien die Kinder z.B. in Ihrer Freizeit tauschen können?
Tatsächlich ist es weniger dafür gedacht, das sich ein Anwender selber kontrolliert, sondern dass Eltern den Rechner Ihrer Kinder prüfen können.
Zitat:
Wieso sollte jemand ein 18+ Video unbedingt unter einem verräterischen Dateinamen abspeichern ? Man kann doch dem Video einen verkürzten Namen geben, wie "fv014" oder was Ähnliches. Dabei weiß derjenige der das abgespeichert hat wo das ist und was es ist, aber kein Programm kann Anhand des Namens das Video identifizieren.
Wenn man die Dateien aus dem Netz saugt, haben sie oft genau die Dateinamen, anhand derer sie man erkenn kann. Wenn sich jemand die Mühe macht, diese umzubenenn, hilft nur noch die geplante Intelli-Search. Wenn jemand Dateien verstecken will, dann ist EasySnoop eh machtlos [Externe Medien, Verschlüsselungsprogramme]. Wobei EasySnoop später Verschlüsselungsprogs, bzw. deren Container, auch finden können soll.
Viele machen sich wahrscheinlich nicht groß die Mühe, weil sie eh davon ausgehen, dass Ihre Eltern keinen Plan haben und ein UNter-Unter-Unterordner Versteck genug ist.
Hnm, weiss gar nicht wo was von anderen Inhalten als Pornographie stand: illegal bezog sich auf illegale Pornographie, vielleicht habe ich mich da ungünstig ausgedrückt. Killerspiele fand ich erstmal nicht so wichtig, solche Sachen sind dann auch eher was für die Roadmap.
Zitat:
1. Das Programm ist sehr groß (sowohl Download- als auch Installierte Größe)
Die Größe entsteht vor allen Dingen durch FFMPEG - daruf wollte ich nicht verzichten und es auch nicht optional machen. Ich denke bei den heutigen Bandbreiten ist das zu Vertreten.
Zitat:
Ein Beispiel: "massesimulator.zip" - weil da "asses" drinnen steht, kommt es auf die Liste :S // Leider gibt es einige Fehlfunde, welche aber durch die Vorschau und die %-Anzeige leicht als solches identifiziert werden können.
Um die Fehlfunde einzudämmen gibt es zwei Ansätze:
1) Durch die Addition der Wahrscheinlichkeit, wie Pummelie richtig schhreibt, werden diese Dateien grün [nicht-quarantäne] dargestellt, weil nur ein Wort mit geringer Wahrscheinlichkeit vorkommt. Finden muss er die Worte, da kommt man nicht dran vorbei. Man kann nur die Abbildung der Ergebnisse optimieren.
2) Es gibt im Expertenmodus die Möglichkeit, die Such-Genauigkeit in drei Stufen einzustellen. Im Fall von "massesimulator.zip" hätte er auf der maximalen Stufe den Fund komplett ignoriert!
Die kurzen Suchworte wie "vim" sind ein Problem, hier muss ich auch die Suchwort Datenbank noch weiter optimieren. Er prüft aber immer, ob ein Buchstabe vor/hinter dem Suchwort steht und stuft im Standard Modus die Wahrscheinlichkeit runter. Das hilft aber bei "123_vim_!!!.exe" natürlich nichts.
Soweit erstmal, danke für die Anregungen!
P.S: "Man kann heutzutage übrigens schon durch KI feststellen lassen, ob es sich bei einem Video um Pornographie handelt." - Wenn jemand hierzu mehr weiss, vielleicht Links hat, gerne per PN.
Beta 0.9.22
Montag, 12. Juli 2010 von frontalier
Hi @ all,
nun ist es endlich soweit - nachdem ich schon einige Projekte in Blitz3D für mich selbst zum Spass programmiert habe, möchte ich Euch EasySnoop vorstellen. eine Jugendschutz-Freeware dessen erste Beta im Juni erschienen ist und in BlitzPus programmiert wird.
Vorweg möchte ich diesem Forum und seinen Anwendern ausdrücklich DANKE sagen - ich habe hier sehr viele Anregungen und Problemlösungen gefunden, auch wenn Ihr meinen Nick selten finden werdet - ich benutze nämlich immer die Forumssuche bevor ich frage
Wenn also jemand wissen möchte, wie etwas in EasySnoop so umgesetzt wurde einfach fragen, das wird gerne beantwortet.
Wenn jemand nicht in den Credits stehen möchte, nehme ich ihn natürlich auch umgehend da raus, kurze Nachricht an mich genügt.
Die Idee zu einem entsprechenden Datei-Scanner hatte ich das erste Mal bereis 2007. Allerdings war meine Lust auf einen Streamgrabber und vor allen Dingen einen Pokerbot wesentlich größer. Während Partypoker das Teil schnell erkannte, konnte "Pokermatix" auf Pokerstars immerhin 6 Stunden plus/minus Null an einem 20 Cent Tisch spielen.
Das Schlimme am nicht mehr vorhandenen Jugendschutz ist, dass man das Problem schlecht wirksam präsentieren kann ohne sich selbst strafbar zu machen. Damit wir uns hier nicht missverstehen: ich bin nicht auf einem Anti-Porno-Kreuzzug! Was Erwachsene unter sich treiben soll jeder nach seiner Facon tun, wenn dabei niemand zu Schaden kommt.
Warum Firmen wie Google wissentlich "legale" und illegale Pornographie jedem, und damit auch Kindern und Jugendlichen, en Masse zugänglich machen dürfen ist mir beispielsweise ein Rätsel. Warum Lehrer entsetzt sind, wenn Sie einen Tierporno sehen, während die gesamte Klasse 7b kichert weil sie den alle schon kennen ebenfalls.
EasySnoop soll jedem die Möglichkeit geben dieses Problem auf Knopfdruck sichtbar zu machen oder sich zu beruhigen, wenn nichts gefunden wird. Da nach frei verfügbaren Dateien und Suchwörtern im Dateinamen gescannt wird ist EasySnoop auf keinen Fall ein Allheilmittel, aber zumindest ein Ansatz.
Die erste Beta 0.9.11 hatte noch viele Schwächen, inzwischen gibt es Version 0.9.22 mit vielen Verbesserungen und Erweiterungen. Der Final Release der Version 1.x ist für Ende August geplant. Folgende Erweiterungen sind zur Zeit fest geplant:
- Multi Language Unterstützung
- Neue Scan-Maske und Detail-Wizzard für den One-Click-Modus
- Intelli-Search [intelligente Suche unabhängig vom Datei-Namen]
So - ich freue mich über jedes Feedback zu EasySnoop!
nun ist es endlich soweit - nachdem ich schon einige Projekte in Blitz3D für mich selbst zum Spass programmiert habe, möchte ich Euch EasySnoop vorstellen. eine Jugendschutz-Freeware dessen erste Beta im Juni erschienen ist und in BlitzPus programmiert wird.
Vorweg möchte ich diesem Forum und seinen Anwendern ausdrücklich DANKE sagen - ich habe hier sehr viele Anregungen und Problemlösungen gefunden, auch wenn Ihr meinen Nick selten finden werdet - ich benutze nämlich immer die Forumssuche bevor ich frage
Wenn also jemand wissen möchte, wie etwas in EasySnoop so umgesetzt wurde einfach fragen, das wird gerne beantwortet.
Wenn jemand nicht in den Credits stehen möchte, nehme ich ihn natürlich auch umgehend da raus, kurze Nachricht an mich genügt.
Die Idee zu einem entsprechenden Datei-Scanner hatte ich das erste Mal bereis 2007. Allerdings war meine Lust auf einen Streamgrabber und vor allen Dingen einen Pokerbot wesentlich größer. Während Partypoker das Teil schnell erkannte, konnte "Pokermatix" auf Pokerstars immerhin 6 Stunden plus/minus Null an einem 20 Cent Tisch spielen.
Das Schlimme am nicht mehr vorhandenen Jugendschutz ist, dass man das Problem schlecht wirksam präsentieren kann ohne sich selbst strafbar zu machen. Damit wir uns hier nicht missverstehen: ich bin nicht auf einem Anti-Porno-Kreuzzug! Was Erwachsene unter sich treiben soll jeder nach seiner Facon tun, wenn dabei niemand zu Schaden kommt.
Warum Firmen wie Google wissentlich "legale" und illegale Pornographie jedem, und damit auch Kindern und Jugendlichen, en Masse zugänglich machen dürfen ist mir beispielsweise ein Rätsel. Warum Lehrer entsetzt sind, wenn Sie einen Tierporno sehen, während die gesamte Klasse 7b kichert weil sie den alle schon kennen ebenfalls.
EasySnoop soll jedem die Möglichkeit geben dieses Problem auf Knopfdruck sichtbar zu machen oder sich zu beruhigen, wenn nichts gefunden wird. Da nach frei verfügbaren Dateien und Suchwörtern im Dateinamen gescannt wird ist EasySnoop auf keinen Fall ein Allheilmittel, aber zumindest ein Ansatz.
Die erste Beta 0.9.11 hatte noch viele Schwächen, inzwischen gibt es Version 0.9.22 mit vielen Verbesserungen und Erweiterungen. Der Final Release der Version 1.x ist für Ende August geplant. Folgende Erweiterungen sind zur Zeit fest geplant:
- Multi Language Unterstützung
- Neue Scan-Maske und Detail-Wizzard für den One-Click-Modus
- Intelli-Search [intelligente Suche unabhängig vom Datei-Namen]
So - ich freue mich über jedes Feedback zu EasySnoop!