Karbownicki.com

Automatyzacja myszy i klawiatury

Thu, 07 Jan 2010 22:41:56 +0100

Jak wiadomo Linux znany jest z tego, że można tutaj zautomatyzować niemalże wszystko. Zazwyczaj robimy to za pomocą skryptów Basha, Perla czy innego Pythona. Są jednak przypadki, kiedy nie bardzo mamy dojście do API czy komend aby zautomatyzować jakiś proces. Bo jak zautomatyzować np. ruch myszy w środowisku graficznym czy zasymulować wciskanie klawiszy?

Drugą rzeczą, z której znany jest Linux jest to, że zawsze znajdzie się rozwiązanie ;-) Podobnie w tym przypadku rozwiązaniem naszym problemów jest pakiet xautomation (spaczkowany w większości dystrybucji). Dostarcza on bardzo pomocnej komendy jaką jest xte. Podstawowymi parametrami tej komendy są:

key k          Wciśnięcie klawisza k
keydown k      Przytrzymanie klawisza k
keyup k        Zwolnienie klawisza k
str string     Wpisanie ciągu znaków
mouseclick i   Wciśniecie lewego klawisza myszy
mousedown i    Wciśniecie lewego klawisza myszy
mouseup i      Zwolnienie lewego klawisza myszy
mousemove x y  Przemieszczenie kursora na pozycję (x,y)
mousermove x y Względne przemieszczenie kursora na pozycję (x,y)
sleep x        Odczekanie x sekund

Dzięki zastosowaniu tych komend możemy już zautomatyzować wyklikiwanie pewnych czynności, np. głupiej ankiety internetowej lub pajacyka. Swojego czasu używałem tego do łączenia się z ukrytą siecią Wifi, której Gnomowy Network Manager za nic nie umiał mi zapamiętać. Zamiast wyklikiwać codziennie szereg opcji i po raz setny wpisywać długie wygenerowane hasło klikałem tylko w skrypt, który robił wszystko za mnie.

Przykładowy skrypt powtarzający pewną czynność w nieskończoność może wglądać tak:

#!/bin/bash
while [ 1 ]
do
    sleep 1
    xte 'mouseclick 1'

    # otwórz Chrome w trybie porno
    xte 'keydown Control_L' 'keydown Shift_L' 'key n' 'keyup Shift_L' 'keyup Control_L'
    sleep 1

    # wybierz adres
    xte 'str http://...wybierz_polskiego_polityka_roku_2009...'
    xte 'key Return'

    # czekamy na wczytanie strony
    sleep 7

    #wybierz kandydata
    xte 'mousemove 44 490'
    xte 'mouseclick 1' 

    # głosuj
    xte 'mousemove 253 710'
    xte 'mouseclick 1' 
    sleep 1

    # zamknij Chrome
    xte 'keydown Alt_L' 'key F4' 'keyup Alt_L'
done

Dla ułatwienie sobie życia możemy skorzystać z komendy xmousepos, dzięki której nie będziemy musieli zgadywać pozycji kursora. Wystarczy ustawić kursor w odpowiednie miejsce a następnie uruchomić podaną komendę aby uzyskać pozycję kursora, np:

tomek@Arch:~$ xmousepos
1125 136 1125 110
^^ dwie pozycje, bo każdy kij ma dwa końce

W każdym razie miło wiedzieć, że mamy możliwość zautomatyzowania kolejnej czynności ;-)

I <3 Linux

Configer.net - pokaż swoje configi

Tue, 29 Dec 2009 21:10:52 +0100

Przyszedł koniec roku, w pracy zrobiło się troszkę luźniej, a więc to dobry czas na własne projekty :-) Nie, nie startupy. Nie lubię startupów. Startup to dla mnie czasownik mówiący o tym, jak jakiś autor (sam nie przekonany do swojego pomysłu) próbuje na siłę przekonać wszystkich, że funkcjonalność którą stworzył jest im niezbędna do życia :-/ Dlatego o wiele bardziej preferuje aplikacje o charakterze narzędziowym, w którym społeczność tylko zwiększa użyteczność samego narzędzia.

Tak więc z potrzeby posiadania narzędzia narodził się configer.net. Cała idea polega na przechowywaniu tam własnych (czasami godzinami dopieszczanych) plików konfiguracyjnych oraz podglądanie tego co wykombinowali inni. Oczywiście z możliwością dołożenia swoich 5 groszy w postaci komentarza. Dla parówkowych skrytożerców przewidziana jest opcja prywatnego configa, czyli dostęp do niego ma wyłącznie autor, więc nie koniecznie trzeba się zaraz dzielić swoimi wyczynami.

Żeby maksymalnie ułatwić korzystanie z serwisu nie trzeba się nawet rejestrować. Wystarczy że zalogujemy się za pomocą OpenID, Googla, Facebooka lub Yahoo! (przecz z rejestracjami!). Mam nadzieję, że serwis kilku gikom się przyda. Jeżeli nie - trudno - to nie startup, nie musi podbijać serc ;-)

Napisy końcowe: w projekcie udział wzięli - trójkąt, Jaro, Lotos (via pdll.pl) oraz <3 Django.

Sumowanie statystyk Google Analytics

Fri, 20 Nov 2009 23:30:37 +0100

Zawsze mnie ciekawiło jaki jest ruch na naszym firmowym serwerze ale nie chciałem obciążać maszyny dodatkowym oprogramowaniem, które by to zliczało. Zwłaszcza że każda hostowana przez nas strona jest podpięta pod Google Analytics. Nie znalazłem jednak sposobu aby w panelu statystyk wyświetlić sumę odwiedzin z kilku kont. Na szczęście Analytics podobnie jak większość usług Googla ma swoje API. Wystarczyło więc zaprząc do pracy Pythona oraz bibliotekę gdata.

Użytkownikom ArchLinuksa polecam paczkę python-gdata-svn

yaourt -S python-gdata-svn

Skrypt jest dość prosty i działa w konsoli:

#!/usr/bin/python

import datetime
import sys

import gdata.analytics
import gdata.analytics.service


def main(argv):

    GOOGLE_ANALYTICS_LOGIN = 'TWOJE@KONTO'
    GOOGLE_ANALYTICS_PASSWORD = 'TAJNE_HASLO'

    if len(argv) > 1:
        d = argv[1].split('-')
        data = datetime.date(int(d[0]), int(d[1]), int(d[2]))
    else:
        data = datetime.datetime.now()

    print "\ndata: %d-%d-%d" % (data.year, data.month, data.day)
    print "\nodw\tods\tdomena"
    print "--------------------------"

    dc = gdata.analytics.service.AnalyticsDataService()
    dc.ClientLogin(GOOGLE_ANALYTICS_LOGIN, GOOGLE_ANALYTICS_PASSWORD, account_type='GOOGLE')
    a = dc.GetAccountList()

    odwiedziny, odslony = [], []

    for b in a.entry:
        tid = b.id.text.replace('http://www.google.com/analytics/feeds/accounts/','')
        query = dc.GetData(
            ids=tid, 
            start_date='%.4d-%.2d-%.2d' % (data.year, data.month, data.day), 
            end_date='%.4d-%.2d-%.2d' % (data.year, data.month, data.day), 
            metrics='ga:visitors,ga:pageviews',
            dimensions='ga:day'
        )
        odw = int(query.entry[0].visitors.value)
        ods = int(query.entry[0].pageviews.value)
        odwiedziny.append(odw)
        odslony.append(ods)
        print "\033[1;31m%d\t%d\033[0m\t\033[33m%s\033[0m" % (odw, ods, b.title.text)

    print "--------------------------"
    print "%d\t%d\tRazem" % (sum(odwiedziny),sum(odslony))


if __name__ == "__main__":
    sys.exit(main(sys.argv))

Jeżeli wywoła się go bez parametrów wówczas pokaże statystyki dla dnia dzisiejszego. Można też podać mu jako parametr datę, np:

python stats.py 2012-12-21

Przykładowy wynik działania wygląda tak:

Kto zabił elektryczny samochód?

Tue, 17 Nov 2009 21:42:06 +0100

Dziś z pompą i paradą otwarto pierwszy w Polsce punkt ładowania samochodów elektrycznych. Na uroczystości nie mogło zabraknąć oczywiście elektrycznych samochodów. Takie rzecz jasna się zjawiły, niestety sztuk 2 (słownie: dwie).

Ktoś może spytać po co otwierać taki punkt dla dwóch samochodów? Oczywiście chodzi o promocję. Do połowy 2010 roku ma powstać 130 takich punktów (w tym 30 do końca grudnia). Jednak dlaczego do końca grudnia punktów ładowania ma być 15 razy więcej niż samochodów? Dlaczego nie mamy elektrycznych samochodów?

Od razu przypomniał mi się film, który oglądałem jakiś czas temu. Jego oryginalny tytuł brzmi Who Killed the Electric Car?. Autorzy filmu przedstawiają przerażającą historię, która doskonale wyjaśnia dlaczego nie jeździmy obecnie elektrycznymi autami, ciesząc się ich prostotą budowy/działania, ekologicznością, oszczędzając przy tym znaczne sumy pieniędzy. Kolejna teoria spiskowa? Warto obejrzeć, choćby dla Mela Gibsona ;-)

Jeżeli przeszkadzają komuś holenderskie napisy to możecie obejrzeć na youku.

Definiowanie własnych atrybutów w HTML-u

Thu, 05 Nov 2009 23:31:00 +0100

Obecnie w czasach interfejsów napędzanych JavaScriptem coraz widoczniejszy staje się problem składowania danych w HTML-u. Prosty przykład: mamy generowany formularz, który chcemy zweryfikować za pomocą JavaScriptu. Przy generowaniu formularza posiadamy dla każdego pola zmienną mówiącą nam o tym czy to pole jest wymagane czy nie. I tu pojawia się problem, jak oznaczyć np. inputa jako pole wymagane? Struktura formularza nie daje nam miejsca na składowanie takich danych. Można kombinować z wrzuceniem jakiegoś słowa kluczowego do id. np:

id="required"

No ale id musi być niepowtarzalne, więc może klasa...

class="required"

Może, ale w sumie mam już tam kilka innych klas

class="specjalne kontrast required"

A więc czy klasa to na pewno dobre miejsce? Jasne że nie, klasa jest dla styli. No więc jak? Trzeba stworzyć własny atrybut! Niby jasne, ale przecież validator nie uznaje własnych atrybutów...

Otóż uznaje. Trzeba je tylko zadeklarować w definicji dokumentu - DTD (Document Type Definition). Załóżmy że chcemy wzbogacić nasz input w atrybut required. Wystarczy więc taka konstrukcja DTD:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd" 
[
  <!ATTLIST input required CDATA #IMPLIED>
]>

Ta dekladacja zezwala atrybutowi required posiadać dowolną wartość znakową. Jeżeli chcielibyśmy ograniczyć wartość jedynie do dwóch pozycji wystarczy zastosować coś takiego:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd" 
[
  <!ATTLIST input required (true|false) #IMPLIED>
]>

Ogólny schemat jest taki:

ATTLIST element atrybut typ opcjnonalnyStatus

No i gotowe. Teraz możemy zaprząc JavaScript do podjęcia odpowiednich działań na podstawie struktury dokumentu. Czyli np. w jQuery:

$('input[required='true']').PrzypilnujInteresu();

Prosto czysto i funkcjonalnie.

Materiał źródłowy:
http://www.alistapart.com/articles/customdtd/

PS. Remember remember the fifth of november...

GooglePreview dla Google Chrome

Wed, 28 Oct 2009 22:56:02 +0100

Google preview to moja ulubiona ~~wtyczka~~ rozszerzenie dla Firefoksa, bez której wyniki wyszukiwania w Googlu po prostu nie wyglądają. Wstawia ona obok każdej pozycji miniaturkę strony, a ponieważ człowiek myśli obrazami więc o wiele szybciej można namierzyć szukaną witrynę. Niestety w przeglądarce Google Chrome (która ostatnio stała się moją podstawową przeglądarką) nic takiego nie istnieje. Istnieje już jednak system rozszerzeń (chociaż ukryty) oraz podstawowa dokumentacja, więc postanowiłem sam zapchać lukę.

Na początek przyda się nam developerska wersja Chroma (nie wiem czy wersja stabilna posiada tą funkcjonalność, jeżeli tak to niech mnie ktoś poprawi). Dla użytkowników ArchLinuksa polecam paczkę z AUR - google-chrome-dev.

yaourt -S google-chrome-dev

Aby uruchomić ukryty jeszcze mechanizm obsługi rozszerzeń należy uruchomić przeglądarkę z parametrem -–enable-extensions.

google-chrome -–enable-extensions

Teraz wystarczy już tylko pobrać przygotowane przeze mnie rozszerzenie i potwierdzić chęć instalacji

ChromePreview 0.38

Od tej chwili możemy się już cieszyć pięknymi miniaturkami

O ile wszystko dobrze poskładałem to rozszerzenie powinno się samo aktualizować (w razie W). Jeżeli ktoś jest zainteresowany bebechami to dołączam pliki:

Listę zainstalowanych rozszerzeń znajdziecie wstukując do paska adresu chrome://extensions/

EDIT: rozszerzenie znajdziecie w otwartej dzisiaj bazie rozszerzeń pod adresem https://chrome.google.com/extensions/detail/behjpjkdajdecgkkamhaplpkcbkceaie

Październikowy update

Thu, 08 Oct 2009 20:12:27 +0200

Od czasu ostatniej notki trochę się u mnie pozmieniało. Studia odeszły w niepamięć a więc najwyższy czas zarobić na siebie. Wychodząc z założenia, że nigdzie nie pracuje się tak dobrze jak u siebie samego z dniem 1 sierpnia stałem się właścicielem, pracownikiem oraz jedynym inwestorem jednoosobowej działalności gospodarczej. Zarejestrowanie działalności okazało się nie takie straszne. W zasadzie wystarczyło wypełnienie pojedynczego, dwustronicowego druczku i następnego dnia miałem już regon. Resztę formalności załatwiło za mnie biuro rachunkowe.

Największym problemem okazało się znalezienie w Opolu biura w rozsądnej cenie. Niestety rozsądna cena i w miarę dobra lokalizacja wiązała się z gruntownym remontem. Mając na głowie pierwsze większe zlecenie tydzień remontu nie bardzo jest na rękę, no ale nikt nie mówił, że będzie łatwo. Na szczęście remont poszedł dość sprawnie i obdrapany pokoik

udało się zamienić w biuro

Teraz tylko podłączyć internet i już można lecieć z robotą... Niestety, podwykonawcy Netii bywają bardzo różni. Po wielu cyrkach z niewiadomym statusem realizacji zlecenia godzinami wiszenia na (dez)infolinii oraz bezkresnym burdelem na froncie Netia-podwykonawcy pierwszy pakiet dotarł do biura dopiero grubo ponad miesiąc później (sic!). Dodam że lokal znajduje w centrum Opola i były w nim od dawna działające skrzynki Netii. Oczywiście pierwszy pakiet został należycie wykorzystany (pobranie listy serwerów Teeworlds). Swoją drogą klepanie przez ponad miesiąc dużego portalu w Django bez internetu to całkiem nowe doświadczenie ;-)

Na szczęście mamy już październik i wszystko wychodzi na prostą. Obecnie działam wraz z dwoma kumplami ze studiów (sam przecież nie będę grał w Teeworlds), z czego każdy dla obniżenia kosztów pracy prowadzi własną działalność. Nie przeszkadza to jednak temu, że wszyscy trzej działamy pod jedną marką - Professional design, pdll.pl

Zajmujemy się oczywiście tworzeniem stron, bo przecież trzeba robić to co się lubi najbardziej :-) Póki co na brak roboty nie narzekamy. Cieszyć może to, że większość klientów trafia do nas z polecenia, gdzie nasi obecni klienci polecają nas kolejnym. Dzięki temu mamy pewność, że dobrze wykonujemy swoją pracę.

Po dwóch miesiącach dostrzegam już zalety prowadzenia własnej działalności:

nikt mnie nagle nie zwolni z pracy
praca przekłada się bezpośrednio na wynagrodzenie
łatwiej wziąć urlop ;-)

Django – personalizacja settings.py

Sun, 28 Jun 2009 11:17:04 +0200

Jak każdy djangowic dobrze wie plik settings.py przechowuje wszelkie ustawienia aplikacji począwszy od nazwy strony a na listach middleware'u czy liście zainstalowanych aplikacji skończywszy. Ponieważ zawiera on wszelkie ustawienia, musi być inny dla developera a inny dla serwera produkcyjnego (np. z powodu tego, że developer ma DEBUG=True).

Pierwszą możliwością rozwiązania tego problemu jest ignorowanie pliku settings.py przez repozytorium kodu, tak aby różne zawartości tego pliku nie powodowały konfliktów. Wadą takiego rozwiązania jest potrzeba ręcznego edytowania tego pliku na serwerze kiedy np. dodajemy nową aplikację do INSTALLED_APPS. Moje repozytorium aktualizuje stronę na serwerze po każdym commicie, więc ręczna edycja settings.py jest męcząca.

Drugą możliwością jest stworzenie osobnych ustawień dla serwera i osobnych dla developera. Django umożliwia uruchomienie serwera z podaniem pliku ustawień jako parametr:

python manage.py runserver --settings=settings-developer.py

Wszystko wydaje się być ok. Jeżeli coś zmieniamy to dokonujemy zmiany w settings.py, settings-developer.py i po commitcie wszystko gra. Czasami jednak przy testowaniu różnych rzeczy w pliku developera można zapomnieć o settings.py i po commicie znowu strona jest rozwalona. Poza tym nie każdy developer korzysta z tych samych ustawień. Jeden używa Django Debug Toolbar inny ColorSQLMiddleware więc trzeba by zrobić tyle settings-xxx ilu developerów. A później przy zmianie czegoś globalnego edytować wszystkie...

Ostatecznym rozwiązaniem okazało się przeciążenie pliku settings.py przez ponowną deklarację zmiennych lub rozszerzenie już istniejących wartości. Jak to zrobić?

Tworzymy plik, który będzie przetrzymywał nasze lokalne ustawienia, np. settings-local.py
Na końcu pliku settings.py dodajemy kod:

BASE_DIR = os.path.dirname(os.path.abspath(__file__))
execfile('%s/settings-local.py' % BASE_DIR)

Teraz w pliku settings-local.py możemy ponownie zadeklarować zmienne które mają zostać przeciążone lub rozszerzyć zadeklarowane już w settings.py listy. Np. kiedy jeden z developerów chce użyć Django Debug Toolbar dodaje do settings-local.py taki kod:

MIDDLEWARE_CLASSES += (
        'debug_toolbar.middleware.DebugToolbarMiddleware',
)

INSTALLED_APPS += (
        'debug_toolbar',
)

DEBUG_TOOLBAR_PANELS = (
        'debug_toolbar.panels.sql.SQLDebugPanel',
        'debug_toolbar.panels.headers.HeaderDebugPanel',
        'debug_toolbar.panels.cache.CacheDebugPanel',
        'debug_toolbar.panels.profiler.ProfilerDebugPanel',
        'debug_toolbar.panels.request_vars.RequestVarsDebugPanel',
        'debug_toolbar.panels.settings_vars.SettingsVarsDebugPanel',
        'debug_toolbar.panels.templates.TemplatesDebugPanel',
        # If you are using the profiler panel you don't need the timer
        # 'debug_toolbar.panels.timer.TimerDebugPanel',
)

Plik settings-local.py wywalamy z repozytorium i w ten sposób otrzymujemy elastyczny mechanizm współdzielenia wartości globalnych przy jednoczesnej personalizacji ustawień lokalnych.

Narzędzia do pracy grupowej poszukiwane

Thu, 04 Jun 2009 15:40:21 +0200

Obecnie pracuję jako programista aplikacji internetowych w małym zespole. Realizujemy kilka projektów w miesiącu i dość trudno jest zapanować nad wszystkimi zadaniami, które trzeba wykonać. W przypadku większych projektów korzystamy z Trac'a, jednak do mniejszych nie nadaje się on za dobrze ponieważ trzeba dla każdego projektu tworzyć nową instancję i nie ma jak zrobić zbiorczego zestawienia. Rozglądałem się więc za jakimś kompleksowym rozwiązaniem, które dawałoby możliwość ogarnięcia kilku projektów wraz ze śledzeniem repozytoriów Subversion.

Powstało już wiele serwisów oferujących podobną funkcjonalność. Wśród najbardziej znanych wymienić można:

Główną wadą pierwszych trzech rozwiązań jest to, że nie można ich hostować na własnym serwerze a jedynie wykupuje się konto na serwerze producenta. Collabtive jest co prawda aplikacją na licencji GNU GPL i można postawić to u siebie, ale z kolei zupełnie nie obsługuje repozytoriów kodu.

I tutaj pytanie do Was. Czego Wy używacie w pracy? Być może jest jakiś fajny projekt który przeoczyłem.

PS. Swoją drogą to dziwne, że nikt jeszcze czegoś podobnego w Django nie zrobił.

Python i jQuery czyli pyquery

Mon, 04 May 2009 15:51:57 +0200

Ostatnio wpadł mi w ręce bardzo ciekawy moduł Pythona, który śmiało można określić jako jQuery po stronie serwera. Jeżeli potrzebowaliście kiedyś wyciągnąć jakieś dane z kodu HTML-a i denerwowała was zabawa z parsowaniem kodu za pomocą sgmllib czy innego tego typu wynalazku, to wasze cierpienia właśnie się skończyły.

Jak to działa?

Na początek pobierzemy zawartość jakieś strony, z której chcemy wyciągnąć dane. Ja posłużę się stroną antyweb.pl, ponieważ jest całkiem przystępnie zakodowana.

from pyquery import PyQuery as pq
import urllib

html = urllib.urlopen("http://antyweb.pl").read()
html = pq(html)

Teraz wystarczy już zadecydować co chcemy wyciągnąć i po prostu to zrobić :-) Np. informacje o autorze

print  html("#f li.frt").text()

Wynik:

Witaj, nazywam sie Grzegorz Marczak i jestem autorem tego bloga. Piszę tutaj o serwisach spolecznosciowych, nowych technologiach i nowych trendach w internecie.

Wyciągnięcie wszystkich kategorii

for a in html("li.categories a"):
        print a.text

Wynik:

antytydzień Biała flaga
Ciekawe strony
google
Świat
Miniblog
Mobilnie
Moje przemyślenia
Off topic
polska
Pytamy.pl
Startups
To mnie drażni.
Uncategorized
W trakcie tworzenia
wywiady

Wyszukanie najczęściej komentowanego wpisu ze strony głównej

max_comments = 0
title = ''
for a in html("ul.clnn li.l a"):
        try:
                # liczba komentarzy
                comments = int(a.text.split(" ")[1])
                if max_comments < comments:
                        max_comments = comments
                        # nazwa wpisu
                        title = a.values()[1].replace("Komentarze do wpisu ",'')
        except:
                pass
                
print "Najwiecej komentarzy: %s" % max_comments
print "Wpis: %s" % title

Wynik:

Najwiecej komentarzy: 32
Wpis: Interia mówi, tak kupujemy ruch (bo inni też tak robią)

Więcej

To oczywiście tylko mała próbka możliwości. pyquery pozwala również na manipulację stylami (addClass, toggleClass, removeClass, attr, css) czy samą strukturą danych (append, prepend, prependTo, insertAfter, remove, replaceWith itd.). Jeżeli posiadamy moduł WebOb możemy też zaprzęgnąć do pracy Ajax.

Po więcej informacji zapraszam na stronę projektu pyquery.