Well, membangun portfolio di internet tidak dapat instan. Mungkin kita bisa lihat perjalanan Guido van Rossum—mengembangkan Python—bekerja sebagai engineer di Google, Rasmus Lerdorf—mengembangkan PHP—yang menjadi Distinguished Engineer Yahoo, dan banyak engineer lainnya. Oh ya, mempunyai influence merupakan starting point untuk dapat menjadi sukses seperti mereka. Oh ya, tentunya siap dengan pergeseran waktu.

tree - list contents of directories in a tree-like format.

Saya menggunakan ubuntu, cukup mudah menginstalnya jika perintah tree belum tersedia.

sudo apt-get install tree

Lalu kita lihat seperti apa keluarannya:

akeda@akeda-desktop:~$ tree ~/www/keuangan/app/models
/home/akeda/www/keuangan/app/models
|-- activity.php
|-- activity_child.php
|-- behaviors
|   |-- empty
|   |-- formatable.php
|   `-- money.php
|-- budget.php
|-- budget_detail.php
|-- budget_detail_description.php
|-- city.php
|-- datasources
|   `-- empty
|-- funding_source.php
|-- group.php
|-- groups_module_action.php
|-- journal_bank.php
|-- journal_cash.php
|-- journal_tax.php
|-- menu.php
|-- menu_type.php
|-- module.php
|-- module_action.php
|-- province.php
|-- site_setting.php
|-- tax_type.php
|-- transaction.php
|-- transaction_revision.php
|-- unit.php
|-- unit_code.php
|-- user.php
|-- user_log.php
`-- volume.php

2 directories, 30 files

Sebernarnya keluaran hasil tree di atas berwarna tergantung tipe berkas dan ekstensinya (yang terdefinsi dalam dircolors). Untuk penggunaan lebih lanjut silahkan coba-coba dan baca man tree.

1. membuka suatu berkas (misal dengan vim), dan
2. memblok seluruh baris lalu melakukan kopi (Ctrl-C), tutup berkas, dan
3. membuka berkas lainnya untuk mem-paste-nya.

Ups, mungkin Anda lupa bagaimana perintah di Vim untuk memblok keseluruhan baris. Disini xclip membantu Anda. Hal yang umum dilakukan kita adalah mengkopi isi dari berkas SSH Public Key di dalam berkas ~/.ssh/id_rsa.pub. Contohnya:

cat ~/.ssh/id_rsa.pub | xclip -sel clip

Silahkan klik Ctrl-V di tempat yang Anda inginkan. Untuk yang belum terinstall xclip, silahkan unduh di sini. Untuk pengguna Ubuntu:

sudo apt-get install xclip

Referensi:
http://sourceforge.net/projects/xclip/
http://help.github.com/linux-key-setup/

sudo apt-get install sendmail mailutils

Untuk mencoba mengirim email bisa gunakan utiliti mail :

mail -s "Test" me@example.net < /var/log/email.info

Ini akan mengirim email ke me@example.net dengan subject Test dan isi pesannya adalah isi dari berkas /var/log/email.info. Kebetulan server development di tempat saya MTA-nya sudah terasosiasi dengan DNS Server-nya jadi saya bisa menerima email tersebut ke inbox gmail saya, tanpa masuk ke spam, from-nya otomatis terisi oleh nama_user_di_server_development@nama_domain. Jika belum terasosiasi dengan DNS-Server-nya akan nyangkut di spam. Jika sudah terinstall MTA dan bisa terkirim emailnya ke tujuan, saatnya mencobanya dengan CakePHP. Good luck!

Dulu saat saya rajin ke Gramedia, saya sering menumpang membaca buku-buku komputer. Ada hal yang mengagetkan saya dari salah seorang penulis buku komputer Indonesia. Penulis ini banyak menulis buku komputer dan buku yang ditulis bukan buku terjemahan. Temanya meliputi elektronika dan bahasa pemrograman. Yang membuat saya kaget adalah tulisan yang ada di buku ini sudah saya baca semuanya di internet, dengan kata lain apa yang ada di buku-bukunya itu ada semua di internet, hanya saja berbeda bahasa. Ini bukan lagi kutipan, tapi kumpulan terjemahan halaman situs berbahasa Inggris ke bahasa Indonesia. Pantas saja buku komputer yang ditulisnya banyak sekali. Memang sekilas tidak ada yang salah, tapi seharusnya di buku tersebut di jelaskan bahwa tulisan bab sekian merupakan terjemahan dari halaman situs blablabla. Menurut saya mengambil referensi dari buku lain atau halaman situs itu tidak ada yang salah selama pengutip tidak menyalahi hak cipta penulis. Tapi ini menjadi tidak wajar jika banyaknya halaman yang diterjemahkan tanpa mengubah gaya penulisan. Buku-buku luar , seperti buku pemrograman Python atau HTML+CSS itu banyak sekali. Tapi mereka semua menulis dengan gaya yang berbeda dan mereka menyusun chapter-nya berbeda pula. Apakah penerbit Indonesia meloloskan buku seperti ini dengan mudah? Atau saya saja yang lebay? Dan juga kebanyakan buku komputer di Indonesia itu tidak di jaga kelanjutannya oleh penulisnya sendiri. Beberapa penerbit luar seperti O’reilly dan Apress menyediakan halaman resource tersendiri untuk buku yang diterbitkan, ini meliputi errata, halaman unduh dan bahkan penulisnya membuatkan situs khusus untuk buku tersebut sebagai wadah diskusi, saran dan kritik dari pembaca. Sepertinya berat juga jadi penulis *berpikir kembali sebelum menulis*.

Selain berkeinginan menulis, kenapa tiba-tiba juga ingin mengajar? Well, menulis itu mudah. Kita tidak langsung mengetahui apakah pembaca memahami atau tidak. Sedangkan dengan mengajar kita langsung bertatap muka, sehingga setidaknya bisa diketahui apakah penyimak memahami apa yang kita sampaikan atau tidak. Ada beberapa ide yang terpikir oleh saya dalam mengajar, antara lain:

1. Jika saya mengajar yang berkaitan dengan bahasa pemrograman, saya ingin yang saya ajarkan nanti membuat kelompok, merencakan membuat suatu proyek sumber terbuka lalu mengunggahnya di repositori dengan sistem kontrol versi (seperti di github.com, code.google.com atau sf.net). Mereka akan menjalani siklus pengembangan aplikasi sumber terbuka. Jika hitungan mengajar materi pemrograman ini selama 6 bulan, maka cukup bagi mereka untuk merilis sampai beberapa versi stabil. Saya lihat belum ada (CMIIW) perguruan tinggi berbasis IT di Indonesia yang mempunyai repositori sistem kontrol versi sendiri seperti github atau sf.net. Padahal ini bisa menjadi pemicu mahasiswanya untuk berkarya dan berkontribusi di dunia aplikasi sumber terbuka.
2. Di kampus saya ada kompetisi membuat perangkat lunak, tapi saya tidak tahu bagaimana proses pengembangan di belakangnya. Terkait dengan point no. 1, pastinya juri dapat memantau proses pengembangannya, juri dapat mengetahui siapa programmer yang paling aktif meng-commit. Selain penilaian secara fungsionalitas dan kekreatifan ide, seharusnya aplikasi juga dinilai dari kualitas kode yang dibuat. Mungkin ini agak sulit bagi juri jika harus mereview kualitas kode, tapi bisa digunakan skrip yang membaca dari repositori untuk melihat frekuensi baris komentar, membaca seberapa banyak log commit, frekuensi keaktifan programmer dalam commit — seperti Ohloh Analysis Summary. Dan baiknya setiap aplikasi menyediakan unit testing, sehingga juri bisa langsung melihat seberapa banyak unit test mencangkup aspek fungsionalitas aplikasi.

Ya ini hanya rencana yang saya ingin wujudkan, insyaallah.

Kembali ke laptop masa kuliah. Sejak duduk di bangku kuliah, saya ingin sekali berkontribusi dalam banyak hal, salah satunya yang belum kesampaian adalah membuat proyek sumber terbuka. Karena saya sudah mempunyai banyak waktu luang, saya mencoba belajar untuk membuat proyek sumber terbuka. Jangan takut dengan kualitas kode kita saat ini, karena seiring waktu jika Anda terus belajar dengan benar kualitas kode yang Anda hasilkan pasti akan meningkat. Kunci dalam proyek sumber terbuka adalah release early, release often. Jadi mulailah kontribusikan skrip sederhana Anda, jangan takut dengan bug-bug yang akan muncul nantinya. Saya percaya dengan kita banyak berkontribusi bagi banyak orang pekerjaan akan datang dengan sendirinya. Sambil menulis kode secara bebas, saya bisa memanfaatkan situs untuk freelancer yang melelang pekerjaan lepas.

Pada saat berada dalam kondisi seperti ini, saya terlalu terngiang dengan pikiran “Apakah saya telah gagal? Apakah saya bisa sukses dengan cara seperti ini? Apakah saya tidak bertanggung jawab dengan tidak bekerja tetap? Saya yakin, orang-orang dekat Anda akan bertanya “Bagaimana keluarga mu kelak nak?”. Saya tidak punya jawaban yang tepat dengan pertanyaan itu, karena hal itu butuh pembuktian dan belum terjadi. Pertanyaan seperti itu sebenarnya sama seperti “Bagaimana nanti kamu saat umur 40?” Tidak tahu bukan. Tapi saya punya rencana saat ini. Hehe.. jadi saya hanya bisa sebutkan rencana. Mari kita baca kembali paragraf ini dari awal, perhatikan kalimat “Apakah saya telah gagal?”. Ini menunjukkan suatu kejadian lampau. Ya, kejadian ini mungkin akan terulang lagi di masa depan, mungkin juga tidak. Lalu kalimat setelahnya “Apakah saya bisa sukses dengan cara seperti ini?”. Ini menunjukkan ketidakpastian mengenai sesuatu yang kita tempuh. Pernah mendengar kalimat “Gagal adalah suatu kejadian, sukses adalah jalan / cara”? Lalu apa kaitannya dengan tanggung jawab? Menurut saya, tanggung jawab disini adalah bagaimana strategi kita menghadapi kejadian gagal dan mencapai jalan sukses. Dan satu lagi, sukses itu relatif, bukan uang. Orang mempunyai perspektif yang berbeda mengenai sukses. Saya mempunyai gambaran yang mungkin sama dengan Anda tentang sukses. Saat kita mempunyai beberapa target kedepan dan kita bisa sukses mencapai target tersebut, bisa dikatakan kita telah sukses. Saat saya mempunyai target membuat proyek sumber terbuka dan belum tercapai, bisa dikatakan saya sedang menjalani cara sukses saya. Saat saya telah membuat proyek sumber terbuka, saya mempunyai target mempopulerkan dan terus mengembangkan proyek tersebut. Dan seterusnya target itu akan terus ada.

Tapi apabila kita banyak menggunakan berkas konfigurasi yang terpisah di beberapa direktori dan juga berkas temporari yang dihasilkan aplikasi, pekerjaan ini menjadi menjengkelkan. Belum lagi pengguna Subversion yang melupakan hal ini dan meng-commit berkas yang kita abaikan. Lalu kita ulang lagi svn rm dan menggunakan svn propedit svn:ignore kembali. Apakah ada solusi untuk ini ? Atau gunakan sistem kontrol versi lainnya seperti Git? Untuk Git, saya belum begitu paham. Tapi saya sudah coba gunakan github untuk skrip sederhana saya sekaligus untuk belajar. Jika saya tertarik, saya akan pindahkan proyek iseng saya ke github.

I used Python to crawl LinkedIn and Webometric. It was accidental, when i edit my profile on my LinkedIn, firebug shows ajax get request to populate university names on select element. So here is my python code to get LinkedIn university names based on country code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

import urllib
from xml.dom import minidom
import MySQLdb
 
WS_URL = 'http://www.linkedin.com/wsSchoolDir?q=&country=%s'
DB_HOST = 'localhost'
DB_NAME = 'bell'
DB_USER = 'root'
DB_PASSWD = '123456'
TBL_COUNTRY = 'countries'
COUNTRY_ID = 'id'
COUNTRY_CODE = 'iso2'
TBL_SCHOOL = 'universities'
 
def buildSchools():
    conn = MySQLdb.connect(
        host = DB_HOST, 
        user = DB_USER, 
        passwd = DB_PASSWD,
        db = DB_NAME,
        charset = 'utf8'
    )
    print "Creating table %sn" % TBL_SCHOOL
    cursor = conn.cursor()
    cursor.execute("DROP TABLE IF EXISTS %s" % (TBL_SCHOOL))
    cursor.execute("CREATE TABLE %s(`id` INT(11) NOT NULL AUTO_INCREMENT,`country_id` INT(5) NOT NULL,`name` VARCHAR(150) NOT NULL, PRIMARY KEY (`id`), KEY `country_id` (`country_id`)) ENGINE=MyISAM DEFAULT CHARSET=utf8" % (TBL_SCHOOL))
 
    print "Get countries from table %snn" % TBL_COUNTRY
    cursor.execute("SELECT %s, %s FROM %s WHERE 1" % (COUNTRY_ID, COUNTRY_CODE, TBL_COUNTRY))
    countries = cursor.fetchall()
 
    print "Trying to build schools..n"
    for country in countries:
        print "Populate schools in %sn" % country[1]
        schools = getSchools(country[1].lower())
        for school in schools:
            if len(school.getAttribute('v')) > 0 and school.getAttribute('v') != '0':
                univ = school.childNodes[0].data.replace('"', '\"')
                cursor.execute('''INSERT INTO %s VALUES(NULL, %d, "%s")''' % (TBL_SCHOOL, country[0], univ))
    print "nEnd building schools."
    cursor.close()
    conn.close()
 
def getSchools(code):
    dom = minidom.parse(urllib.urlopen(WS_URL % code))
    return dom.getElementsByTagName('s')
 
if __name__ == "__main__":
    buildSchools()

I got 9,229 university names from LinkedIn. In case you are curious how the code operates, it just iterate country code (2 digit code) in my countries table and requests the web service URL based on that country code. The web service will return XML containing universities name and, i guest, their id. The code then parse the XML, iterates each university names and insert it to table universities. Webometric is more complete than LinkedIn, I got 16,773 university names. Webometric provides catalogue of world universities consisting html pages of university names based on country code. Basically, crawling proccess is the same, request each html page of country and parse the university name and, this is the bonus, university url. Each country might be more than one page consisting 50 universities per page. This time i used SGMLParser to parse html page. So here’s the code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224

from sgmllib import SGMLParser
from urllib2 import urlopen, Request, BaseHandler
from httplib import BadStatusLine
import time
import MySQLdb
 
WS_URL = 'http://www.webometrics.info/university_by_country.asp?country=%s'
DB_HOST = 'localhost'
DB_NAME = 'bell'
DB_USER = 'root'
DB_PASSWD = '123456'
TBL_COUNTRY = 'countries'
COUNTRY_ID = 'id'
COUNTRY_CODE = 'iso2'
TBL_SCHOOL = 'webometric_universities'
 
class UnivParser(SGMLParser):
    domain = 'http://www.webometrics.info/'
    path = '/university_by_country.asp?country=%s'
    univ = []
    errorURL = []
 
    insideRowData = 0
    insideColOfUnivName = 0
    passedColOfUnivName = 0
    insideColOfUnivLink = 0
    insideUnivLink = 0
    currentUniv = {}
 
    sleepCount = 1;
    insideColNav = 0
    insideLinkOfNav = 0
    currentLinkOfNav = ''
 
    nextPage = ''
    pageNumber = 1
    endOfPage = 0
 
    def __init__(self):
        SGMLParser.__init__(self, verbose=0)
 
    def parse(self, url):
        self.univ = []
        self.pageNumber = 1 
        self.goToNextPage(url)
        return self.univ
 
    def goToNextPage(self, url):
        print "crawl page %d" % self.pageNumber
 
        self.insideRowData = 0
        self.insideColOfUnivName = 0
        self.passedColOfUnivName = 0
        self.insideColOfUnivLink = 0
        self.insideUnivLink = 0
        self.currentUniv = {}
 
        self.insideColNav = 0
        self.insideLinkOfNav = 0
        self.currentLinkOfNav = ''
 
        self.nextPage = ''
        self.endOfPage = 0
 
        try:
            req = urlopen(url)
        except IOError, e:
            print "Oops, we got HTTPError."
            reason = ""
            if hasattr(e, 'reason'):
                reason = 'Failed to reach a server. Reason: %d' % e.reason
            elif hasattr(e, 'code'):
                reason = 'The server couldn't fulfill the request. Error code: %d' % e.code
            print reason
            self.errorURL.append({'url': url, 'reason': reason})
            return
        except BadStatusLine, e:
            reason = ""
            if hasattr(e, 'reason'):
                reason = 'Failed to reach a server. Reason: %d' % e.reason
            elif hasattr(e, 'code'):
                reason = 'The server couldn't fulfill the request. Error code: %d' % e.code
            print reason
            self.errorURL.append({'url': url, 'reason': reason})
            return
        finally:
            self.sleepCount = 1
 
        self.feed(req.read())
        req.close()
 
        if len(self.nextPage):
            self.goToNextPage(self.domain + self.nextPage)
 
    def __sleep(self):
        time.sleep(0.5 * self.sleepCount)
 
    def getErrorURL(self):
        return self.errorURL
 
    def start_tr(self, attrs):
        if self.insideRowData == 0:
            for name, val in attrs:
                if name == 'class' and val == 'nav6a':
                    self.insideRowData = 1
 
    def start_td(self, attrs):
        if self.insideRowData:
            if self.passedColOfUnivName == 0: 
                self.insideColOfUnivName = 1
            else:
                self.insideColOfUnivLink = 1
        else: # inside col of nav
            for name, val in attrs:
                if name == 'class' and val == 'nav6a':
                    self.insideColNav = 1
 
    def start_a(self, attrs):
        if self.insideColOfUnivName:
            self.insideUnivLink = 1
        elif self.insideColNav:
            for name, val in attrs:
                if name == 'class' and val == 'nav6a':
                    self.insideLinkOfNav = 1
                if name == 'href':
                    self.currentLinkOfNav = val
 
    def end_tr(self):
        if self.insideRowData:
            self.insideRowData = 0
            self.passedColOfUnivName = 0
            self.univ.append( self.currentUniv )
            self.currentUniv = {}
 
    def end_td(self):
        if self.insideRowData:
            if self.insideColOfUnivName:
                self.insideColOfUnivName = 0
                self.passedColOfUnivName = 1
            else:
                self.insideColOfUnivLink = 0
        elif self.insideColNav:
            self.insideColNav = 0
 
    def end_a(self):
        if  self.insideUnivLink:
            self.insideUnivLink = 0
        elif self.insideLinkOfNav:
            self.insideLinkOfNav = 0
            self.currentLinkOfNav = ''
 
    def handle_data(self, data):
        if self.insideUnivLink:
            self.currentUniv['name'] = unicode( data.strip().replace('"', '\"'), 'latin-1')
            print self.currentUniv['name']
        elif self.insideColOfUnivLink:
            self.currentUniv['link'] = u'%s' % data.strip()
        elif self.insideLinkOfNav and data.lower() == 'next' and self.nextPage == '':
            self.nextPage = self.currentLinkOfNav
            self.pageNumber += 1
 
def buildSchools():
    conn = MySQLdb.connect(
        host = DB_HOST, 
        user = DB_USER, 
        passwd = DB_PASSWD,
        db = DB_NAME,
        charset = 'latin1'
    )
    print "Creating table %sn" % TBL_SCHOOL
    cursor = conn.cursor()
    cursor.execute("DROP TABLE IF EXISTS %s" % (TBL_SCHOOL))
    cursor.execute("CREATE TABLE %s(`id` INT(11) NOT NULL AUTO_INCREMENT,`country_id` INT(5) NOT NULL,`name` VARCHAR(150) NOT NULL, `url` VARCHAR(150) NOT NULL, PRIMARY KEY (`id`), KEY `country_id` (`country_id`)) ENGINE=MyISAM DEFAULT CHARSET=utf8" % (TBL_SCHOOL))
 
    print "Get countries from table %snn" % TBL_COUNTRY
    cursor.execute("SELECT %s, %s FROM %s WHERE 1" % (COUNTRY_ID, COUNTRY_CODE, TBL_COUNTRY))
    countries = cursor.fetchall()
 
    w = UnivParser()
 
    print "Trying to build schools from webometric..n"
    for country in countries:
        print "nPopulate schools in %s" % country[1]
        schools = w.parse(WS_URL % country[1].lower())
        for school in schools:
            cursor.execute('''INSERT INTO %s VALUES(NULL, %d, "%s", "%s")''' % (TBL_SCHOOL, country[0], school['name'], school['link']))
    print "nEnd building schools."
 
    """ print error """
    for err in w.getErrorURL():
        print "%sn" % err
 
    w.close()
    cursor.close()
    conn.close()
 
def insertSchools(url, cc):
    conn = MySQLdb.connect(
        host = DB_HOST, 
        user = DB_USER, 
        passwd = DB_PASSWD,
        db = DB_NAME,
        charset = 'latin1'
    )
    cursor = conn.cursor()
    cursor.execute("SELECT %s FROM %s WHERE iso2 = '%s'" % (COUNTRY_ID, TBL_COUNTRY, cc.upper()))
    country = cursor.fetchall()
 
    w = UnivParser()
    schools = w.parse(url)
    for school in schools:
        cursor.execute('''INSERT INTO %s VALUES(NULL, %d, "%s", "%s")''' % (TBL_SCHOOL, country[0][0], school['name'], school['link']))
    print "nEnd building schools."
 
    """ print error """
    for err in w.getErrorURL():
        print "%sn" % err
 
    w.close()
    cursor.close()
    conn.close()
 
if __name__ == "__main__":
    buildSchools()

Sorry, if the code is messed up. Since i didn’t care about error handling, you might encounter some problems when running the scripts.

Saya teringat oleh tulisan Joel Spolsky yang berjudul Fire and Motion. Ada saat dimana programmer berada dalam fase tidak produktif dan tidak tahu kapan dapat kembali ke masa produktifnya. Seperti halnya orang diet, yang hanya dapat sementara dan kembali ke pola makan biasanya. Dia tidak tahu fase itu. Memang benar apa kata si Joel, seperti ada batu besar di otak kita yang sulit untuk menggulirkannya atau malah menunggu batu itu bergulir dengan sendirinya. Batu diam akan cenderung diam. Namun jika telah berada dalam pergerakan itu, sebaiknya yang perlu dipertahankan adalah pergerakannya, bahkan lebih dipercepat akan sangat bagus. Seperti dibilang Joel, dalam strategi perang apalagi kita hanya diam, maka musuh akan membrondongi kita. Well, saatnya saya mulai tembak Anda dan bergerak maju (Cover me! I’ll move to that bridge and shoot that bastard).