Руслану надо бы в "для начинающих" переехать, вон скока тем много, там в однои трэде и будет.

по сабжу - маска делалась банально, просто инверсия картинки, допиливалась в Art Studio.
ручной алгоритм не остался, но реализован:
http://www.youtube.com/watch?v=L8fZFOhvNZQ&feature=plcp