Podstawa to FRAPS albo coś a'la fraps żeby zgrać to co się na ekranie dzieje. Z tego co pamiętam dość dobrym softem do tego jest też GameCam, ale nie wiem jak to jest teraz rozwinięte. Kiedyś przedstawiał się słabo w porównaniu do frapsa (w kwestii jakości zgrywanego obrazu).
Do obróbki, edycji i montażu popularne są większe programy typu Adobe Premiere czy Sony Vegas. Nigdy z tego nie korzystałem ale ciekawy też może być taki Adobe After Effects. Wymieniony wyżej VirtualDub to sprawdzony program do kompresji video. I jak pisze lorgius, na win movie makerze też da rade coś tam zmontować.
Ja osobiście polecam vegas, pogooglować troche tutoriali i można się brać za montowanie.