В официальной документации на PHPUnit описан процесс установки для Linux, для Windows этот процесс немного отличается.
Поскольку внятного и полного руководства для Windows не нашел, решил написать сам. На всякий случай уточню, что речь идет о версии PHPUnit 3.4.11,
хотя не думаю, что в других версиях будут принципиальные отличия.