В Windows XP время ожидания зависшей программы в миллисекундах устанавливает cтроковый параметр реестра

HKEY_CURRENT_USER\Control Panel\Desktop\HungAppTimeout

(1000 мс = 1 секунда). По умолчанию этот параметр равен 20 секундам. Понизив его, сократится время ожидания ОС зависшей программы.
Другой параметр

HKEY_CURRENT_USER\Control Panel\Desktop\WaitToKillAppTimeout