Имам инсталиран Apache 2 с PHP 5 и MySQL 4 (Win 32). Възможно ли е да се инсталира MySQL 5 така че да остане да работи и старата версия, в смисъл не паралелно ами да ги превключвам по някакъв начин.

Може и паралелно дори, регистрираш сървисисте с различни имена а сървърите да тръгват на различни портове, да кажем 3306 за 4-ката и 3307 за петицата.

После контролираш към коя версия се връзваш през номера на порта:
mysql_connect('localhost:3306',...)
mysql_connect('localhost:3307',...)

Не съм много на ти с конфигурирането, но предполагам имаш в предвид mysql.default_port в php.ini . При мен това поле е празно (mysql.default_port = ) има стойност mysqli.default_port = 3306.

Друго е имал предвид човека.

MySQL сървъра има отделен конфигурационен файл.
Търси го по дървото на неговата инсталация.В общия случай има поне 4-5 различно конфигурирани файлове но активния е my.ini, другите са от рода на my-_____.ini

А в PHP можеш да окажеш порт номе за връзка към MySQL сървър при самото инициализиране на конекцията.Както следва:
$link = mysql_connect('example.com:3307', 'mysql_user', 'mysql_password');
3307 тук е номера на порта, ти си избираш твоя и нещата трябва да проработят.