CentOS4のyumでPHP5などをインストール
/etc/yum.repos.d/CentOS-Base.repo
を書き換えると楽です。
CentOSのバージョンが4の場合、デフォルトではcentosplusが無効になっています。これが有効になっていないと、PHPは4.xに、PostgreSQLは7.xに、MySQLは4.1にと、すべて、微妙に使えないバージョンに限定されてしまいます。
使えないバージョンを yum remove してから、CentOS-Base.repo を
[centosplus] ... enabled=1
として、yum install でバージョンを確認しながら、欲しいものを再インストール。