Para empezar a programar en php, practicar con bases de datos mysql, o simplemente para montar una página personal alojada en tu propio ordenador, lo más probable es que quieras instalar un servidor apache con dichas funciones. Puedes hacerlo descargando apache, php, mysql (tiene una comunidad hispana), myphpadmin… por separado y luego instalarlo, o directamente con un paquete que lo tenga todo incluido. Yo siempre he sido de los del "todo incluido" que parece mas sencillo, y para unas cosas o para otras, he probado varios (XAMPP, EasyPHP, Wamp, y creo que también LAMP en ubuntu), aunque hay muchísimos mas. Dejo aquí una lista con los más populares.
EasyPHP: Esta en varios idiomas, aunque su traducción al español tanto de la pagina como del programa es un poco defectuosa. Viene por defecto configurado para que no se pueda acceder desde internet a tu pagina, y deberás reconfigurar apache si es lo que deseas, o eso, o probar otro paquete.
Wamp: No esta en español, solo el ingles y francés, aunque por lo que recuerdo, este servidor me gusto mucho y lo use bastante mas tiempo que el EasyPHP.
Xampp: Es el que uso actualmente y que remplazó a wamp porque un plugin para el IDE Eclipse + PHP me lo requería, no lo he trasteado demasiado, aunque es fácil de manejar. Esta en ingles, pero es muy intuitivo.
Appserv: En ingles, tiene accesos directos a aplicaciones que pues instalar en tu servidor, Mambo, Moodle... Su pagina official actualmente no funciona, pero si su proyecto en sourceforge, tambien podeis usar google cache.
WinLamp: También es compatible con Perl, y tiene una versión "lite", que solo contiene apache + PHP.
VertigoServ: Instala SQLite y SQLiteManager por defecto, y mas cosas.
WebServer X kit: Para los usuarios de Mac OS X.
Lamp: Para los usuarios de Linux.