Normalmente los reguladores de tension se calientan muchisimo, al igual que esos pequeños transformandores adaptadores de red, puede ser el problema que el transformador no sea el adecuado para el router ó sencillamente puede ser que ese calor excesivo que notas sea totalmente normal. Me gustaría que vieses como se ponen algunos componentes de television,que si los tocas te dejas la piel y en cambio funcionan tan panchos.
Si te enciende el router el regulador no está mal,en todo caso podría tener el router un exceso de consumo por algún lado, lo que no nos has dicho es ti te funciona correctamente aparte de encenderse.
Dejalo funcionando y si revienta ya sabes que tienes un problema

Un saludo