habria que tener en cuenta varios factores...

1º centro de coordenadas
2º centro de rotacion
3º si ambos puntos coinciden o no
4º si no coinciden, donde se situa el centro de rotacion con respecto al de coordenadas.
5º distancia del centro de rotacion al pixel rotado, que en el caso de que coincidieran el centro de rotacion y coordenadas, no habria problema, se podria hallar.

x² + y² = d²

6º distancia del pixel rotado al original.

dpixel = raiz cuadrada de 2d² - 2d²Cos(angulo de rotacion)

7º angulo que forma el pixel rotado con la horizontal o eje x, en su caso...

a = arctan(y/x)

8º angulos que forman la recta(pixel rotado-pixel original) con las rectas (centro rotacion-pixel rotado) y (centro rotacion-pixel original)...como es isosceles, son iguales

b = (180 - angulo de rotacion)/2

9º angulo del triangulo rectangulo de hipotenusa recta(pixel rotado-pixel original)

c = b - (90 - a)

10º distancia en coordenadas del pixel rotado al original

x = dpixel * Sen c
y = dpixel * Cos c

Coke.