Orth, Der Amtssitz der Opposition