Greis, la imagen te da varias opciones, edit, move, share, delete. Si la tienes ampliada colocas arriba de la imagen el cursor y te salen las opciones.
No sé lo de las carpetas, pero si te refieres a sub-álbumes, para eliminarlos, arriba a la izquierda tienes MY HOME/ ALL ALBUMS, pincha en ALL ALBUMS, te sale la lista de tus álbumes, al colocarle el cursor te sale EDIT y DELETE.
No recuerdo bien porque hace tiempo que no elimino sub-álbumes, pero es posible que te salga un mensaje de advertencia si tienes imágenes dentro o también tengas que eliminar primero las imágenes para luego eliminar ese álbum.
Carpetas, ni idea.