名词所有格和some都属于中位限定词，而中位限定词互相排斥，即一个名词前最多只能用一个中位限定词。所以，你的二个名词短语都是错误的。改正如下：

some friends of my mom's

some books of my mom's

这个结构就是所谓的双重属格，即of短语表示所属关系，名词所有格再次表示所属关系。这种结构之所以使用，就是为了避免一个名词前同时出现二个中位限定词。

类似的还有：

a friend of my mom's

that friend of my mom's

any friend of my mom's

each friend of my mom's

注意friend 前都是中位限定词，所以所有格my mom's只能作为of 的宾语，介词短语后置修饰friend。