I was not disconcerted by so little.

1）这里的by so little 怎么理解by的用法？这种by不是被动结构吧？

我认为是以下类似的用法：

used to show the degree or amount of sth （表示程度、数量）

The bullet missed him by two inches. 子弹只差两英寸就击中他了。 

House prices went up by 10%. 房价上涨了10%。

It would be better by far (= much better) to... 那比…好得多。

如果是这样的话，这里的by后面应该是一个类似名词的结构，那么这里的by so little 中的so是副词， little 是代词，副词可以修饰代词吗？

即so little是名词结构吗？

2）另外，是否可可去掉by，即说成I was not disconcerted so little. ？ 这样的话，这里的so 副词，little也是副词， 整个so little是副词词组。 可以吗？