of that day 中的of应该去掉吗

Of all the worshippers of that day who bent the knee to Smith, first and foremost stood Johnson.

昔日向史密斯屈膝的所有崇拜者之中，名列第一的是约翰逊。

疑问：of that day 中的of应该去掉吗？that day就可作状语。

若是of that day, 是不是意味着已经变为了所有格，作定语了。

请教老师剖析，谢谢！

of that day本来就是定语，如何能是状语呢？

格是一个词作不同成分时的词性变化，在英语中主如果指名词或代词的词性变化。of that day称为所有格是不欠当的。要防止这种说法。