然而，接着冒出来的第一个问题，是这个“人”的外延。

与《中庸》一起被列入四书的《大学》中说：“所恶于上，毋以使下。所恶于下，毋以事上。所恶于前，毋以先后。所恶于后，毋以从前。所恶于右，毋以交于左。所恶于左，毋以交于右。”（〈释“治国平天下”〉篇）这段话说的是上下左右，对于“己所不欲，勿施于人”之“人”，是一个完整的解释。上司将不合理的事情强加于你，如果你感到厌恶，就不能以同样的方式对待下级，下级对你阳奉阴违，如果你感到厌恶，也不能以同样的方式对待上级；左边的同事贪天之功，将功劳都归于他，你感到讨厌，不能以同样的方式去对待右边的同事；右边的同事文过饰非，将过失都推到你的身上，你感到憎恶，不能以同样的方式去对待左边的同事，这就是《大学》所说的“絜矩之道”。

同样的意思，在〈中庸·笃行〉中也有表述，那是孔子以“絜矩之道”来反躬自省的：“君子之道四，丘未能一焉：所求乎子，以事父未能也；所求乎臣，以事君未能也；所求乎弟，以事兄未能也，所求乎朋友，先施之未能也。”当然，孔子在此说的上下左右“丘未能一焉”，自有其客观原因。例如，他三岁时丧父，要求儿子尽孝道之时，其父早已在不人间，他想以同等规格“事父”而不得。但这一段话，对于我们理解他的恕道，理解所谓“己所不欲，勿施于人”之“人”，依然相当有益。孔子要以恕道对待的人，均在君臣父子兄弟朋友之列。