方外人出自那本书或什么典故

成语《方外人》的出处如下：
清·刘鹗《老残游记》第19回：“你究竟是方外人。岂有个才明保了的就撤省的道理呢？”