谜语解析：1. 分析谜面：“南来北往的客”，这里的“南来北往”意味着方向上的移动，而“客”通常指的是旅客或行人。

2. 将“南来北往”的“南”和“北”这两个字去掉，剩下的就是“来”和“往”。

3. 在汉字结构上，“来”字去掉“南”字后，剩下的是“米”字；“往”字去掉“北”字后，剩下的是“彳”字，而“彳”是“行”字的偏旁。

4. 将“米”和“行”结合起来，就可以理解为“少东家”，因为“少东家”中的“少”字可以看作是“米”字去掉了一部分，“东家”则包含了“行”字的结构。

所以，谜底是“少东家”。