小云南是诸多山东族谱传称的祖籍地，祖籍山东的移民至少约有1500多万人皆称：世传祖居小云南。但是关于小云南的具体地点却众说纷纭。除“云贵说”外，“小云南”出处另有山东之说，山西北部“云中之南”之说，山西“洪洞县大槐树”之说，山西运城“小运南”之说，云南省“祥云”之说，安徽“凤阳”之说，“交趾国（今越南）”之说共八种。

根据近年史料的发掘整理，其实小云南并不特指某一地区，而是云南军户们在四川云南交界的聚集区。那么这些人在居住在小云南之前都是从哪些地方迁居而来的？

洪武十四年，明太祖挥动大军30万，扑灭坚据云南地区的梁王把匝剌瓦尔密部残元势力，随征的军户屯居在此处的卫所。这些军人主要来自山东莱州、登州、青州和以徽州、滁州为中心的下江地区，小部分为江西、江浙、湖广籍。战争结束后，这些军户在此安家。建文帝登基后，撤除了云南诸多卫所，原籍山东的军户大批调防回山东，因为自云南归来，他们的驻防地因而俚称“小云南”。