伍次友婉拒了康熙皇帝让他带走苏麻喇姑的提议，主要基于以下几点考虑：
身份和责任：
伍次友认识到自己作为士人的身份和对国家的责任，不愿因个人情感影响对国家的贡献。
皇帝的感情：
他察觉到康熙皇帝也对苏麻喇姑有深厚的感情，与皇帝争夺女人不仅不现实，也可能会给自己带来灾难。
未来不确定性：
伍次友预见到如果与皇帝争女人，未来可能会面临皇帝的恩将仇报，给自己和苏麻喇姑带来不安。
保全自身：
考虑到自己的政治才能初露锋芒，伍次友担心自己的性命安全，选择放弃可能引起皇帝不满的私情。
苏麻喇姑的选择：
伍次友尊重苏麻喇姑的选择，并理解她更倾向于与皇帝在一起，而非自己。
避免宫廷斗争：
伍次友不愿卷入宫廷的权力斗争，选择离开皇宫，回归平民生活，以保全自己和苏麻喇姑的平静生活。
综上所述，伍次友的决定反映了他的深思熟虑和对大局的把握，他宁愿放弃个人的感情，也要保护自己和苏麻喇姑免受宫廷纷争的伤害。这一选择体现了他的高尚品德和对国家、人民的忠诚