小学阶段需要掌握的成语中，与“穷什么尽什么”结构相似的有：
山穷水尽：
指山和水都到了尽头，比喻无路可走陷入绝境。
无穷无尽：
指没有止境，没有限度。
穷形尽相：
原指描写刻画细致生动，现在指丑态毕露。
穷老尽气：
一直到了很大年纪，用尽了一生气力。
智穷才尽：
智能与才能已经穷尽。
计穷力尽：
计策和力量都用完了。
词穷理尽：
指再也找不到理由，无话可说。
这些成语在小学阶段的学习中，可以帮助学生更好地理解和使用汉语，丰富他们的语言表达能力和文学素养。建议学生在日常学习中多加积累和运用这些成语，以提高语言运用的准确性和生动性。