I denna grupp är upp till 65 procent direkt avvisande till att jobba längre, enligt undersökningen som genomfördes 10-12 april.
"Orsaken är främst att arbetsmarknaden i dag inte är redo. Den bjuder inte in till fler arbetsår", skriver Avanzas sparekonom Claes Hemberg på sin blogg.
I dagens arbetsmarknad upplever sig dessa grupper som lottlösa, vilket gör dem skeptiska till förslag om höjd pensionsålder.
Men unga personer som är tänkta att få en mer rättvis pension genom det nya systemet tycks inte heller uppskatta förslaget, skriver Claes Hemberg vidare. Bara var tredje ungdom är positiv.
Mest uppskattat är förslaget bland dem som i dag är äldre och som alltså påverkas minst. Bland dessa äldre är nästan varannan positiv till glidande pensionsålder.
Mellan män och kvinnor märks också stora skillnader i attiyden till höjd pensionsålder. Bland männen är 4 av 10 positiva, medan bland kvinnor är färre 3 av 10 positiva.