В качестве идеи:
Почему бы не разделить собственно толкатель и "плавающее" тело... Толкатель из подходящего пластика можно изготовить достаточно точно, чтоб перекосов и заклиниваний не было, а поплавок - уж как получится... Хоть тот же шарик соответствующего диаметра подобрать...
Или же второй вариант: два стакана. (Можно просто к трубам соответствующего диаметра поприклеивать донышки, точнее верхушки)...

А если всё же пенопласт... - то может следующий метод: заготовку выстругать ножом, насадить на ось (меньшего диаметра, чем будет шток (лучше с винтом, чтоб поджать можно было), зажать в дрель, и доводить до нужного диаметра не наждачкой, а каким-либо нагретым телом (тем же утюгом старым), только не слишком перегретым... Может и получится...
P.S.: Поставить по торцам две шайбы больших, лучше требуемым для поплавка диаметром, и используя эти шайбы как направляющие резать (плавить). Тогда, собственно, и дрель не нужна будет. Достаточно нагретого ножа...
Удачи!