Собственно, теоретических знаний мне таки не хватает, поэтому решил отвлечься от математических вычислений формы парабол или эллипсов и податься в практические методы.
Рисовал все в ворде, а рассчет углов - в экселе.
Был взят источник света и исходящие от него лучи с градацией 10 градусов. Далее на пути лучей ставился рефлектор под определенным углом и путем несложных вычислений рисовался отраженный луч. Так путем подбора углов рефлектора я получил вот такую картинку:

Или вот в более удобной форме:
Где зеленые линии - лучи от источника света, красные линии - рефлектор, синие линии - отраженные лучи.
Все углы - точные, никаких "от руки" или "на глаз".
Расстояние от источника света до аквариума =30см, расстояние от края рефлектора до аквариума =15см, ширина аквариума=60см.
Это первый набросок.. Дальше еще посижу - может сооружу что-то более компактное.
В данном варианте нет лучей выходящих за пределы аквариума - т.е. кпд довольно высокий. По поводу наклонных лучей можно не беспокоиться, т.к. до угла Брюстера (около 56 градусов) можно не брать в рассчет угол падения света, т.к. коэффициент отражения почти не меняется.
Преломление света на границе раздела будет лишь нам помогать "спрямляя" наклонные лучи...