Качаешь JDK 1.6 и Eclipse 3.3. Затем читаешь туториал и референс по RCP и SWT. Узнаешь что такое ViewPart, Action, Command и т.д. Смотришь, как пишутся плагины и что такое extension point/extension (это, если вкратце, соотв. интерфейс плюс его описание в XML и реализация плюс ее описание в XML). На это у тебя уйдет день или два, если знаешь Java.
Затем создаешь новый plug-in project, в котором пишешь простенький GUI и определяешь extension point для плагинов вычислений. Затем пишешь плагин вычислений на Java, отлаживаешь, оцениваешь скорость работы. Если все плохо, пишешь уже плагин, который использует С++ библиотеку (согласись, есть разница - на С++ писать GUI или только несколько функций, которые работают с числовыми массивами).
Затем можешь оформить готовое приложение в продукт, создать для него update site (чтобы потом обновления через него распространять) и выложить на веб или запаковать с помощью WinRar SFX/InstallShield/... И не забудь сделать кошелек вебманей и яндекс.денег, чтоб юзеры деньги слали

1. Фарш невозможно провернуть назад.
2. Не пей, козленочком станешь.
3. Алиса, миелофон у меня.