I have also heard positive feedback on #OpenWebUI - which brings a #GUI to ollama. Haven't tried it yet (it requires #docker to be setup) but my colleagues in the space are raving about it.
I have also heard positive feedback on #OpenWebUI - which brings a #GUI to ollama. Haven't tried it yet (it requires #docker to be setup) but my colleagues in the space are raving about it.
From OpenWebUI:
> Screen Reader Support for Response Messages
All chat responses are now fully compatible with screen readers, making the platform more inclusive and accessible for everyone.
Well um, I mean, I don't use a hearing aid... But um, that's... Good... I'll see if it works.
@Gina If I had to choose, I'd probably go with #Ollama (which has been mentioned several times already). It's licensed under the MIT license and the models are about as close to open source as you can get. When I play with LLMs, it's what I use. Locally run and with an API that could be used to integrate with other stuff. I also have #OpenWebUI to make things prettier. Both can run locally, though OpenWebUI can integrate with cloud LLMs too. Of course, tomorrow everything could change.
Сегодня маленький приятный восторг - и опять с нейросетями.
Коллега последние два с чем-то дня пердолился с одной внешней системой, которая хотела очень специфическую подпись запросов.
У системы есть референсный микросервис на Python и невалидные примеры кода на C#.
Он пытался спрашивать ChatGPT, но результат получался неправильный. Кстати, такой же как в дотнете.
Я решил попробовать помочь. Предложил потыкать Claude Sonnet. Но у него нет туда доступа.
Тогда пошёл копаться сам. Нашёл неконсистентности между тем как делается подпись в Python и Go.
Рабочая гипотеза была сформирована.
Пошёл в ChatGPT, попросил написать с учётом своих находок и получил диалог вида:
Я: Напищи мне порт на Go
GPT: Вот
Я: Но тут совсем не то, смотри в чем разница
GPT: Тогда вот
Я: Но это не работает. Смотри какая проблема и ошибка.
GPT: Ну все правильно, ты передашь не то в метод, вот как надо
GPT: *По сути откатывает код назад*
Я: Ебать спасибо нахуй
Меня это тяни-толкание заёбывает, я иду и покупаю кредиты на OpenRouter за крипту.
Выписываю ключ API и подключаю его к своему @openwebui чтобы кроме локальных моделей можно было подключить облачную тяжелую артиллерию когда надо.
Иду в Claude Sonnet.
Я: надо портировать на Go
Claude: Вот
Claude: *пишет код со всеми теми нюансами, которые нашёл и я когда смотрел разницу в биндингах к криптобиблиотекам*
Я: Неплохо, но вот в этом месте стандартной либы Go происходит ошибка.
Claude: И правда. Вот что надо исправить.
И выдаёт полностью рабочий код абсолютно идентичный референсному микросервису, который выдаёт правильные подписи за счёт правильных костылей имитирующих то, что творится в питоне.
Примерно за 5 центов в сумме.
Короче выводы сегодняшнего дня:
- Если вам не помогает GPT с кодом - обязательно сходите к Claude
- Я буду добиваться корпоративного OpenWebUI с доступом к разным ассистентам в компании
I basically have a DIY Perplexity setup running in OpenWebUI (which is running politely alongside Plex). I'm using Mistral-Large with web search via SearXNG and the system prompt that Perplexity uses for their Sonar Pro searches.
And since OpenWebUI has an OpenAI-compatible API, I can connect to it from this GPTMobile app on my phone and query my custom search assistant model.
I set up #OpenWebUI on one of my more powerful servers, and it is fantastic. I'm running a couple smaller local Llama models, and hooked up my Anthropic and OpenRouter API keys to get access to Claude and a bunch of other models including Mistral, DeepSeek, and others. I also linked up my Kagi search API key to give web search capabilities to the models that don't have a web index. I will probably lower my Kagi Ultimate subscription to Professional since I no longer have a need for their Assistant.
@skykiss That's why you download the model and use it on your local system only. #deepseek #ollama #ollamacuda #docker #openwebui
Thanks to this video by NetworkChuck we are setting up our own #AI locally in studio using #Ollama and #openwebui to break free from similar cloud based services widely reported to use unreasonable amounts of energy and water resources. This will also empower us to choose more ethically-trained #opensource models over time.
https://m.youtube.com/watch?v=Wjrdr0NU4Sk
#LocalAI #OpenSourceAI #EthicalChoices
Ich durfte gestern beim "Heidelberger Informatiklehrkräftetag" (#HILT) Lehrer:innen der #Informatik zeigen, wie man sein eigenes #LLM GRATIS finetunen kann - in unserem Fall #Llama3 und #Phi3 - mit der #MacgAIver Pipeline.
Das Ziel ist dabei nicht (nur), Geld zu sparen, sondern mit einfachen Mitteln für mehr #KIMuendigkeit zu sorgen, indem Schüler:innen einen kleinen Blick unter die Motorhaube von Sprachmodellen werfen können.
Dabei helfen uns u.a. #ollama, #openwebui, #llamafactory und #llamacpp, aber auch Grundwissen aus den Geisteswissenschaften (bzw. den Fächern Deutsch, Englisch, Geschichte...), um zu einem tiefergehenden Verständnis von #genAI und seinen Umgang mit unserem "kulturellen Archiv" zu gelangen.
Es hat Spaß gemacht!
Für künftige MacgAIver-Ideen kann man dieser Gruppe folgen: @macgaiver
#fediLZ #lernenmitKI #KI #edubw #bildung #Heidelberg #education #ai #aieducation #genAI #Informatikunterricht #Medienkompetenz #InformatikEdu #AILiteracy
Wer im Sinn von #KIMündigkeit die Motorhaube zwei Millimeter öffnen möchte (lokal, ganz ohne Kosten, eigenen Server oder GPU):
1. #openwebui installieren: https://github.com/open-webui/open-webui
2. Ollama.ai Modell "phi3.5" laden
3. Sofort loschatten, Dokumente ins #RAG laden, im Web suchen...
Okay seriously, stop using our word for basically any update like localization or usability for non-disabled people! Ugh! Like we have fought so freaking hard for accessibility and now these stupid AI people (OpenWebUI in this case) just throw around "accessibility" like it's meaningless. Like reserve accessibility for oh I don't know, actual accessibility improvements that OpenWebUI really, really needs.
"Added Malay (Bahasa Malaysia) translation and updated Catalan and Traditional Chinese translations to improve accessibility for more users."
I now have access to an Ollama OpenWebUI instance, hosted on a really good server. Only problem is, as usual, there are plenty of unlabeled controls and such. @tayarndt has been working on fixes, so hopefully one day they'll be added. :)
Тем временем, в OpenWebUI некоторое количество релизов назад подвезли функции и тулзы.
Насколько я понял, они стараются ещё и быть как минимум частично совместимыми с API OpenAI.
В итоге можно теперь решать проблему диалога с нейросетью, которая плохо знает твой язык: подключается функция перевода (я тестил Google Translate, есть и LibreTranslate) и диалог не на английском становится уже не таким странным.
Ещё надо потестить интеграцию тулзов - можно будет предоставить модели доступ к внешним вызовам вроде запроса погоды или даже похода в Home Assistant.
Когда-нибудь я найду время и накручу на коленке свою селфхостед Алису из LLaMA, OpenWhisper, какого-то TTS и пачки плагинов. Но это неточно.
Responsive UI my ass
Yesterday was Another day of working on #OpenWebUi for #accessibility. I had a few things I did. First, I made the chat more accessible by adding labels. Next, I added more headings. Finally, I fixed the mottle selection dropdown. It is finally labeled now. Today, I hope to fix some menus and remove icons that are causing issues for scree reader users. Want to see my progress? check out the github. https://github.com/tayarndt/open-webui
it's time to self-host some LLM's!