Private, self-hosted AI —
built by an infrastructure engineer.
Частен, self-hosted AI —
от инженер по инфраструктура.
24+ years in Linux/BSD, networking and high-availability infrastructure. For the past several years, designing and operating applied-AI systems on local large language models — entirely on-premise, so sensitive data never leaves the organisation. 24+ години в Linux/BSD, мрежи и high-availability инфраструктура. През последните няколко години проектирам и оперирам приложни AI системи върху локални езикови модели — изцяло on-premise, така че чувствителни данни не напускат организацията.
What I doКакво правя
I run IT for a German-owned hosting and media group — a 12-person team across a large production estate. My work now centers on applied AI: making local LLMs reliable and genuinely useful for real operational work, with the operational judgment of two decades in production infrastructure behind every decision. Ръководя IT на германска хостинг и медийна група — екип от 12 души върху голяма продъкшън среда. Днес фокусът ми е приложният AI: да направя локалните езикови модели надеждни и реално полезни за оперативна работа, с инженерната преценка от две десетилетия production инфраструктура зад всяко решение.
ProjectsПроекти
Product design, architecture and operations by me; implementation built with LLM-assisted development.Продуктов дизайн, архитектура и поддръжка от мен; имплементацията е изградена с LLM-подпомогната разработка.
Dispatch
productionAI ticketing — automated triage and drafted responses over OTRS / Zammad / Znuny via API, with human-in-the-loop approval.AI тикет система — автоматична приоритизация и подготвени отговори над OTRS / Zammad / Znuny през API, с човешко одобрение.
AI Webmail
productionAnalytical mail platform: threat detection, summarization, translation and confidence-scored auto-replies, with PGP encryption.Аналитична пощенска платформа: разпознаване на заплахи, обобщения, преводи и автоматични отговори с confidence оценка, с PGP криптиране.
AI Ops Assistant
productionChat-driven assistant for remote server and infrastructure administration over SSH — VMs, processes, BGP sessions, Kubernetes cluster ops and monitoring through conversation. Evolved from an earlier n8n prototype with 40+ Proxmox API operations.Чат асистент за администриране на отдалечени сървъри и инфраструктура през SSH — VM-и, процеси, BGP сесии, Kubernetes клъстер операции и мониторинг чрез разговор. Еволюира от ранен n8n прототип с 40+ Proxmox API операции.
MIMI
in developmentMonitor & Manage Infrastructure — AI-assisted documentation and analysis of a full datacenter: topology, devices, BGP sessions, servers, power & cooling, with config, backup and incident automation.Monitor & Manage Infrastructure — AI-подпомогната документация и анализ на цял дейта център: топология, устройства, BGP сесии, сървъри, захранване и охлаждане, с автоматизация на конфигурации, бекъпи и инциденти.
DNSBL Tool
internalInternal system for automated analysis and management of DNS blocklists and whitelists — surfacing why an address is blocked and automating decisions.Вътрешна система за автоматичен анализ и управление на DNS блоклисти и whitelist адреси — показва защо адрес е блокиран и автоматизира решенията.
How private AI works hereКак работи частният AI тук
Every layer runs on hardware I own and operate. No third-party model provider ever sees your data.Всеки слой работи върху хардуер, който притежавам и оперирам. Никой външен доставчик на модели не вижда данните ви.
Multi-GPU inference clusterMulti-GPU inference клъстер
- 8× RTX 3090 on EPYC 7313P / ASUS ROMED8-2T with 512 GB ECC RAM, plus additional dual-3090 nodes and an RTX 6000-class build — poolable for larger models.8× RTX 3090 на EPYC 7313P / ASUS ROMED8-2T с 512 GB ECC RAM, плюс допълнителни dual-3090 възли и RTX 6000-class машина — обединяеми за по-големи модели.
- Proxmox with LXC GPU passthrough; serving via vLLM and llama.cpp.Proxmox с LXC GPU passthrough; serving през vLLM и llama.cpp.
- Quantization trade-offs, model evaluation & regression testing, experimentation with fine-tuning of Qwen-family models.Quantization компромиси, оценка на модели и regression тестове, експерименти с fine-tuning на Qwen модели.
Built for sensitive dataСъздадено за чувствителни данни
- Data never leaves your control — GDPR & Responsible-AI alignment by design.Данните не напускат вашия контрол — GDPR и Responsible-AI съответствие по дизайн.
- Predictable cost — owned hardware, not per-token cloud billing.Предвидима цена — собствен хардуер, не cloud такси на токен.
- No vendor lock-in — open models and open infrastructure you own.Без vendor lock-in — отворени модели и инфраструктура, които притежавате.
ServicesУслуги
{IC_SERVER}Private AI infrastructureЧастна AI инфраструктура
Specification, assembly, tuning and operation of on-prem GPU servers for local model serving. Model selection, quantization and evaluation for your workload.Спецификация, сглобяване, настройка и поддръжка на on-prem GPU сървъри за локален model serving. Избор на модел, quantization и оценка за вашия случай.
{IC_GEAR}Custom internal AI systemsВътрешни AI системи
Ticketing automation, mail analysis & security, document processing, semantic search, infrastructure monitoring — built around your processes.Автоматизация на тикети, анализ и сигурност на поща, обработка на документи, семантично търсене, мониторинг на инфраструктура — около вашите процеси.
{IC_FLOW}RAG & agentic workflowsRAG и агентни процеси
Retrieval and agent systems over your own documents and databases, with guardrails, human approval and confidence scoring.Retrieval и агентни системи над вашите документи и бази данни, с guardrails, човешко одобрение и confidence оценка.
{IC_PLUG}Integration & consultingИнтеграция и консултации
Connecting AI to existing systems; evaluation, reliability and cost review of AI features already in use.Свързване на AI със съществуващи системи; оценка на надеждност и цена на вече използвани AI функции.
Have a problem worth solving?Имате задача, която си струва?
Open to full-remote infrastructure & applied-AI roles, and to contract engagements for private, on-premise AI.Отворен за full-remote infrastructure и applied-AI позиции, както и за договорна работа по частни on-premise AI системи.