Před pár dny můj partner Pablinux řekl jim jak lokálně nainstalovat trendový model umělé inteligence. V tomto příspěvku uvedu, co považuji za lepší modely než DeepSeek, a jak je nainstalovat a spustit na našem počítači.
Pomineme-li jakékoli politické sympatie či antipatie, byl krok čínské vlády mistrovským dílem diplomatického marketingu hodný Sun Tzu. Na rozdíl od stylu Donalda Trumpa „Elephant in the Chinaware“ oznámili model, který nabízí stejné funkce jako ChatGPT zdarma a spotřebovává méně zdrojů. To víme jen my, kdo téma sledujeme Již delší dobu existuje mnoho dalších open source modelů (některé od severoamerických společností jako Meta) a výkon DeepSeek je srovnatelný s ChatGPT pouze v nejběžnějších 5 % použití.
Rozsáhlé jazykové modely
ChatGPT, DeepSeek a další se nazývají Large Scale Language Models. V podstatě Umožňují uživateli komunikovat s počítačem v jazyce podobném tomu, který se používá ke komunikaci s jinou lidskou bytostí. Aby toho dosáhli, jsou vyškoleni s velkým množstvím textu a pravidel, která jim umožňují vytvářet nové informace z toho, co již mají.
Jeho hlavní použití je odpovídat na otázky, sumarizovat texty, dělat překlady a reprodukovat obsah.
Lepší modely než DeepSeek a jak je nainstalovat lokálně
Stejně jako Pablinux budeme používat Ollama. Toto je nástroj, který nám umožňuje instalovat, odinstalovat a používat různé modely open source z terminálu Linux. V některých případech lze prohlížeč použít jako grafické rozhraní, ale tím se v tomto článku nebudeme zabývat.
Aby Ollama poskytoval správný uživatelský zážitek, je nejlepší mít vyhrazený GPU.Zejména u modelů s více parametry. Ty méně výkonné však lze použít na Raspberry Pi a když jsem dokonce testoval modely se 7 miliardami parametrů na počítači s 6 GB a bez dedikovaného GPU, počítač běžel bez zadrhnutí. Totéž se nestalo s jednou ze 13 miliard.
Parametry jsou pravidla, která model používá k vytváření vztahů a vytváření vzorů mezi daty. Čím více parametrů a dat, tím výkonnější bude model, který bude mít méně parametrů, mluví španělsky jako Tarzan.
Ollama můžeme nainstalovat pomocí příkazů
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Model můžeme nainstalovat příkazem:
ollama pull nombre_del modelo
A spusťte to pomocí:
ollama run nombre_del_modelo
Odinstalujeme jej pomocí:
ollama rm nombre_del_modelo
Nainstalované modely můžeme zobrazit zadáním:
ollama list
Následuje malý seznam modelů, které považuji za nejzajímavější: Kompletní seznam dostupných modelů naleznete zde zde:
lama2-bez cenzury
Llama je univerzální model vytvořený společností Meta. V této verzi byla odstraněna všechna omezení zavedená vývojáři původního projektu z právních nebo politických důvodů.. Má dvě verze, odlehčenou, která si vystačí s 8GB a plnou, která potřebuje 64. Lze ji použít k odpovídání na otázky, psaní textů nebo při kódovacích úlohách.
Instaluje se pomocí:
ollama pull llama2-uncensored
A běží s:
ollama run llama2-uncensored
codegemma
CodeGemma je výběr lehkých, ale výkonných šablon, které vám umožňují provádět různé programovací úlohy jak dokončit kód nebo jej napsat od začátku. Rozumí přirozenému jazyku, umí plnit pokyny a matematicky uvažovat.
Dodává se ve 3 variantách:
- Poučit: Transformuje přirozený jazyk na kód a může postupovat podle pokynů:
- Kód: Dokončete a vygenerujte kód z částí existujícího kódu.
- 2b: Úkol rychlejšího dokončení kódu.
Tynillama
Jak již název napovídá, jedná se o menší verzi původního modelu Meta.. Nebude to tedy mít tak dobré výsledky, ale pokud chcete vidět, jak model umělé inteligence funguje na skromném hardwaru, stojí za to ho vyzkoušet. Má pouze 1100 miliardy parametrů.
Lokální používání modelů má výhody soukromí a přístupu k necenzurovaným a nezaujatým verzím, které v některých případech bývají směšné. Umělá inteligence Microsoftu mi odmítla vytvořit obrázek jezevčíka, protože považovala výraz „mrcha“ za urážlivý. Největší nevýhodou jsou hardwarové nároky. Půjde o to vyzkoušet modely a najít takový, který je dostatečně dobrý pro to, co potřebujete a může jezdit na zařízení, které máte.