Help:Extension:Translate/Translation memories/cs

Rozšíření překladové paměti podporuje ElasticSearch. Cílem této stránky je provést vás při instalaci ElasticSearch a podrobněji prozkoumat jeho specifikace.

Na rozdíl od jiných překladových pomůcek, například externích služeb strojového překladu, je překladová paměť neustále aktualizována novými překlady na vaší wiki. Rozšířené vyhledávání v překladech, pokud se rozhodnete použít ElasticSearch, je také k dispozici na stránce Speciál:Hledat Překlady (Special:SearchTranslations).

Srovnání

Ve výchozím nastavení se používá databázový backend (slouží k administraci a ke zpracování dat): Nemá žádné závislosti a nevyžaduje konfiguraci. Databázový backend nelze sdílet mezi více wiki a nelze jej rozšiřovat na velké množství přeloženého obsahu. Proto také podporujeme ElasticSearch jako backend. Je také možné použít překladovou paměť jiné wiki, pokud je otevřené její webové API. Na rozdíl od ElasticSearch nejsou vzdálené backendy aktualizovány překlady z aktuální wiki.

	Databáze	Vzdálené API	ElasticSearch
Ve výchozím nastavení povoleno	<translate> Yes</translate>	<translate> No</translate>	<translate> No</translate>
Může mít více zdrojů	<translate> No</translate>	<translate> Yes</translate>	<translate> Yes</translate>
Aktualizováno místními překlady	<translate> Yes</translate>	<translate> No</translate>	<translate> Yes</translate>
Přímý přístup k databázi	<translate> Yes</translate>	<translate> No</translate>	<translate> No</translate>
Přístup ke zdroji	Editor	Odkaz	Editor, pokud je místní nebo odkaz
Lze sdílet jako službu API	<translate> Yes</translate>	<translate> Yes</translate>	<translate> Yes</translate>
Výkon	Není správné měřítko	Neuvedeno	Rozumné

Požadavky

ElasticSearch backend

Nastavení ElasticSearch je relativně snadné. Pokud není ve vašich distribučních balíčcích k dispozici, můžete si jej stáhnout z jejich webových stránek. Budete také muset získat rozšíření Elastica . Nakonec se podívejte na puppet/modules/elasticsearch/files/elasticsearch.yml pro konkrétní konfiguraci potřebnou pro překlad.

Skript bootstrapu (samozaváděcího programu) vytvoří potřebná schémata. Pokud používáte backend ElasticSearch s více wiki, budou ve výchozím nastavení sdílet překladovou paměť. Pokud nenastavíte parametr indexu v konfiguraci.

Při aktualizaci na další hlavní verzi ElasticSearch (např. aktualizace z 2.x na 5.x) se důrazně doporučuje přečíst poznámky k verzi a dokumentaci týkající se procesu aktualizace.

Instalace

Po zavedení požadavků instalace vyžaduje, abyste vyladili konfiguraci a poté spustili bootstrap (samozaváděcí program).

Konfigurace

Všechny překladové pomůcky včetně překladových pamětí jsou konfigurovány pomocí konfigurační proměnné $wgTranslateTranslationServices.

Backend primární překladové paměti musí používat klíč TTMServer. Primární backend přijímá aktualizace překladu a používá ho Speciál:Hledat překlady (Special:SearchTranslations).

Příklad konfigurace TTMServers:

Výchozí konfigurace
$wgTranslateTranslationServices['TTMServer'] = array( 'database' => false, // Passed to wfGetDB 'cutoff' => 0.75, 'type' => 'ttmserver', 'public' => false, );
Vzdálená konfigurace API
$wgTranslateTranslationServices['example'] = array( 'url' => 'http://example.com/w/api.php', 'displayname' => 'example.com', 'cutoff' => 0.75, 'timeout' => 3, 'type' => 'ttmserver', 'class' => 'RemoteTTMServer', );
Konfigurace backendu ElasticSearch
V tomto případě bude jediná back-endová služba použita jak pro čtení, tak pro zápis. $wgTranslateTranslationServices['TTMServer'] = array( 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, /* * See http://elastica.io/getting-started/installation.html * See https://github.com/ruflin/Elastica/blob/8.x/src/Client.php 'config' => This will be passed to \Elastica\Client */ );
Konfigurace více backendů ElasticSearch (podporováno MLEB 2017.04, kleslo v MLEB 2023.10)
// Definuje výchozí službu používanou pro operace čtení // Umožňuje rychle přepnout na jiný backend // Možnost konfigurace 'mirrors' již není podporována od verze MLEB 2023.10 $wgTranslateTranslationDefaultService = 'cluster1'; $wgTranslateTranslationServices['cluster1'] = array( 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, /* * Definuje seznam služeb, do kterých se replikují zápisy. * Jsou zde povoleny pouze "zapisovatelné" služby. / 'mirrors' => [ 'cluster2' ], 'config' => [ 'servers' => [ 'host' => 'elastic1001.cluster1.mynet' ] ] ); $wgTranslateTranslationServices['cluster2'] = array( 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, / * pokud je "cluster2" definován jako výchozí služba, začne se replikovat zápisy do "cluster1". */ 'mirrors' => [ 'cluster1' ], 'config' => [ 'servers' => [ 'host' => 'elastic2001.cluster2.mynet' ] ] );
ElasticSearch více služeb s jednou čitelnou službou pomocí konfigurace `writable` (podporováno MLEB 2023.04)
Při konfiguraci `writable` se uplatňují následující pravidla: Pokud je zadáno `writable`, služby označené jako `writable` jsou považovány pouze za zápis a ostatní jsou považovány pouze za čtení. Pokud není žádná služba specifikována jako `writable`, pak jsou služby považovány za čitelné i zapisovatelné. Výchozí služba musí být vždy čitelná. Pokud je služba označena jako zapisovatelná, konfigurace zrcadel nebude povolena. // Tři služby nakonfigurované tak, že jedna je čitelná a ostatní jsou zapisovatelné. $wgTranslateTranslationServices['dc0'] = [ 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, // Výchozí službu nelze označit jako službu pouze pro zápis ]; $wgTranslateTranslationServices['dc1'] = [ 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, // Označí tuto službu jako službu určenou pouze pro zápis 'writable' => true, ]; $wgTranslateTranslationServices['dc2'] = [ 'type' => 'ttmserver', 'class' => 'ElasticSearchTTMServer', 'cutoff' => 0.75, 'writable' => true ]; $wgTranslateTranslationDefaultService = 'dc0';

Možné klíče a hodnoty jsou:

Klíč	Platí pro	Popis
`config`	ElasticSearch	Konfigurace předána Elastice.
`cutoff`	Vše	Minimální prahová hodnota pro odpovídající návrh. Uvádí se pouze několik nejlepších návrhů, i když by jich bylo nad prahem více.
`database`	Místní	Pokud chcete uložit překladovou paměť na jiné místo, můžete zde zadat název databáze. Musíte také nakonfigurovat nástroj pro vyrovnávání zatížení MediaWiki, abyste věděli, jak se k této databázi připojit.
`displayname`	Vzdálený	Text zobrazený v popisku, když umístíte kurzor na zdrojový odkaz návrhu (odrážky).
`index`	ElasticSearch	Index, který se použije v ElasticSearch. Výchozí: ttmserver.
`public`	Vše	Zda lze tento TTMServer zjistit prostřednictvím api.php této wiki.
`replicas`	ElasticSearch	Pokud používáte klastr, můžete zvýšit počet replik. Výchozí: 0.
`shards`	ElasticSearch	Kolik shards (částí) lze použít. Výchozí: 5.
`timeout`	Vzdálený	Jak dlouho v sekundách čekat na odpověď od vzdálené služby.
`type`	Vše	Typ serveru TTMS z hlediska formátu výsledků.
`url`	Vzdálený	URL pro api.php vzdáleného TTMServeru.
`use_wikimedia_extra`	ElasticSearch	Boolean, když je nasazen extra plugin, můžete deaktivovat dynamické skriptování na Elastic v1.x. Tento plugin je nyní povinný pro klastry Elastic 2.x.
`mirrors` (DEPRECATED Since MLEB 2023.04)	Zápisové služby	Pole řetězců, definuje seznam služeb, na které se replikují zápisy, umožňuje udržovat aktuálních více služeb TTM. Užitečné pro rychlé přepínání nebo ke snížení prostojů během plánovaných údržbářských operací (přidáno v MLEB 2017.04) Nelze použít spolu s nově přidanou konfigurací `writable`.
`writable` (Added in MLEB 2023.04)	Služby pouze pro zápis	Booleovská hodnota definovaná pro službu, pokud je tato služba pouze pro zápis. Výchozí službu (`wgTranslateTranslationDefaultService`) nelze označit jako pouze pro zápis. Pokud ze všech nakonfigurovaných služeb překladové paměti není žádná označena jako `writable`, pak jsou všechny služby považovány za čitelné a zapisovatelné. Podívejte se na <translate> task <tvar name=1>T322284</tvar></translate>

Pokud chcete aktualizovat překladovou paměť novými překlady, musíte použít jako index pole pro $wgTranslateTranslationServices klíč TTMServer. Vzdálené servery TTMS na to nelze použít, protože je nelze aktualizovat. Od MLEB 2017.04 může být klíč TTMServer konfigurován s konfigurační proměnnou $wgTranslateTranslationDefaultService. Podpora pro backend Solr byla zrušena v MLEB-2019.10 v říjnu 2019.

V současné době je pro backend databáze podporována pouze MySQL.

Bootstrap (samozaváděcí program)

Jakmile vyberete ElasticSearch a nastavíte požadavky a konfiguraci, spusťte ttmserver-export.php pro zavedení překladové paměti. Bootstrapping je vyžadován také při změně backendu překladové paměti. Pokud používáte backend sdílené překladové paměti pro více wiki, musíte každou z nich zavést samostatně.

Weby s množstvím překladů by měly zvážit, pro urychlení procesu, použití více vláken s parametrem --thread. Čas do značné míry závisí na tom, jak kompletní jsou statistiky dokončení skupiny zpráv (neúplné budou vypočteny během zavádění systému). Nové překlady jsou automaticky přidávány pomocí háčku. Při vytvoření prvního překladu jsou přidány nové zdroje (definice zpráv).

Bootstrap dělá následující věci, které se jinak nedějí:

přidávání a aktualizace schématu překladové paměti;
naplnění překladové paměti stávajícími překlady;
vyčištění nepoužívaných překladových záznamů vyprázdněním a opětovným naplněním překladové paměti.

Po aktualizaci překladu zprávy se předchozí překlad odstraní z překladové paměti. Když se však překlady aktualizují oproti nové definici, přidá se nová položka, ale stará definice a její staré překlady zůstanou v databázi, dokud nebudou vymazány. Když zpráva změní definici nebo je odstraněna ze všech skupin zpráv, nic se nestane okamžitě. Uložení překladu jako fuzzy nepřidá nový překlad ani neodstraní starý překlad v překladové paměti.

TTMServer API

Pokud byste chtěli implementovat vlastní službu TTMServer, zde jsou specifikace.

Parametry dotazu:

Vaše služba musí akceptovat následující parametry:

Klíč	Hodnota
`format`	json
`action`	ttmserver
`service`	Volitelný identifikátor služby, pokud existuje více sdílených překladových pamětí. Pokud není uveden, předpokládá se výchozí služba.
`sourcelanguage`	Kód jazyka používaný v MediaWiki, viz IETF a ISO693?
`targetlanguage`	Kód jazyka používaný v MediaWiki, viz IETF a ISO693?
`test`	Zdrojový text ve zdrojovém jazyce

Vaše služba musí poskytnout objekt JSON, který musí mít klíč ttmserver s řadou objektů. Tyto objekty musí obsahovat následující údaje:

Klíč	Hodnota
`source`	Původní zdrojový text.
`target`	Návrh překladu.
`context`	Místní identifikátor zdroje, nepovinný.
`location`	URL na stránku, na které se návrh zobrazuje.
`quality`	Desítkové číslo v rozsahu [0..1] popisující kvalitu návrhu. 1 znamená perfektní shoda.

Příklad:

{
        "ttmserver": [
                {
                        "source": "January",
                        "target": "tammikuu",
                        "context": "Wikimedia:Messages\\x5b'January'\\x5d\/en",
                        "location": "https:\/\/translatewiki.net\/wiki\/Wikimedia:Messages%5Cx5b%27January%27%5Cx5d\/fi",
                        "quality": 0.85714285714286
                },
                {
                        "source": "January",
                        "target": "tammikuu",
                        "context": "Mantis:S month january\/en",
                        "location": "https:\/\/translatewiki.net\/wiki\/Mantis:S_month_january\/fi",
                        "quality": 0.85714285714286
                },
                {
                        "source": "January",
                        "target": "Tammikuu",
                        "context": "FUDforum:Month 1\/en",
                        "location": "https:\/\/translatewiki.net\/wiki\/FUDforum:Month_1\/fi",
                        "quality": 0.85714285714286
                },
                {
                        "source": "January",
                        "target": "tammikuun",
                        "context": "MediaWiki:January-gen\/en",
                        "location": "https:\/\/translatewiki.net\/wiki\/MediaWiki:January-gen\/fi",
                        "quality": 0.85714285714286
                },
                {
                        "source": "January",
                        "target": "tammikuu",
                        "context": "MediaWiki:January\/en",
                        "location": "https:\/\/translatewiki.net\/wiki\/MediaWiki:January\/fi",
                        "quality": 0.85714285714286
                }
        ]
}

Backend databáze

Backend obsahuje tři tabulky: translate_tms, translate_tmt a translate_tmf. Odpovídají zdrojům, cílům a fulltextům. Definice tabulky najdete v sql/translate_tm.sql. Zdroje obsahují všechny definice zpráv. I když jsou obvykle vždy ve stejném jazyce, řekněme anglicky, jazyk textu je také uložen pro vzácné případy, což není běžné.

Každá položka má jedinečné id a dvě další pole, délku a kontext. Délka se používá jako filtr prvního průchodu, takže při dotazování nemusíme porovnávat hledaný text s každou položkou v databázi. Kontext ukládá název stránky, odkud text pochází, například "MediaWiki:Jan/en". Z těchto informací můžeme návrhy propojit zpět na "MediaWiki:Jan/cs", což umožňuje překladatelům rychle opravit věci nebo jen určit, kde byl tento druh překladu použit.

Druhý průchod filtrování pochází z fulltextového vyhledávání. Definice se mísí s ad hoc algoritmem. Nejprve je text rozdělen do segmentů (slov) pomocí Language::segmentByWord od MediaWiki. Pokud je k dispozici dostatek segmentů, v podstatě odejmeme všechno, co není slovo a normalizujeme případ. Potom vezmeme prvních deset jedinečných slov, která jsou dlouhá alespoň 5 bajtů (5 písmen v angličtině, ale i kratší slova pro jazyky s vícebajtovými kódovými body). Tato slova jsou potom uložena v fulltextovém indexu pro další filtrování pro delší řetězce.

Když jsme vyfiltrovali seznam kandidátů, načteme odpovídající cíle z tabulky cílů. Potom použijeme levenshtein editovací algoritmus vzdálenosti, abychom provedli finální filtrování a hodnocení. Definujme:

E: uprava vzdálenosti
S: text, kterým hledáme návrhy
Tc: text návrhu
To: původní text, do kterého Tc překládá

Kvalita návrhu Tc se počítá jako E/min (délka (Tc), délka (To)). V závislosti na délce řetězců používáme: buď nativní funkci levenshteinu PHP. Nebo, pokud je některý z řetězců delší než 255 bajtů, implementace algoritmu levenshtein v PHP.[1] $1 nebylo testováno, zda nativní implementace levenshtein správně zpracovává vícebajtové znaky. To může být další slabou stránkou, pokud zdrojovým jazykem není angličtina (ostatní jsou fulltextové vyhledávání a segmentace).

<translate> Documentation for <tvar|ext>Rozšíření:Translate</></translate>

<translate> Translators</translate> (<translate> main help page</translate> )

<translate> Translation administrators</translate>

<translate> Sysadmins and developers</translate>

<translate> Translate this template</translate>