Matematické Fórum

Nevíte-li si rady s jakýmkoliv matematickým problémem, toto místo je pro vás jako dělané.

Nástěnka
🔒 23. 3. 2019 Přešli jsme na HTTPS. Prosíme o kontrolu funkčnosti fóra.
!! 17.06.2018 (Jel.) Khanova škola zve nadšence ke spolupráci na překladech návodů pro učitele a rodiče.
! 04.11.2016 (Jel.) Čtete, prosím, před vložení dotazu, děkuji!
17.01.2016 (Jel.) Rok 2016 s novými a novějšími krystaly od kolegy Pavla!
17.01.2016 (Jel.) Nabídka knih z oborů matematiky, fyziky, chemie
23.10.2013 (Jel.) Zkuste před zadáním dotazu použít některý z online-nástrojů, konzultovat použití můžete v sekci CAS.

Nejste přihlášen(a). Přihlásit

#1 07. 03. 2019 23:11

<h1>dydy</h1>
Příspěvky: 95
Reputace:   
 

Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

Ahojte, mám takový dotaz, který nejprve uvedu na příkladu, ze kterého bude jasné, co chci provést:

Naměřím nějaký vektor Xa=[x1,x2,...x900] (něco  jako šum na 900 místech). Z toho bych klidně už teď mohl spočítat statistické ukazatele (průměrný hluk, rozptyl, takže spíš než vektor se hodí označení množina). Ty hodnoty by měly být stejné(pokud by nebyly zatížené fluktuacemi), ale jsou také zatížené systematickou chybou (například jedna strana mřížky měřených míst je blíž k zdroji elektrického pole).

Proto udělám to, že provedu měření 2x, budu mít sady Xa a Xb. Nyní sady odečtu(proto to musí být vektor z pro správnost) - zrušil  jsem systematickou chybu X=Xb-Xa. X už můžu prohlásit za množinu a spočtu z něj své statistiky .

To hlavní: rozptyl se zdvojnásobil (směrodatná odchylka  zvětšila 1.41x).


A dotaz: jak postupovat, kdybych chtěl použít místo 2 sad N (např A,B,C,D,E) sad?   Jak provést odečty a kolik jich bude? Bude se to odečítat v párech? Protože mohu dělat různé kombinace: A-B,A-C ale také A+B-C-D.
Jaký kombinatorický způsob zvolit, abych z toho dostal co nejvíce statisticky hodnotná data (co nejvíc vyrušit systematické chyby) při  zadaném počtu N sad?

Offline

 

#2 08. 03. 2019 10:39

MichalAld
Moderátor
Příspěvky: 1937
Reputace:   56 
 

Re: Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

To snad nemůžeš myslet vážně, tohleto....

Ony ty výsledky měření, krom toho, že jsou zatíženy tou systematickou chybou, jsou také "zatíženy" naměřenou hodnotou, kterou tím jaksi odstraníš také.

Nebo si snad myslíš, že když změříš v pokoji teplotu 23.7 °C a následně 23.9°C, že správná teplota je těch 0.2°C? (či dokonce v kelvinech 0.2K ?)

Offline

 

#3 08. 03. 2019 12:00 — Editoval <h1>dydy</h1> (08. 03. 2019 12:03)

<h1>dydy</h1>
Příspěvky: 95
Reputace:   
 

Re: Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

Tak to asi jsem špatně vysvětlil, co považuji za  naměřenou hodnotu a co chci spočítat. Nejde mi o to spočítat absolutní hodnoty (například 1021,1018 1003, ... , 1009, 998, 984,977  dává 1000, což mě nezajímá), ale charakter odchylek.  A zároveň měření neumožňuje nastavit parametry tak, abych měřil bez offsetu 1000 nebo 40 - protože by ořezalo hodnoty  (neměří menší hodnoty než nula)

- Na první pohled by stačilo prostě z tohoto vzorku spočítat průměr (1000), ten odečíst od hodnot a mám už množinu odchylek, kterou chci znát (21,18,3,9...,-2,-16,-23).

- Ale nejde to z toho důvodu, že například  hodnoty na jednom konci mají systematický posun o +20, a na druhém konci -20, a nepřichází v úvahu to proložit přimkou, která na konci odečte 20 a na druhém přičte 20 - není to lineární - je to individuální posun každého prvku například nerovnoměrností osvitu  (a pokud by šlo o 2D pole, a posun by byl v šikmém směru, nebylo by to vidět takhle okatě, jako tady, že prvních x hodnot má posun o20) -> Proto udělám měření 2x : dostanu třeba  1020,1024, 1001, ... , 1001, 1005, 980,984) . Pokud obě sady odečtu, tu systematickou odchylku vyloučím a zbyde mi jen šum (4,-1,1,-3,-2,1,1,0,-2), o kterém předpokládám, že  je třeba gausovský a s menším sigmou (třeba 2*3.5=7 odhadem =95%=2sigma)

A rozptyl vzroste 2x, kvůli tomu, že vlastně každý bod je má součet šumů (šum se sčítá v kvadrátech, pokud se hodnoty sčítají nebo odečítají, zjednodušeně řečeno)

A mě zajímá, co když za účelem získání většího počtu vzorků, změřím více sérií než 2 jako tady (od druhé odečtu první) - jak se to prosčítá cyklicky (nějaké permutace) a jakým faktorem vzroste šum, aby "součet"  byl nula (u 2 sad stačilo "2"-"1") a šum vzrostl 1.41x (odmocnina rozptylu)

A nebo je nesmysl dělat více vzorků a právě 2 jsou potřeba a vzorky je třeba nahnat jen tím, že navýším počet vzorků uvnitř sady



A pod čarou by mě zajímalo, jestli, když vzorky jsou kvantizované (na celá čísla), jak se projeví/vypočítá/škáluje kvantizační chyba  někde jsem viděl $$$\sqrt{12}$$$(ale už ne pro jakou změnu počtu vzorků)

Offline

 

#4 08. 03. 2019 17:13

MichalAld
Moderátor
Příspěvky: 1937
Reputace:   56 
 

Re: Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

Stejně je většina tvých úvah nejspíš chybná.

Navíc si to hrozně komplikuješ tím "vektorem", než to pochopíš, bylo by mnohem lepší uvažovat jen o jedné hodnotě (jednoprvkovém vektoru).


Pokud jde o tohle:

<h1>dydy</h1> napsal(a):

Proto udělám měření 2x : dostanu třeba  1020,1024, 1001, ... , 1001, 1005, 980,984) . Pokud obě sady odečtu, tu systematickou odchylku vyloučím a zbyde mi jen šum (4,-1,1,-3,-2,1,1,0,-2), o kterém předpokládám, že  je třeba gausovský a s menším sigmou (třeba 2*3.5=7 odhadem =95%=2sigma)

Dělá se to tak, že se spočítá střední hodnota a ta se od toho pak odečte.

Pokud budeš mít dvě měření, budeš mít zase 2 měření (ale s odečtenou střední hodnotou). Pokud budeš míc více měření, je to stejné.


Pokud chceš eliminovat šum, tak naměřené hodnoty sečteš a podělíš jejich počtem. To ale není nic jiného, než ta střední hodnota.

Pokud chceš eliminovat obojí - tj. střední hodnotu i šum, zůstane ti tam nula...


<h1>dydy</h1> napsal(a):

Nejde mi o to spočítat absolutní hodnoty (například 1021,1018 1003, ... , 1009, 998, 984,977  dává 1000, což mě nezajímá), ale charakter odchylek.

Ale odchylek od čeho ?
Jak poznáš, že je to hodnota (která tě nezajímá) nebo odchylka od hodnoty (kterou chceš vědět) ?

Offline

 

#5 09. 03. 2019 11:27

MichalAld
Moderátor
Příspěvky: 1937
Reputace:   56 
 

Re: Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

Pokud se chceš k něčemu dobrat, je třeba nejprve navrhnout správný "model" situace.

Jestli tomu dobře rozumím, tak máš vlastně 2D signál - jednak závisí na poloze (to jsou ty složky vektoru), jednak závisí na čase (že máš celý ten vektor k-krát). Pokud je to jinak, tak to musíš správně popsat.

Ale tohle zdaleka nestačí - musíme vědět, jakou situaci to vlastně popisuje.


Já to chápu tak, že máš JEDEN nějaký primární zdroj signálu, a jeho hodnotu chceš určit. Teď je otázka, jestli se k téhle hodnotě připočítává i nějaké rušení (šum) nebo né.

Dále - z tohoto původního signálu se nějakou transformací odvozují jednotlivé "podsignály" - složky tvého vektoru. A k nim se pak ještě () přičítá další šum jako důsledek měření v daném místě.

No, pokud je tohle správný popis situace, a ta transformace je lineární vzhledem k signálu (tj. závisí nějakým způsobem na poloze, ale nezávisí na velikosti signálu), pak se to možná dá nějak řešit.

Ale to já nevím, z toho, co píšeš, to není příliš zřejmé.
Navíc mám pocit, že pokud neznáme ani ten vstupní signál, ani tu transformaci - tak obojí z toho nejspíš neurčíme.
Pokud budeme o vstupním signálu něco vědět - jako třeba že obsahuje "stejnosměrnou složku", pak toho můžeme využít a zjistit pomocí toho tu transformaci.

Signál nemusí nutně obsahovat jen SS složku, pokud bude obsahovat jakoukoliv stálou frekvenci ve svém spektru, můžeme navrhnout filtr a odfiltrovat to ostatní  - a zase tak dokážeme určit tu transformaci mezi původním signálem a složkami vektoru naměřených hodnot.

A možná by to šlo i nějak jinak - vše záleží na tom, co o situaci víme.

Offline

 

#6 18. 03. 2019 13:07 — Editoval <h1>dydy</h1> (18. 03. 2019 13:13)

<h1>dydy</h1>
Příspěvky: 95
Reputace:   
 

Re: Statistický vzorek-sloučení za účelem snížení šumu a systematick.chyby

Zkusím na praktickém příkladu. (upřesním jen zdroje odchylek/šumu , otázku nebudu přepisovat)
Fotoaparátem fotím šedý strop , teoreticky by měly mít všechny  červené subpixely například hodnotu  1000 (z RAW škály 0-4095). ISO, čas a clona jsou fixní. Ale kazí to 2 faktory:
1. Tento  chci eliminovat : *** Každý pixel má  mírně jiný koeficient převodu fotonů na elektrony a následně raw hodnoty (výrobní  odchylka materiálu), některý při  přesně milionu fotonů ukáže přesně 1050 a jiný přesně  950 (ve skutečnosti jsou odchylky kolem 0.5% nejvíc).  Teď ponechme stranou, že MOŽNÁ toto je korigováno v každém kusu fotoaparátu při testování v laboratoři a RAW výstup by tedy měl být homogenní). Tato odlišná senzitivita jednotlivých pixelů je daná pro daný kus senzoru a stačí ji jen změřit.
2. Tento náhodný šum chci analyzovatšum samotný šumem elekrotoniky, náhodným generováním elektron-díra páru a "šum   samotného světla" (possionovské rozdělení - při střední  osvitu N fotonů je rozptyl N fotonů) [b] Tento šum je tedy náhodný a nelze ho předpovědět.


*** a ještě sem patří třetí odchylka: nerovnoměřné osvícení stropu a vinětace objektivu. A snad se shodneme, že pokud se s fotoaparátem nebude hýbat, lze toto zařadit do skupiny 1.

A musím přeci eliminovat tu první kategorii  šumu (nazýval jsem to systematická odchylka, něco, jako když šíp dopadá neustále nahoru nad střed terče, aby analýza druhého typu šumu byla nezkreslená? 

Proto jsem udělal 2 snímky a odečetl je od sebe, čímž se systematická odchylka vyrušila a zůstal náhodný šum.  Ale celkově 1.41x vyšší. A otázka, je , když udělám více snímků, jak je mezi sebou poodčítat s permutacemi a také kolikrát se zvýší celkový šum. Samozřejmě střední hodnota by měla být nula

Offline

 

Zápatí

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson