Betrouwbaarheidsbovengrenzen: historie en nieuwe ontwikkelingen

1. Betrouwbaarheidsbovengrenzen:historie en nieuwe ontwikkelingen Prof. dr. M.C.A. van Zuijlen 28 mei 2008 - Symposium Statistical Auditing

2. Betrouwbaarheidsbovengrenzen:historie en nieuwe ontwikkelingen Onderzoek in kader van STW-project over Statistical Auditing Samenwerking tussen: Prof. Dr. V. Bentkus (Institute of Mathematics and Informatics, Lithuania) Dr. G.D.C. Geuze Dr. H. Hendriks Drs. N. Kalosha Prof. Dr. M.C.A. van Zuijlen 28 mei 2008 - Symposium Statistical Auditing

3. INHOUD • Historie: Auditing algemeen Problemen bij gebruik van standaard statistische procedures in auditing Binomiale bovengrens voor de fout Stringer bound en het gebruik ervan in auditing • Recente ontwikkelingen (via grootschalig STW-project): Nieuwe statistische bovengrenzen voor totale fout Gebruik van voorinformatie (via professional judgement) In 1-steekproefprobleem, maar ook k-steekproevenprobleem • Gebaseerd op: relatie kansbovengrenzen en betrouwbaarheidsbovengrenzen Stuurgroep Statistical Auditing speelde in onderzoek als klankbord een zeer belangrijke rol 28 mei 2008 - Symposium Statistical Auditing

4. Historie auditing algemeen • In Mesopotanië, 3500 jaar vC: aantekeningen gevonden om accountant-data te checken, • Zo ook in oude civilisaties: Egypte, Griekenland, China • Romeinen deden vergelijkend onderzoek: “hearings of accounts” • Fundering moderne auditing in Europa: na de industriële revolutie, • Verdere verspreiding via Noord Amerika over de hele wereld 28 mei 2008 - Symposium Statistical Auditing

5. Problemen bij gebruik standaard procedures • In test of details: vaak steekproeven (efficiënt, objectief) vaak gebruik betrouwbaarheidsbovengrenzen (statistische bovengrenzen) voor totale fout in audit-populatie Expected Maximal Misstatement (EMM), ISA 530 • Problemen: onbekende verdelingen, discrete componenten, scheve verdelingen, veel nullen, geen normaliteit (klassieke statistiek), geen asymptotiek te gebruiken (steekproefomvang is klein) Dus: standaard statistische procedures niet toepasbaar en verdelingsvrije aanpak noodzakelijk. 28 mei 2008 - Symposium Statistical Auditing

6. Mathematische beschrijving audit-probleem bij 1 steekproef • Audit populatie A, N boekwaarden van posten: A={A1,A2,…,AN} • Totale boekwaarde: A= A1+A2+…+AN • Correcte waarden: C1,C2,…,CN • Alleen overstatements, dus voor alle i: Ei = Ai - Ci ≥ 0 • Totale fout: E= E1+E2+…+EN 28 mei 2008 - Symposium Statistical Auditing

7. Steekproef • “Dollar unit sampling” (PPS, met teruglegging) • Ter illustratie behandelen we hier een zeer eenvoudig niet realistisch model: • Steekproefresultaat: n nullen of enen (“all or nothing”): als dollar in steekproef goed is (d.w.z. komt uit goede post) dan noteer: 0, anders 1. • totale aantal fouten in steekproef: = X dus: X= # [enen] = # foute dollars in steekproef Merk op: X is binomiaal verdeeld met parameters n en p, waarbij p = totaal van foute A’s, gedeeld door A 28 mei 2008 - Symposium Statistical Auditing

8. Binomiale grens • Als p = totaal van foute A’s, gedeeld door A, dan geldt: E ≤ A*p • Bbin(n,x) = die foutenfractie q met P(Bin(n,q) ≤ x) = 95% dus: kans op hooguit x fouten bij foutenfractie q is 95%, bij q=0 is die kans 100%, bij q=1 is die kans 0% • Merk op: Bbin(n,X) is een 95%-betrouwbaarheidsbovengrens voor de onbekende p, d.w.z. P(p < Bbin(n,X) ) ≥ 95% en dus P(A*p < A*Bbin(n,X) ) ≥ 95% en dus … 28 mei 2008 - Symposium Statistical Auditing

9. De Stringer bound Ook gebruik de relatieve fouten mogelijk: de taintings: ti = Ei/Ai, i=1,2,…,N. Weer binomiale grens toepasbaar, bij toepassing van bepaalde procedure om van taintings nullen en enen te maken. • Stringer (1963) gebruikte de taintings: Stringer bound. Ingewikkelde betrouwbaarheidsbovengrens. Geldigheid? • Recent onderzoek: Stringer bound geldt niet i.h.a. (Tegenvoorbeelden ontwikkeld) • Asymptotisch gedrag geheel ontrafeld • Alternatieven voor de Stringer bound? Ja, en die zijn wiskundig bewezen (STW-project)! 28 mei 2008 - Symposium Statistical Auditing

10. Kansongelijkheden versus betr. bovengrenzen,Hoeffding’s ongelijkheden • Een mechanisme is ontwikkeld om uit goede kansafschattingen te komen tot betrouwbaarheidsbovengrenzen en omgekeerd! Zie voorbeeld met binomiale kansen. • Klassieke goede kansafschattingen (die hier van belang zijn), zijn de zgn. Hoeffding-ongelijkheden • Uit deze Hoeffding-ongelijkheden kunnen we dus betrouwbaarheidsbovengrenzen verkrijgen: alternatieven voor de Stringer bound • In tegenstelling tot de Stringer bound zijn deze alternatieven bewezen correct (hebben de vereiste betrouwbaarheid) • Let wel: optimale kansafschattingen leiden dus tot optimale bovengrenzen! 28 mei 2008 - Symposium Statistical Auditing

11. Recente verbeteringen Bovengrenzen voor overschrijdingskansen van som van de taintings in de steekproef m.b.v. G-alpha functies Verbeteringen van de Hoeffding-grenzen Dus betere betrouwbaarheidsbovengrenzen 28 mei 2008 - Symposium Statistical Auditing

12. Twee-steekproefprobleem • 2-steekproef-setting vaak van belang voor auditors (bijv. steekproeven op verschillende locaties) • Hoe kom je dan aan betrouwbaarheidsbovengrenzen? • Hoeffding’s ongelijkheden dienen te worden gegeneraliseerd tot de nieuwe situatie om betrouwbaarheidsbovengrenzen te gaan leveren in 2-steekproef-setting. Is gedaan. • Er is ook een algemene methode ontwikkeld om via convoluties te komen betrouwbaarheidsbovengrenzen voor 2-steekproevenprobleem uit kansbovengrenzen voor het 1-steekproevenprobleem. 28 mei 2008 - Symposium Statistical Auditing

13. Gebruik van voorinformatie en overig onderzoek • Bij gegeven restricties op de verdelingen kunnen verbeterde statistische bovengrenzen worden verkregen • Bijvoorbeeld, • bij unimodaliteit, • bij restricties op de drager van de verdeling, • bij grenzen vooraf voor bepaalde parameters, etc. • Recent is met succes onderzoek gedaan naar optimale steekproeftechnieken. Publicatie is aanstaande. • 2-stap-steekproefprocedures zijn ontwikkeld 28 mei 2008 - Symposium Statistical Auditing

14. Comparison of several upper bounds for the mean n = 30,  = 0.05 28 mei 2008 - Symposium Statistical Auditing

15. Samenvatting: • In 1-steekproefprobleem, maar ook in k-steekproefprobleem: Uit bepaalde kansafschattingen zijn betrouwbaarheidsbovengrenzen afgeleid, die bewezen de vereiste betrouwbaarheid hebben • Voorinformatie kan gebruikt worden om de grenzen te verbeteren! • Opmerking: Er is een internet-tool ontwikkeld om de procedures te gebruiken. Webadres: https://www.sos.cs.ru.nl/kalosha 28 mei 2008 - Symposium Statistical Auditing

16. Referenties • V. Bentkus. On Hoeffding's Inequalities. Ann. Probab., 32 (2):1650--1673, 2004. • V. Bentkus. On the asymptotical behavior of the constant in the Berry--Esseen inequality. J. Theoret. Probab., 7(2):211--224, 1994. • V. Bentkus. An inequality for large deviation probabilities of sums of bounded i.i.d.r.v. Lithuanian Math. J., 41(2):144--153, 2001. • V. Bentkus. An inequality for tail probabilities of martingales with differences bounded from one side. J. Theor. Probab., 16: 161--173, 2003. • V. Bentkus, G.D.C. Geuze, and M.C.A. van Zuijlen. Optimal Hoeffding-like Inequalities under a Symmetry Assumption. Report series of the University of Nijmegen, No 0408, June 2004. • V. Bentkus, G.D.C. Geuze, and M.C.A. van Zuijlen. Maximal Inequalities for Super-martingales under a Symmetry Assumption. Report series of the Radboud University Nijmegen, No 0507, April 2005. • V. Bentkus, G.D.C. Geuze, and M.C.A. van Zuijlen. Trinomial Laws Dominating Contditionally Symmetric Martingales. Report series of the Radboud University Nijmegen, No 0514, October 2005. • V. Bentkus and K. Kirsha. Estimates for the closeness of a distribution function to the normal law. Lithuanian Math. J., 29(4):321--332, 1989. 28 mei 2008 - Symposium Statistical Auditing

17. Referenties • V. Bentkus, G. Pap, and M. van Zuijlen. Confidence bounds for a parameter. Report series of the University of Nijmegen, No 0125, October 2001. • V. Bentkus and M. van Zuijlen. Conservative confidence bounds for the mean. To appear in Lithuanian Math. J., 2003. • M.L. Eaton. A note on symmetric Bernoulli random variables. Ann. Math. Stat., 41(4):1223--1226, 1970. • M.L. Eaton. A probability inequality for linear combinations of bounded random variables. Ann. Stat., 2(3):609--613, 1974. • W. Feller. An Introduction to probability Theory and its Applications Vol II. Wiley series in probability and mathematical statistics., 1971. • W. Hoeffding. On the distribution of the number of successes in independent trials. Ann. Math. Statist., 27:713--721, 1956. • W. Hoeffding. Probability inequalities for sums of bounded random variables. JASA, 58:13--30, 1963. • S. Karlin and W. J. Studden. Tchebycheff systems: With applications in analysis and statistics, volume XV of Pure and Applied Mathematics. Wiley, New York-London-Sydney, 1966. 28 mei 2008 - Symposium Statistical Auditing

18. Referenties • A.W. Marshall and I. Olkin. Inequalities: theory of majorization and its applications. Mathematics in Science and Engineering, 143. Academic Press, New York-London, 1979. • C. McDiarmid. On the method of bounded differences. London Math. Soc. Lecture Note Ser., 141:148--188, 1989. • A. Ostrowski. Sur quelques applications des fonctions convexes et concave au sens de I. Schur. J. Math. Pures Appl., 31:253--292, 1952. • I. Pinelis. Extremal probabilistic problems and Hotelling's test under a symmetry assumption. Ann. Stat., 22(4):357--368, 1994. • I. Pinelis. Optimal tail comparison based on comparison of moments. High dimensional probability, 43:297--314, 1998. • I. Schur. ber eine Klasse von Mittelbildungen mit Anwendungen auf die Determinantentheorie. Sitzber. Berl. Math. Ges., 22:9--20, 1923. • G. R. Shorack and J. A. Wellner. Empirical processes with applications to statistics. John Wiley & Sons, Inc., New York, 1986. • M. Talagrand. The missing factor in Hoeffding's inequalities. Ann. Inst. H. Poincar Probab. Statist., 31( 4):689--702, 1995a. 28 mei 2008 - Symposium Statistical Auditing