1 / 65

コンパイラ

コンパイラ. 第5回 下降型構文解析 http://www.info.kindai.ac.jp/compiler 38 号館 4 階 N-411 内線 5459 takasi-i@info.kindai.ac.jp. コンパイラの構造. 字句解析系 構文解析系 制約検査系 中間コード生成系 最適化系 目的コード生成系. 処理の流れ 情報システムプロジェクト I の場合. 字句解析系. write ( 変数名 ) ;. 構文解析系.

Download Presentation

コンパイラ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. コンパイラ 第5回 下降型構文解析 http://www.info.kindai.ac.jp/compiler 38号館4階N-411 内線5459 takasi-i@info.kindai.ac.jp

  2. コンパイラの構造 字句解析系 構文解析系 制約検査系 中間コード生成系 最適化系 目的コード生成系

  3. 処理の流れ情報システムプロジェクトIの場合処理の流れ情報システムプロジェクトIの場合 字句解析系 write ( 変数名 ) ; 構文解析系 <write_statement> ::= “write” “(” <exp> “)”“;” コード生成系 1. PUSH ab 2. OUTPUT write (ab); マイクロ構文の文法に従い解析 マクロ構文の文法に従い解析 VSMアセンブラの文法に従い生成

  4. マクロ構文(情報システムプロジェクトIの場合)マクロ構文(情報システムプロジェクトIの場合) マクロ構文 (EBNF記法で定義) <Program> ::= <Main_function> <Main_function> ::= “main” “(” “)” <Block> <Block> ::= “{” { <Var_decl> } { <Statement> } “}” 0回以上の繰り返し

  5. マクロ構文(変数宣言部) <Var_decl>(変数宣言) ::= “int” <Name_list> “;” <Name_list>(変数名列) ::= <Name_list> “,” <Name> | <Name> <Name>(変数名) ::= NAME | (NAME “=” <Constant> ) | (NAME “[” INTEGER “]”) | (NAME “[” “]” “=” “{” <Constant_list> “}” ) | (NAME “[” “]” “=” STRING <Constant_list>(定数列) ::= <Constant_list> “,” <Constant> | <Constant> <Constant>(定数) ::= ([“-”] INTEGER) | CHARACTER 再帰 | (NAME “[” INTEGER “]” “[” INTEGER “]”)(拡張課題) 再帰 例 : inti, n=-5, a[10], b[]={‘a’, ‘b’, ‘c’};

  6. マクロ構文(文) <Statement>(文)::= <If_statement> | <While_statement> | <Exp_statement> | <Writechar_statement> | <Writeint_statement> | <Writestring_statement> | <Stestring_statement> | “{” { <Statement> } “}” | “;” | <For_statement>(拡張課題) | <Do-while_statement> (拡張課題)

  7. マクロ構文(文) <It_statement>(if文) ::= “if” “(” <Expression> “)” <Statement> <While_statement>(while文) ::= “while” “(” <Expression> “)” <Statement> [“else” <Statement>](拡張課題) <Do-while_statement>(do-while文) ::= “do” <Statement> “while” “(” <Expression> “)” “;” (拡張課題)

  8. マクロ構文(文) <For_statement>(for文) (拡張課題) ::= “for” “(” <Expression> “;” <Expression> “;” <Expresson> “)” <Statement> <For_statement>(for文) (拡張課題) ::= “for” “(” [ <Expression> { “,” <Expresson> } ] “;” [ <Expression> ] “;” [ <Expresson> { “,” <Expresson> } ] “)” <Statement> 例 : for (; ;) writechar(‘!’); for (i=0, j=1, k=2; i<10; ++i, ++j, ++k);

  9. マクロ構文(文) <Exp_statement>(式文) ::= <Expression> “;” <Writechar_statement>(出力文) ::= “writechar” “(” <Expression> “)” “;” <Writeint_statement>(出力文) ::= “writeint” “(” <Expression> “)” “;”

  10. マクロ構文(文) <Writestring_statement> (出力文) ::= “writestring” “(” ( NAME | STRING ) “)” “;” <Setstring_statement> (代入文) ::= “setstring” “(” NAME “,” ( NAME | STRING ) “)” “;” str[0] = ‘t’; str[1] = ‘h’; str[2] = ‘a’; str[3] = ‘n’; : 例 : writestring (“hello”); setstring (str, “thank you”) ; writestring (str);

  11. マクロ構文(論理式) <Expression>(式) ::= <Exp> [( “=” | “+=” | “-=” | “*=” | “/=” | “%=” ) <Expression> ] <Exp>(論理式) ::= <Exp> “||” <Logical_term> | <Logical_term> <Logical_term>(論理項) ::= <Logical term > “&&” <Logical_factor> | <Logical_factor> <Logical_factor>(論理因子) ::= <Arithmetic_expression> ) [( “==” | “!=” | “<” | “>” | “<=” | “>=” ) <Arithmetic_expression> ] 再帰

  12. マクロ構文(算術式) <Arithmetic_expression>(算術式) ::= <Arithmetic_expression> ( “+” | “-” ) <Arithmetic_term> | <Arithmetic_term> <Arithmetic_term> (算術項) ::= <Arithmetic_term> ( “*” | “/” | “%” ) <Arithmetic_factor> | <Arithmetic_factor> <Arithmetic_factor>(算術因子) ::= <Unsigned_factor> | “-” <Arithmetic_factor> | “!” <Arithmetic_factor> 再帰

  13. マクロ構文(符号無し因子) <Unsigned_factor>(符号無し因子) ::= NAME | NAME “[” <Expression> “]” | ( “++” | “--” ) NAME | ( “++” | “--” ) NAME “[” <Expression> “]” | INTEGER | CHARACTER | “readchar” | “readint” | “(” <Expression> “)” | NAME ( “++” | “--”) (拡張課題) | NAME “[” <Expresson> “]” ( “++” | “--” ) (拡張課題) | NAME “[” <Expresson> “]” “[” <Expresson> “]”(拡張課題)

  14. 字句解析と構文解析 ‘0’ ‘0’…‘9’ ‘1’…‘9’ “main” “(” “)” <block> 字句解析系 : マイクロ構文の解析 INTEGER ::= ‘0’| Pdec { Dec } char 構文解析系 : マクロ構文の解析 <main> ::= “main” “(” “)” <block> Token 解析対象が char か Token かが違うだけ?

  15. マクロ構文の解析 <block> ε ε “{” <decl> <st> “}” “main” “(” “)” <block> <decl> <st> 非終端記号 <main> マクロ構文は階層的

  16. マクロ構文の解析 <if_st> “if” “(” <exp> “)” <st> <st> <while_st> <if_st> “{” “}” <st> マクロ構文は再帰的

  17. 字句解析と構文解析 字句解析系 : マイクロ構文を解析 文字列 ⇒ トークン 構文解析系 : マクロ構文を解析 トークン列 ⇒ ??? 構文解析木を生成する トークン列 ⇒ 構文解析木 ⇒ 字句解析系と同じ処理で一応解析可能 しかしマクロ構文はマイクロ構文よりも複雑 (階層的, 再帰的)

  18. if ( 式 ) 文 出力文 式 > 式 変数 文字 整数 write ( 式 ) ; ans ‘1’ 123 構文解析系(syntax analizer, parser) if 文 • 構文解析系 • 構文解析木を作成 if (ans > 123 ) write (‘1’) ;

  19. 構文解析 S S E E + E + E E E 2 * 2 E * E E E 5 7 5 7 下降型解析 上昇型解析 文法 G = {N, T, S, P} が与えられたとき、 ω∈T* に対してS⇒ω であるか判定, その導出木を得る

  20. 下降型解析(top-down parsing) 決定済 未決定 未決定 未読 既読 未読 構文解析木 入力記号列

  21. 下降型解析の例 <namelist> ::= <name> | <name> “,” <namelist> <name> ::= “a” | “b” | “c” a, b, c <namelist> → <name> “,” <namelist> → “a” “,” <namelist> → “a” “,” <name> “,” <namelist> → “a” “,” “b” “,” <namelist> → “a” “,” “b” “,” <name> → “a” “,” “b” “,” “c” <namelist> ⇒ a,b,c

  22. 未決定 未決定 決定済 未読 既読 未読 上昇型解析(bottom-up parsing) 構文解析木 入力記号列

  23. 上昇型解析の例 <namelist> ::= <name> | <namelist> “,” <name> <name> ::= “a” | “b” | “c” a, b, c “a” “,” “b” “,” “c” → <name> “,” “b” “,” “c” → <namelist> “,” “b” “,” “c” → <namelist> “,” <name> “,” “c” → <namelist> “,” “c” → <namelist> “,” <name> → <namelist> <namelist> ⇒ a,b,c

  24. 構文解析 情報システムプロジェクトI の構文解析

  25. 最左導出(left most derivation) 一番左にある非終端記号から置き換える 例 : N={S,A,B,C,D} T={a,b,c,d} P={S→ABC, A→a, B→bD, C→c, D→d} S→ABC ABC→aBC aBC→abDC abDC→abdC abdC→abdc ⇔最右導出(right most derivation)

  26. 最左導出の利点 左から右に順に置き換えていけばいい 左に戻る必要が無い これを変換 これより前は変換済 abcd EFGhIjK abcdeFGhIjK ⇒変換場所を左に戻す必要が無い

  27. 最左導出の例 例 : N={E,T,F} T={a,b,c,d} P={E→T+T | T, T→F*F | F, F→a | b | c | d} a*b+c*d E→T+T →F*F+T (T→F*F) →a*F+T (F→a) →a*b+T (F→b) →a*b+F*F (T→F*F) →a*b+c*F (F→c) →a*b+c*d (F→d)

  28. 最左導出の例 if (ans >= 123 ) write (‘a’); <st> → <if_st> → “if” “(” <exp> “)” <st> → “if” “(” <factor> “>=” <factor> “)” <st> → “if” “(” “ans”“>=”<factor> “)” <st> → “if” “(” “ans” “>=” “123” “)” <st> → “if” “(” “ans” “>=” “123” “)” <write_st> → “if” “(” “ans” “>=” “123” “)” “write” “(” <exp> “)” “;” → “if” “(” “ans” “>=” “123” “)” “write” “(” “‘a’” “)” “;”

  29. ある非終端記号からの導出時に 同一の非終端記号に戻ってくる可能性がある 再帰性(recurtion) • マクロ構文は再帰的に定義 例 : <st> ::= <if_st> | <while_st> | “{” { <st> } “}” <if_st> ::= “if” “(” <exp> “)” <st> <while_st> ::= “while” “(” <exp> “)” <st>

  30. 左再帰性(left recurtion) • 左再帰性 • 右辺の左端に自分自身への再帰がある 直接左再帰 : <A> → <A>α | β 間接左再帰 : <A> → <B>α | β <B> → <A>γ | δ

  31. 直接右再帰 : <A> → α<A> | β 間接右再帰 : <A> → α<B> | β <B> → γ<A> | δ 右再帰性(right recurtion) • 右再帰性 • 右辺の右端に自分自身への再帰がある

  32. 構文解析の問題点左再帰性 • 左再帰性 • 最左の非終端記号が自分自身だと停止しない 例 : <E> ::= <E> “+” <T> | <T> E→E+T E+T→E+T+T E+T+T→E+T+T+T E+T+T+T→E+T+T+T+T 永久に停止しない

  33. 右再帰に <E> ::= <T> <E’> <E’> ::= “+” <T> <E’> | ε 左再帰性の除去 • 左再帰の対処法1 : 左再帰⇒右再帰に変形 • <E> ::= <E> “+” <T> | <T> 再帰しない部分を 先頭に移動させる 新たな非終端記号を加える

  34. ENBF記法に <E> ::= <T> { “+” <T> } 構文解析の問題点左再帰性 • 左再帰の対処法2 : BNF記法 ⇒ EBNF記法 に変形 • <E> ::= <E> “+” <T> | <T> 再帰しない部分を 先頭に移動させる {} で囲む

  35. 右再帰に EBNF記法に <A> ::= β<A’> <A’> ::= α<A’> | ε <A> ::= β{α} 左再帰性の除去 再帰しない部分を 先頭に移動させる <A> ::= <A>α|β <A> ::= <A>α|β L(G) = {β, βα, βαα, βααα, …}

  36. 右再帰に EBNF記法に <A> ::= (β1|β2) <A’> <A’> ::= (α1|α2) <A’> | ε <A> ::= (β1|β2){(α1|α2)} 左再帰性の除去 <A> ::= <A>α1|<A>α2|β1|β2 <A> ::= <A>α1|<A>α2|β1|β2 L(G) = {β1, β1α1, β1α2, β1α1α1, β1α1α2, …, β2, β2α1, β2α2, β2α1α1, β2α1α2, …,} 上記の手法で左再帰性は除去可能 しかし演算子の結合性が失われてしまう

  37. T T T / F F T’ T / F c a / F T’ F b b / F T’ a c ε 左再帰性の除去の問題点 a/b/c <T> ::= <F> <T’> <T’> ::= “/” <F> <T’> | ε <F> ::= “a” | “b” | “c” <T> ::= <T> “/” <F> | <F> <F> ::= “a” | “b” | “c” (a/b)/c a/(b/c) 右再帰にすると構文木の構造が変わってしまう

  38. T T T / F F / F / F T / F c a c c F b a 左再帰性の除去の問題点 a/b/c <T> ::= <T> “/” <F> | <F> <F> ::= “a” | “b” | “c” <T> ::= <F> { “/” <F>} <F> ::= “a” | “b” | “c” (a/b)/c a/b/c ← (a/b)/c? a/(b/c)? EBNFにすると結合性に関する情報が消えてしまう

  39. 演算子の結合性 左再帰性の除去 ⇒演算子の結合性の情報が失われる コード生成時に演算子の結合性を考慮する > : 左側の演算子を優先 < : 右側の演算子を優先 E : 文法に不適合(エラー)

  40. or or or 後戻り(back tracking) <name> <name> <name> <name> “,” <namelist> <name> “,” <namelist> <name> “,” <namelist> 下降型解析の問題点 <namelist> ::= <name> | <name> “,” <namelist> <name> ::= “a” | “b” | “c” 不一致の場合は 他の枝を調べ直す a,b,c <namelist> 不一致 不一致 一致

  41. ここまで戻ってやり直し 下降型構文解析の問題点バックトラック(back tracking) • バックトラック • 文法に一致しない場合後戻りする 例 : <E> ::=<T> “+” <E> | <T> “-” <E> | <T> <T> ::= <F> “*” <T> | <F> “/” <T> | <F> <F> ::= “a” | “b” | “c” | “d” a*b - c*d E→T+E T+E→F*T+E F*T+E→a*T+E a*T+E→a*F+E 不一致 a*F+E→a*b+E

  42. <E> ::=<T><E’> <E’> ::= “+” <E> | “-” <E> | ε 左括り出し(left factoring) • バックトラックの対処 ⇒バックトラックが起こらないように文法を変形 • 左括り出し • 右辺の先頭の共通部分を括り出す 例 : <E> ::=<T> “+” <E> | <T> “-” <E> | <T>

  43. 共通部分 共通部分無し <A> ::= αβ1 | αβ2 | … |αβm | γ1 | γ2 | … | γn 左括り出し <if_st> ::= “if” “(” <exp> “)” <st><else> <else> ::= ε | “else” <st> 左括り出し 共通部分 共通部分無し <A> ::= αβ1 | αβ2 | … |αβm | γ1 | γ2 | … | γn 共通部分から後ろを表す新たな非終端記号を導入 <A> ::= α<A’> | γ1 | γ2 | … | γn <A’> ::= β1 | β2 | … | βm 例 : <if_st> ::= “if” “(” <exp> “)” <st> | “if” “(” <exp> “)” <st> “else” <st>

  44. 共通部分 共通部分無し <A> ::= αβ1 | αβ2 | … |αβm | γ1 | γ2 | … | γn 左括り出し <if_st> ::= “if” “(” <exp> “)” <st>[ “else” <st> ] 左括り出し 共通部分 共通部分無し <A> ::= αβ1 | αβ2 | … |αβm | γ1 | γ2 | … | γn 共通部分から後ろを括弧でまとめてもよい <A> ::= α (β1| β2 | … | βm) | γ1 | γ2 | … | γn 例 : <if_st> ::= “if” “(” <exp> “)” <st> | “if” “(” <exp> “)” <st> “else” <st>

  45. <E> ::=<T><E’> <E’> ::= “+” <E> | “-” <E> | ε <T> ::= <F><T’> <T’> ::= “*” <T> | “/” <T> | ε <F> ::= “a” | “b” | “c” | “d” 左括り出し 例 : <E> ::=<T> “+” <E> | <T> “-” <E> | <T> <T> ::= <F> “*” <T> | <F> “/” <T> | <F> <F> ::= “a” | “b” | “c” | “d”

  46. 左括り出し 例 : <E> ::=<T><E’> <E’> ::= “+” <E> | “-” <E> | ε <T> ::= <F><T’> <T’> ::= “*” <T> | “/” <T> | ε <F> ::= “a” | “b” | “c” | “d” a*b - c*d E→TE’ TE’→FT’E’ バックトラック無しに 解析可能 FT’E’→aT’E’ aT’E’→a*bE’ a*bE’→a*b-T a*b-T→a*b-FT’

  47. 左括り出し “+” <E> 左括り出し <T> <T> “-” <E> <T> <E> ::=<T> <E’> <E’> ::= “+” <E> | “-” <E> | ε <E> “+” <T> “-” <E> <E> ::=<T> “+” <E> | <T> “-” <E> | <T> 非決定性有限オートマトン 決定性有限オートマトン

  48. 左括り出し S→aBcd, B→bB’ B’→c | ε バックトラック 左括り出しとバックトラック • バックトラックが無くせるとは限らない • 本質的に後戻りが必要な文法が存在 例 S→aBcd, B→bc | b abcd S→aBcd aBcd→abB’cd abB’cd→abccd 不一致

  49. 左括り出し c 左括り出し b c a d b c S→aBcd, B→bB’ , B’→c | ε c c a b d c S→aBcd, B→bc | b 非決定性有限オートマトン 非決定性有限オートマトン 左括り出しをしても NFA のまま

  50. 予測的構文解析, LL構文解析 • 予測的構文解析 (predictive parsing) • 再帰を用いて解析 • LL構文解析 (Left to right scan & Left most derivation) • スタックを用いて解析 • LL(k) 文法に対する構文解析 • LL(k) 文法 • k個のトークンの先読みで構文解析可能な文法

More Related