３．２　字句解析のプログラム（１）一般的構成

３．２　字句解析のプログラム（１）一般的構成３．２　字句解析のプログラム（１）一般的構成１文読込み（注釈部分の削除）ソースプログラム１文（テキスト数値／文字列／名前／区切り記号単純字句解析 12.3，E，-15, 12.3，E5，+，=, >，<,…, while, if,･･･，”abcdefg” 文構成単位の字句解析トークンソースプログラムファイルエディタ用テキストボックス 12.3E-15, 12.3E5 ==,++，+=, >=, … , while, if,･･･， “abcdefg” 構文解析

（２）１文読込み（注釈部分の削除） VBに似た言語の１文読込み ①１行に１文が基本。 ②１行に複文のときコロン（：）で区切る ③複数行にまたがるときはアンダーライン(_)を最後に付ける。 ④注釈の先頭はシングルクォート（‘）

１文読込みの状態遷移 行終り通常モード文字列内部引用符（“）引用符（“）引用符直後行終りエラー状態遷移図引用符（“）引用符以外の文字継続指定“ _” 行終りまで無視（継続行用）行終り以外行終り行終り以外行終りまで無視（注釈用）注釈指定“‘” 行終り行終り “：”または行終り終了【演習】C言語の１文読み込みの状態遷移図を書け。 ①8進数はないものとする。 ②\n，\”等の記法が許されるものとする。

参考(1) Private Alltext As String Private ScanMode As Short Private Function scanComment() As String Dim CH1, CH2 As String: Dim LN As Integer CH1 = Microsoft.VisualBasic.Left(Alltext, 1) Select Case ScanMode Case 0 CH2 = Microsoft.VisualBasic.Left(Alltext, 2) If CH1 = " " Or CH1 = "" Or CH1 = vbTab Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) scanComment = " " ElseIf CH2 = vbCrLf Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 2) scanComment = " " ElseIf CH2 = "//" Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 2) Do While Alltext <> "" CH2 = Microsoft.VisualBasic.Left(Alltext, 2) If CH2 = vbCrLf Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 2) Exit Do End If LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) Loop scanComment = " "

参考(2) ElseIf CH2 = "/*" Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 2) Do While Alltext <> "" CH2 = Microsoft.VisualBasic.Left(Alltext, 2) If CH2 = "*/" Then LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 2) Exit Do End If LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) Loop scanComment = " " Else scanComment = CH1 LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) If CH1 = """" Then ScanMode = 1 ElseIf CH1 = "\" Then ScanMode = 2 End If End If Case 1 scanComment = CH1 LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1)

参考(3) If CH1 = """" Then ScanMode = 0 ElseIf CH1 = "\" Then ScanMode = 3 End If Case 2 scanComment = CH1 LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) ScanMode = 0 Case 3 scanComment = CH1 LN = Microsoft.VisualBasic.Len(Alltext) Alltext = Microsoft.VisualBasic.Right(Alltext, LN - 1) ScanMode = 1 End Select End Function Private Sub Button2_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button2.Click Dim R, Str As String Alltext = TextBox1.Text Str = "" : ScanMode = 0 Do While Alltext <> "" R = scanComment() TextBox2.Text = TextBox2.Text & R MsgBox(Alltext & vbCrLf & "→[" & R & "] Scan Mode=" & ScanMode) Loop End Sub End Class

（３）単純字句解析 半角・全角空白またはタブコード行終り通常モード文字列内部引用符（“）引用符（“）引用符直後文終りエラー区切記号状態遷移図（１文字）引用符（“）引用符以外の文字数字数字文終り数字モード小数点数字小数点、数字以外小数部モード小数点数字以外小数部モードの結果、得られた文字列が“.”だけの場合、 “.”を区切り記号としてみなす。英字英数字識別子モード英数字以外終了【演習】C言語を意識した単純字句解析の状態遷移図を書け。引用符で囲まれたキャラクタ, 二重引用符で囲まれた文字列, \n， \”等の記法を意識すること。

Cの単純字句解析参考（その１） Private Function setWordData(ByVal tp As String, ByVal st As String) As WordData setWordData.Type = tp setWordData.Str = st End Function Private Function setString() Dim Str, R As String Str = """" : R = scanComment() Do While R <> """" If R = "\" Then Str = Str & R : R = scanComment() If R = "" Then MsgBox("文法エラー。二重引用符が不足しています。") R = """" Exit Do End If End If Str = Str & R : R = scanComment() Loop setString = Str & R End Function

Cの単純字句解析参考（その２） Private Function setChar() Dim Str, R As String Str = "'" : R = scanComment() Do While R <> "'" If R = "\" Then Str = Str & R : R = scanComment() If R = "" Then MsgBox("文法エラー。二重引用符が不足しています。") R = "'" Exit Do End If End If Str = Str & R : R = scanComment() Loop setChar = Str & R End Function

Cの単純字句解析参考（その３） Private Function setNumber(ByVal RR As String) Dim Str, R As String : R = RR If R <> "." Then Str = RR : R = scanComment() Do While Asc(R) >= Asc("0") And Asc(R) <= Asc("9") Str = Str & R : R = scanComment() Loop If R <> "." Then Alltext = R & Alltext : setNumber = Str Exit Function End If End If Str = Str & R : R = scanComment() Do While Asc(R) >= Asc("0") And Asc(R) <= Asc("9") Str = Str & R : R = scanComment() Loop Alltext = R & Alltext setNumber = Str End Function

Cの単純字句解析参考（その４） Private Function setName(ByVal RR As String) Dim Str, R As String R = RR : Str = RR : R = scanComment() Do While (Asc(R) >= Asc("A") And Asc(R) <= Asc("Z")) Or _ (Asc(R) >= Asc("a") And Asc(R) <= Asc("z")) Or _ (Asc(R) >= Asc("0") And Asc(R) <= Asc("9")) Or R = "_" Str = Str & R R = scanComment() Loop Alltext = R & Alltext setName = Str End Function

Cの単純字句解析参考（その４） Private Function LA0() As WordData Dim R, Str As String: Str = "" : ScanMode = 0: R = scanComment() Do While Alltext <> "" And (R = " " Or R = "") R = scanComment() Loop If (R = " " Or R = "") And Alltext = "" Then LA0.Type = "EOF”: LA0.Str = "" ElseIf R = """" Then LA0.Type = "String”: LA0.Str = setString() ElseIf R = "'" Then LA0.Type = "Char”: LA0.Str = setChar() ElseIf R = "\" Then LA0.Type = "Code”: LA0.Str = R & scanComment() ElseIf R = "." Then LA0.Type = "Number”: LA0.Str = setNumber(R) If LA0.Str = "." Then LA0.Type = "Delimiter" ElseIf Asc(R) >= Asc("0") And Asc(R) <= Asc("9") Then LA0.Type = "Number”: LA0.Str = setNumber(R) ElseIf (Asc(R) >= Asc("A") And Asc(R) <= Asc("Z")) Or _ (Asc(R) >= Asc("a") And Asc(R) <= Asc("z")) Or R = "_" Then LA0.Type = "Name”: LA0.Str = setName(R) Else LA0.Type = "Delimiter”: LA0.Str = R End If End Function

Cの単純字句解析参考（その５） Private Sub Button3_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button3.Click Dim S As WordData Alltext = TextBox1.Text TextBox2.Text = "" Do While Alltext <> "" S = LA0() TextBox2.Text = TextBox2.Text & vbCrLf & S.Type & " Value=""" & S.Str & """" Loop End Sub End Class

（４）文構成単位としての字句解析 ①浮動小数点等としての「123.5E-23」、「34.E5」等の表現　　数値「123.5」、名前「E」、区切り記号「-」、数値「23」　　数値「34.」、名前「E5」 ②16進数「0X0FEC」等の表現　　数値「0」、名前「X0FEC」 ③8進数「0276」（先頭が0で始まる） ④複数文字列からなる演算子（==, ++, ||など） ⑤2単語以上からなるがひとつの意味になるもの（BASICに多い） select case, end if, do while, loop until, … 先読みしてこれらを判定する

C#プログラム例（その１） private bool E_exp(string str) // E<数字列>のチェック { if(str.Length<2) return false; if(str[0]!='E' && str[0]!='e') return false; for(int i=1;i<str.Length;i++) if(該当文字(数字,str[i])<0) return false; return true; } private void set_TokenX(string type, string str) //　トークンのセット { tokenX[numTokenX].type=type; tokenX[numTokenX].str=str; numTokenX++; } private void combineDelimiter(string str1, string str2) // 区切り記号の接続 { set_TokenX("Delimiter",str1+str2); }

C#プログラム例（その２） private void LA1() { numTokenX=0;WordData token1,token2,token3,token4; token1=LA0();token2=LA0();token3=LA0();token4=LA0();// 先読み while(token1.type!="End") { if( token1.type=="Number" && token2.type=="Name" && token2.str=="E" && token3.type=="Delimiter" && (token3.str=="+" || token3.str=="-")&& token4.type=="Number") { set_TokenX("Number",token1.str+token2.str+token3.str+token4.str); token1=LA0();token2=LA0();token3=LA0();token4=LA0(); } else if( token1.type=="Number" && token2.type=="Name" && E_exp(token2.str)) { set_TokenX("Number",token1.str+token2.str); token1=token3;token2=token4;token3=LA0();token4=LA0(); } else if(token1.type=="Delimiter" && token1.str==">" && token2.type=="Delimiter" && token2.str=="=" ) { combineDelimiter(token1.str,token2.str); token1=token3;token2=token4;token3=LA0();token4=LA0(); } else if(token1.type=="Delimiter" && token1.str==”<" && token2.type=="Delimiter" && token2.str=="=" ) { combineDelimiter(token1.str,token2.str); token1=token3;token2=token4;token3=LA0();token4=LA0(); } // 後半省略

（５）１文の形態による字句解析の構成の違い（５）１文の形態による字句解析の構成の違い SA ①行が基本的な文の区切りを示す。（複数行にわたるときは継続の指定を行う） FORTRAN,BASIC,COBOL 1文取出し LA1 1文バッファ LA0 ②ブロック内の最初と最後を示す記号（begin-end，{}）等があるもの。 ALGOL，PL/I,C,C++，JAVA,C# SA LA1 LA0 1文字取出し

３．２ 字句解析のプログラム （１）一般的構成