C++实现词法分析器

本文实例为大家分享了C++实现词法分析器的具体代码,供大家参考,具体内容如下

 /*************Written By Zzg************/
      /*******Date : 11,25,2017********/

#include <iostream>
#include <stdlib.h>
#include <stdio.h>

using namespace std;
string KEYWORD[15]={"if","else","void","return","while","then","for","do",   //关键字
          "int","char","double","float","case","cin","cout"};
char SEPARATER[8]={';',',','{','}','[',']','(',')'};  //分隔符
char OPERATOR[8]={'+','-','*','/','>','<','=','!'};   //运算符
char FILTER[4]={' ','\t','\r','\n'};          //过滤符
const int IDENTIFIER=100;     //标识符值
const int CONSTANT=101;      //常数值
const int FILTER_VALUE=102;    //过滤字符值

/**判断是否为关键字**/
bool IsKeyword(string word){
  for(int i=0;i<15;i++){
    if(KEYWORD[i]==word){
      return true;
    }
  }
  return false;
}
/**判断是否为分隔符**/
bool IsSeparater(char ch){
  for(int i=0;i<8;i++){
    if(SEPARATER[i]==ch){
      return true;
    }
  }
  return false;
}

/**判断是否为运算符**/
bool IsOperator(char ch){
  for(int i=0;i<8;i++){
    if(OPERATOR[i]==ch){
      return true;
    }
  }
  return false;
}
/**判断是否为过滤符**/
bool IsFilter(char ch){
  for(int i=0;i<4;i++){
    if(FILTER[i]==ch){
      return true;
    }
  }
  return false;
}
/**判断是否为大写字母**/
bool IsUpLetter(char ch){
  if(ch>='A' && ch<='Z') return true;
  return false;
}
/**判断是否为小写字母**/
bool IsLowLetter(char ch){
  if(ch>='a' && ch<='z') return true;
  return false;
}
/**判断是否为数字**/
bool IsDigit(char ch){
  if(ch>='0' && ch<='9') return true;
  return false;
}
/**返回每个字的值**/
template <class T>
int value(T *a,int n,T str){
 for(int i=0;i<n;i++){
 if(a[i]==str) return i+1;
 }
 return -1;
}
/**词法分析**/
void analyse(FILE * fpin){
  char ch=' ';
  string arr="";
  while((ch=fgetc(fpin))!=EOF){
    arr="";
    if(IsFilter(ch)){}       //判断是否为过滤符
    else if(IsLowLetter(ch)){    //判断是否为关键字
      while(IsLowLetter(ch)){
  arr += ch;
  ch=fgetc(fpin);
      }
  //fseek(fpin,-1L,SEEK_CUR);
  if(IsKeyword(arr)){
        printf("%3d  ",value(KEYWORD,15,arr));
  cout<<arr<<" 关键字"<<endl;
  }
  else
      {
        printf("%3d  ",IDENTIFIER);
        cout<<arr<<" 标识符"<<endl;
      }
    }
    else if(IsDigit(ch)){      //判断是否为数字
      while(IsDigit(ch)||(ch=='.'&&IsDigit(fgetc(fpin)))){
        arr += ch;
        ch=fgetc(fpin);
      }
      fseek(fpin,-1L,SEEK_CUR);
      printf("%3d  ",CONSTANT);
      cout<<arr<<" 整形数"<<endl;
    }
    else if(IsUpLetter(ch)||IsLowLetter(ch)||ch=='_'){
      while(IsUpLetter(ch)||IsLowLetter(ch)||ch=='_'||IsDigit(ch)){
        arr += ch;
        ch=fgetc(fpin);
      }
      fseek(fpin,-1L,SEEK_CUR);
      printf("%3d  ",CONSTANT);
      cout<<arr<<" 标识符"<<endl;
    }
    else switch(ch){
    case '+':
    case '-':
    case '*':
    case '/':
    case '>':
    case '<':
    case '=':
    case '!':
      {
        arr += ch;
        printf("%3d  ",value(OPERATOR,8,*arr.data()));
        cout<<arr<<" 运算符"<<endl;
        break;
      }
    case ';':
    case ',':
    case '(':
    case ')':
    case '[':
    case ']':
    case '{':
    case '}':
      {
       arr += ch;
       printf("%3d  ",value(SEPARATER,8,*arr.data()));
       cout<<arr<<" 分隔符"<<endl;
       break;
      }
    default :cout<<"\""<<ch<<"\":无法识别的字符!"<<endl;
    }
  }

}
int main()
{
  char inFile[40];
  FILE *fpin;
  cout<<"请输入源文件名(包括路径和后缀):";
  while(true){
    cin>>inFile;
    if((fpin=fopen(inFile,"r"))!=NULL)
      break;
    else{
      cout<<"文件名错误!"<<endl;
      cout<<"请输入源文件名(包括路径和后缀):";
    }

  }
  cout<<"------词法分析如下------"<<endl;
  analyse(fpin);
  return 0;
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • C语言实现词法分析器

    问题描述: 用C或C++语言编写一个简单的词法分析程序,扫描C语言小子集的源程序,根据给定的词法规则,识别单词,填写相应的表.如果产生词法错误,则显示错误信息.位置,并试图从错误中恢复.简单的恢复方法是忽略该字符(或单词)重新开始扫描. 相关词法规则 <标识符>::=<字母> <标识符>::=<标识符><字母> <标识符>::=<标识符><数字> <常量>::=<无符号整数> <无

  • python实现词法分析器

    简单Python词法分析器实现,供大家参考,具体内容如下 词法分析器状态转换图: 词法分析器总流程图: 预处理程序: 词法分析器: 词法分析器程序详细设计 详细代码实现: #!/usr/bin/env python3.4 # coding=utf-8 import sys import string keywards = {} # 关键字部分 keywards['False'] = 101 keywards['class'] = 102 keywards['finally'] = 103 key

  • C++实现词法分析器

    本文实例为大家分享了C++实现词法分析器的具体代码,供大家参考,具体内容如下 /*************Written By Zzg************/ /*******Date : 11,25,2017********/ #include <iostream> #include <stdlib.h> #include <stdio.h> using namespace std; string KEYWORD[15]={"if","

  • 如何用python写一个简单的词法分析器

    编译原理老师要求写一个java的词法分析器,想了想决定用python写一个. 目标 能识别出变量,数字,运算符,界符和关键字,用excel表打印出来. 有了目标,想想要怎么实现词法分析器. 1.先进行预处理,把注释,多余的空格,空行去掉. 2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断. 若是以 英文字母.$.下划线开头,则可能是变量和关键字,在判断是关键字还是变量. 若是数字开头,则判断下一位是不是也是数字,直到遇到非数字停止,在把数字取出来. 再来判断分割符是

  • java词法分析器DDL递归应用详解

    目录 前言 intellij plugin 词法解析 状态迁移 DDL 解析 递归解析 总结 前言 最近大部分时间都在撸Python,其中也会涉及到将数据库表转换为Python中ORM框架的Model,但我们并没有找到一个合适的工具来做这个意义不大的”体力活“,所以每次新建表后大家都是根据自己的表结构手写一遍Model. 一两张表还好,一旦 10 几张表都要写一遍时那痛苦只有自己知道:这时程序员的 slogan 再次印证:一切毫无意义的体力劳动终将被计算机取代. intellij plugin

  • 利用PHP实现词法分析器与自定义语言

    目录 一.分析需求 二.实现需求 三.如何使用 四.使用场景 之前项目有一个需求,业务人员使用中文编写一些自定义公式,然后需要我们后台执行将结果返回到界面上,于是就基于有限状态机写了这个词法分析器,比较简单,希望能够抛砖引玉. 一.分析需求 输入中文公式,返回结果,比如: 现有薪资=10000;个税起点=3000;当前年份=2021;如果(当前年份=2022){    个税起点=5000;}返回 (现有薪资-个税起点) * 0.2; 二.实现需求 最初的想法是使用字符串替换的方式,将中文关键字替

  • 详解JavaScript实现简单的词法分析器示例

    目录 正文 什么是词法分析器? 实现一个简单的词法分析器 总结 正文 词法分析是编译器的一项重要工作,其目的是将源代码转换成单个单词(token)的序列,方便后续语法分析器(parser)对其进行分析.在本文中,我们将使用 JavaScript 实现一个简单的词法分析器,以便更好地理解其原理. 什么是词法分析器? 在编译器中,词法分析器是将源代码分割成单个单词的程序.它将输入的字符流转换为单词流,这些单词(token)在后续的编译过程中将被用来构建语法树(parse tree). 词法分析器通常

  • 利用Java实现简单的词法分析器实例代码

    首先看下我们要分析的代码段如下: 输出结果如下: 输出结果(a).PNG 输出结果(b).PNG 输出结果(c).PNG 括号里是一个二元式:(单词类别编码,单词位置编号) 代码如下: package Yue.LexicalAnalyzer; import java.io.*; /* * 主程序 */ public class Main { public static void main(String[] args) throws IOException { Lexer lexer = new

  • 几款开源的中文分词系统

    以下介绍4款开源中文分词系统. 1.ICTCLAS – 全球最受欢迎的汉语分词系统 中文词法分析是中文信息处理的基础与关键.中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),主要功能包括中文分词:词性标注:命名实体识别:新词识别:同时支持用户词典:支持繁体中文:支持GBK.UTF-8.UTF-7.UNICODE等多种编码

  • Go语言的变量、函数、Socks5代理服务器示例详解

    Go语言中变量的声明和JavaScript很像,使用var关键字,变量的声明.定义有好几种形式 1. 变量和常量 // 声明并初始化一个变量 var m int = 10 // 声明初始化多个变量 var i, j, k = 1, 2, 3 // 多个变量的声明(注意小括号的使用) var( no int name string ) // 声明时不指明类型,通过初始化值来推导 var b = true // bool型 // := 隐含声明变量并赋值 str := "mimvp.com"

随机推荐